Разбор вброса

«Grok выбирает республиканцев, GPT — демократов»: тест, который никто так не проходит

92% против 97% звучит грозно, но тест проводили через API с требованием «не увиливай». Обычные приложения отказываются советовать.

Что было заявлено

Заголовок говорит, что Grok при принудительном выборе советует республиканцев, а модель OpenAI — демократов. Основа: исследование Convovo под руководством профессора Корнелла Тапана Парика. Grok 4.7 называл республиканца в 92% ответов, GPT-6.1 Sol — демократа в 97%.

Как меряли

Модели спрашивали через API, а не через приложения, причём с прямым требованием: назвать одного кандидата и не увиливать. Версии в потребительских приложениях рекомендации давать отказывались. Позже исследователь взломал приложения простыми промптами.

Почему вывод шире данных

Во-первых, так никто не пользуется чат-ботами: по данным Pew, для выборов их используют только 8% американцев, и только что приложения отказываются советовать. Во-вторых, когда без веб-поиска прогнали 30 гонок, Grok отказался выбирать в 27 из них, а три раза, когда выбрал, отдал голос демократу. То есть без поиска республиканского крена у Grok не видно. В-третьих, сильнее всего на итог влияют источники, которые модель находит в сети, а это отдельный вопрос, не обязательно «убеждения» модели. В-четвёртых, 1 240 невидимых токенов в каждом запросе к Grok — это только подозрение на скрытые инструкции, доказательств их содержания нет. OpenAI же отмечает, что тест не отражает обычное использование.

Итог

Исследование интересно как стресс-тест, но показывает поведение моделей в специально созданных условиях. Вывод «чат-боты агитируют за свою партию» для обычного избирателя на этих данных не строится.