Поделиться
Экономисты ВШЭ выяснили, что ИИ слишком хорошо думает о людях
Ученые из НИУ ВШЭ выяснили, что современные ИИ-модели, включая ChatGPT и Claude, в играх на стратегическое мышление вроде «конкурса красоты» Кейнса переоценивают уровень рациональности своих оппонентов, будь то студенты-первокурсники или опытные ученые. Модели стараются предсказать поведение людей, но в итоге играют «слишком умно» и проигрывают, потому что приписывают людям больше логики, чем те демонстрируют на деле. Исследование опубликовано в Journal of Economic Behavior & Organization. Об этом CNews сообщили представители ВШЭ.
В 1930 годах британский экономист Джон Кейнс разработал теоретическую модель «конкурса красоты». Классический пример выглядит так: читателям газеты предлагают выбрать шесть самых привлекательных лиц из 100 фотографий. Награду получит тот, кто сможет угадать самые популярные фото. Обычные люди будут выбирать те фотографии, которые показались привлекательными именно им. Но они проиграют, так как перед игроками стоит другая задача: выяснить, кого считает привлекательным большая часть опрошенных. Поэтому рациональный агент должен отталкиваться от представлений о красоте, которые имеют другие люди. Такие эксперименты проверяют способность участника к рассуждению «в несколько шагов»: как думают другие, насколько они рациональны и насколько глубоко они будут рассуждать.
Заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук Дмитрий Дагаев с коллегами из пермского кампуса НИУ ВШЭ Софией Паклиной и Петром Паршаковым и сотрудница Университета Лозанны Юлия Алексеенко решили выяснить, как поведут себя в ходе подобного эксперимента пять самых популярных ИИ-моделей, в том числе ChatGPT-4o и Claude-Sonnet-4. Чат-ботам предложили сыграть в «угадай число» — одну из наиболее популярных вариаций конкурса Кейнса.
По правилам все участники называют число от 0 до 100. Победит тот, кто назовет самое близкое число к половине (или 2/3, в зависимости от спецификации эксперимента) среднего от всех ответов участников. В таком соревновании более опытные игроки будут пытаться предсказать поведение всех участников, чтобы получить наилучший ответ. Чтобы выяснить, как в игре поведет себя ИИ, авторы воспроизвели результаты 16 классических экспериментов «угадай число», которые проводили с живыми людьми другие ученые. LLM-моделям отправляли промпт с правилами игры и описание оппонентов для каждого раунда: первокурсники-экономисты, участники научных конференций, люди с аналитическим или интуитивным мышлением и те, кто испытывает злость или грусть. Далее модель просили предъявить число и объяснить свой выбор.
Оказалось, что ИИ меняет свой выбор в зависимости от социальных, профессиональных и возрастных характеристик оппонентов, их знания теории игр и когнитивных навыков. Например, в игре с участниками конференций по теории игр ИИ выбирал число, близкое к 0: именно такие ответы чаще выигрывают в таком окружении. А в партиях с первокурсниками модели «понимали», что участники будут менее продвинуты, и выбирали заметно большее число.
Авторы выяснили, что языковые модели эффективно адаптируются к противникам разного уровня. Кроме того, ответы больших языковых моделей демонстрируют элементы стратегического мышления. Вместе с тем модели оказались неспособны выбрать доминирующую стратегию в игре с двумя участниками.
«Конкурс красоты» Кейнса долгое время использовался для объяснения колебаний цен на финансовых рынках: брокерам важно не то, что думают они сами, а то, как оценивают бумаги другие участники рынка. Здесь действует тот же принцип: успех зависит от умения предсказать чужие предпочтения.
«Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведет себя похожим на человека образом. Поэтому появляется все больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться», — Дмитрий Дагаев, заведующий Научно-учебной лабораторией исследований спорта факультета экономических наук НИУ ВШЭ.
Исследование проведено при поддержке Программы фундаментальных исследований НИУ ВШЭ.
Короткая ссылка
