как я отбираю исследования
Вопрос. Если попросить нейросеть составить твой психологический портрет, насколько он будет похож на правду?
Что нашли. Средне. То, о чём говорят прямо, вроде веры и общительности, она угадывает неплохо, а вот о чём молчат — почти нет. И рисует людей куда добрее даже, чем они пишут о себе сами.
выборка большая, пять моделей, ошибки и перекосы посчитаны честно, авторы адекватно осторожничают с выводами; но эталон — ответы людей о себе, один сценарий интервью, одна попытка на анкету и проверка на тех же данных
Просьба «составь мой психологический портрет» — одна из самых любимых у тех, кто болтает с нейросетями: в Яндексе её набирают больше трёх тысяч раз в месяц. Учёные СПбГУ, Института психологии РАН и Исследовательский институт искусственного интеллекта в Москве. проверили, насколько такому портрету можно верить. Оказалось, нейросеть неплохо слышит то, что человек говорит о себе прямо, и почти не видит того, о чём он молчит, — иии… приукрашивает всех подряд.
что нашли
Сначала 645 взрослых (от 18 до 74 лет, в среднем около 40) поговорили с чат-ботом, ответив на 54 вопроса о детстве, учёбе, работе, отношениях, как они справляются со стрессом, во что верят, о чём мечтают и т. п. Потом они сами заполнили семь настоящих опросников: Самая проверенная модель черт личности: экстраверсия, доброжелательность, добросовестность, склонность переживать и открытость новому., Три неприятные черты личности: нарциссизм, макиавеллизм — склонность хитрить и манипулировать людьми ради своей выгоды — и психопатия., ценности, моральные установки, социальные убеждения, отношение к деньгам и самочувствие. А пять нейросетей (GPT-5, Gemini 2.5 Pro, две версии Kimi и Qwen) читали интервью и заполняли те же опросники за человека. Ответы сверяли с настоящими.
Что вышло:
- Лучше всего угадывали то, о чём говорят прямо: религиозность, экстраверсию, самочувствие, склонность переживать и отношение к традициям (тут Мера того, насколько согласованно растут и падают две величины: 0 — никакой связи, 1 — полное совпадение. около 0,6).
- Хуже всего — то, что вслух почти не обсуждают: тягу к удовольствиям, справедливость «по заслугам», убеждение, что «мир — сложный» (до 0,2, а то и ноль).
- Промах в среднем — от ⅕ до ¼ шкалы, и ответы тянутся к середине: крайности нейросеть сглаживает.
- Лучше всех справилась GPT-5, но Gemini шла почти вровень: заметный отрыв только на 6 шкалах из 38.
| говорят прямо, религиозность | 0,67 |
|---|---|
| говорят прямо, экстраверсия | 0,63 |
| говорят прямо, самочувствие | 0,62 |
| говорят прямо, склонность переживать | 0,61 |
| говорят прямо, отношение к традициям | 0,60 |
| вслух почти не обсуждают, «мир — сложный» | до 0,18 |
| вслух почти не обсуждают, справедливость «по заслугам» | до 0,15 |
| вслух почти не обсуждают, тяга к удовольствиям | до 0,13 |
Ошибаются нейросети в одну сторону: все пять считали людей доброжелательнее и собраннее, чем те описали себя сами, а нарциссизм и макиавеллизм занижали, притом местами очень сильно. Экстраверсию и открытость же считали почти без перекоса. Короче, нейросеть смотрит на людей как бабушка на внуков: все хорошенькие, просто некоторые шумят громко, а этот, ну и что, что человека замочил, он же одуванчик у нас.
| завышали, доброжелательность | до 1,06 |
|---|---|
| завышали, добросовестность | до 1,10 |
| занижали, нарциссизм | до 1,43 |
| занижали, макиавеллизм | до 1,14 |
| почти без перекоса, экстраверсия | ≈0 |
| почти без перекоса, открытость | ≈0 |
верим?
Скорее верим. Выборка большая, моделей пять, ошибки посчитали несколькими способами, Чем больше проверок, тем больше случайных «находок». Поправка поднимает планку для каждой проверки, чтобы случайность не выдать за результат. сделали — из 190 проверок устояли 184. И сами авторы пишут о результатах куда осторожнее бесконечных новостных заголовков о сверх-ИИ, который вот-вот поработит человечество: прямо пишут, что Модель, которая отвечает и ведёт себя как конкретный человек, — его копия в компьютере. конкретного человека ни одна модель пока не стала, а подменять ими живую диагностику небезопасно.
Но есть нюансы:
- «Добрее, чем на самом деле» — это громко. Эталоном были ответы самих людей, а в анкетах мы тоже себя приукрашиваем. Так что точнее будет так: нейросеть рисует тебя добрее, чем ты сам себя описываешь.
- Интервью брал тоже ИИ, по одному сценарию из 54 вопросов, и с другими вопросами точность могла выйти другой. А психолог, оговариваются авторы, по тем же расшифровкам, скорее всего, тоже не угадал бы, любишь ли ты те или иные удовольствия (и что ты смотришь на pornhub 🙂).
- Участников набрали с исследовательской панели и Сервис, где люди за небольшие деньги выполняют мелкие онлайн-задачи, в том числе проходят опросы., то есть — людей, привычных к опросам.
- Каждую анкету модель заполнила один раз, так что насколько стабилен результат, неизвестно.
- Всё проверяли на тех же данных, о Если авторы ещё до сбора данных публикуют, что и как будут проверять, выводы сложнее подогнать под результат задним числом. в статье ни слова. На новой выборке цифры ещё предстоит подтвердить — про это пишут и сами авторы.
что с этим делать
- портрет от нейросети — черновик. Она видит только то, что ты сказал, и видит это в лучшем свете. Для решений о живом человеке (работа, лечение, учёба) даже авторы исследования такие оценки не рекомендуют.
- делайте поправку на лесть. «Вы добрый, честный и ответственный» — отчасти это говорит, скажем так, воспитание модели, её базовые предустановки. А там, где вы сами ничего не проговариваете, ждите жирных промахов: лучше всего нейросеть угадывала как раз то, о чём люди говорили прямо. В работе с психологом принцип «честнее — лучше» тоже работает. Только там это как раз может сильно повлиять на результат.
- Так что: хочешь узнать себя и навести порядок в голове — пройди опросник сам или сходи к психологу. Нейросеть в этом эксперименте как раз пыталась угадать, что ты ответишь сам, а не что ты считаешь или переживаешь на самом деле. Человека здесь не заменить.
а в моём блоге можно почитать про то, когда привязанность превращается в зависимость
