как я отбираю исследования
Вопрос. Если честно написать, что текст сделала нейросеть, ему поверят меньше — даже если в нём всё абсолютно верно?
Что нашли. Да: доверие упало с 5,6 до 4,1 балла из 7, хотя поняли текст так же. А приписка «отредактировано человеком» вернула почти всё на место.
эффект пометки большой и совпадает с работами на новостях, но это 183 человека, в основном студенты, один короткий текст и оценки сразу после чтения; так что «возвращает доверие полностью» звучит громковато — как типичные заголовки вроде «ИИ нас всех убьёт» или «ИИ нас всех спасёт»
Читаешь толковый научпоп про сверхпроводники, и всё тебе в нём понятно, и всё по делу, а в самом конце, в скобочках: «Эта статья создана ИИ». Текст от этой строчки не поменялся ни на букву, а верить ему люди стали заметно меньше — так вышло в российском эксперименте про маркировку ИИ-контента. А когда к той же строчке дописали «отредактирована человеком», доверие почти целиком вернулось.
Если пишешь с нейросетью (а кто сейчас не пишет), вопрос «признаваться ли и какими словами» уже вполне практический.
что нашли
Авторы случайно поделили на три группы 183 человека (в основном студенты, в среднем лет 22). Все читали один и тот же текст о сверхпроводимости, около 280 слов. Разной была только приписка в конце:
- Никакой.
- «(Эта статья создана ИИ.)»
- «(Эта статья создана ИИ, отредактирована человеком.)».
Дальше — пять вопросов на понимание и две оценки: насколько веришь тексту и стал бы им пользоваться.
Самое забавное: текст для всех трёх групп сгенерировала нейросеть. То есть пометка «создано ИИ» была чистейшей правдой — просто одним её показали, а другим нет.
Что вышло:
- Поняли текст все одинаково: 4,1, 4,0 и 4,2 правильных ответа из 5.
- Доверие без пометки — 5,6 балла из 7, с «создано ИИ» — 4,1. Для таких экспериментов разрыв очень большой.
- Пользоваться текстом с этой пометкой тоже хотели меньше: 3,9 против 5,3.
- С припиской про человека — 5,4 и 5,1, от группы без пометки Разница так мала, что её не отделить от случайного разброса между людьми. не отличить.
| насколько верят тексту, без пометки | 5,6 |
|---|---|
| насколько верят тексту, «создана ИИ» | 4,1 |
| насколько верят тексту, «создана ИИ, отредактирована человеком» | 5,4 |
| готовы пользоваться, без пометки | 5,3 |
| готовы пользоваться, «создана ИИ» | 3,9 |
| готовы пользоваться, «создана ИИ, отредактирована человеком» | 5,1 |
Короче, уровень понимания пометка не изменила, а вот отношение к тексту подпортила. Как наклейка «уценка» на совершенно нормальном чайнике, например, на Ozon: чайник тот же, а брать уже стрёмно. Авторы предполагают (напрямую не мерили), что, видя голое «создано ИИ», люди автоматически думают, что текст никто не проверял. Приписка про человека работает как штамп Отдел технического контроля на заводе. Его штамп значит, что изделие кто-то проверил. — за текст снова кто-то отвечает.
верим?
Скорее верим — в главном: голая пометка «создано ИИ» бьёт по доверию к тексту. То же самое уже находили на новостных заголовках (Altay и Gilardi, 2024), эффект тут большой, и цифры главного сравнения сходятся.
Но есть нюансы:
- 183 человека, в основном студенты около 22 лет, один короткий текст про физику, оценки сразу после чтения, без проверок на внимательность и заранее заявленного плана. Как пометка сработает, например, на людях постарше, на тексте про здоровье и через неделю — неизвестно.
- Пометку видели в самом конце, а текст читали, ещё не зная автора. Так что «на понимание не влияет» почти заложено в дизайн. В жизни же пометка про ИИ часто висит сверху — такое не проверяли.
- Авторы пишут, что приписка про человека вернула доверие «полностью». Но маленький разрыв 5,4 против 5,6 на 60 людях в группе просто не разглядеть — честнее всё-таки «почти целиком».
- В обсуждении доверие падает «примерно вдвое», а по таблице — на полтора балла из семи, около четверти. Да и таблицы местами не сходятся между собой: на главный вывод не влияет, но аккуратности в этой публикации немного не хватило.
что с этим делать
- Если пишешь с нейросетью и хочешь об этом сказать, не ограничивайся голым «создано ИИ». Напиши, что сделал человек: «черновик набросала нейросеть, факты проверил и переписал я». Как это выглядит у меня, можно посмотреть на странице «как я отбираю исследования». В эксперименте именно эта разница вернула доверие почти целиком. Но только если это правда: приписка про человека без человека — обман.
- Если читаешь, помни: пометка ничего не говорит о точности — текст во всех группах был один и тот же и корректный. Вопрос «написал текст ИИ или человек» — только про то, кто за текст отвечает. Правду проверяй по самому тексту: откуда цифры и открываются ли ссылки.
К слову, черновики разборов здесь готовит нейросеть, а я сверяю цифры по источникам и переписываю текст. Строку «подготовлено с помощью ИИ» ставить не стал — расписал, кто что делает, на странице как я отбираю исследования. Судя по этому эксперименту, формулировка решает больше, чем сам факт.
Моё мнение: важно не то, используешь ты ИИ или нет. Важно — как. Например, я — опытный редактор и ИИ начал активно пользоваться только на четвёртом году карьеры. По текстовой части у меня тут по сути то же главредство, что и без ИИ — с командой из сеньора-ресерчера и мидла текстовика. Рулю процессами и проверяю работу я не менее ответственно и рьяно, чем с людьми. А то и поболее, честно говоря.
— Коля
а в моём блоге можно почитать про откуда брать темы, когда кажется, что сказать нечего
