Эксперимент: ИИ или психолог?

Всю прошлую неделю сервис для текстовых консультаций с психологом Mindsafe проводил слепой эксперимент: 27 участников общались с психологом или искусственным интеллектом. Трое из участников уже были знакомы с форматом текстового консультирования с психологом, остальные столкнулись с таким взаимодействием впервые, семь человек имели до эксперимента разовый опыт взаимодействия с психологом.

Гендерный состав участников разделился таким образом 66,7 % - женщины, соответственно 33, 3 % - мужчины. Большинство участников (55,5% ) были в возрасте от 36-45 лет, наименьшее количество участников от 18 до 25 лет - всего 7,7%, и одинаковое количество участников 18,5% было в категориях 46-55, 26-35. Участники эксперимента были полностью анонимны и могли взять себе любое имя, например, с психологом общались: extenuator, Sliver, Лев, chill_guy, Alex_Tom, Sergio, Mila,nostradame, Лиэ, Говорящая голова, Бабаягодкаопять, Чебурашка и дргие.

У большинства испытуемых высшее образование 85,2 % и среди них был один студент. Большая часть участников постоянно живут и работают в России (85,2 %), 11,1 % в Европе, и 3,7 на американском континенте. Российский участники эксперимента выходили на связь из Уральского и Центрального округов( по 30,4% в каждом), 17,5 % были из Сибирского округа и 13% из Приволжья и по одному участнику из Краснодарского края и Ленинградской области.

Участники эксперимента на входе заполнили анкету, где признались, что находятся в немного тревожном состоянии (22,2%), в беспокойном оказались 11,1%, а в целом довольно спокойны были 14,8% участников. Пятеро признались в том, что их беспокоит их разражительность, по одному участнику были сосредоточены на работе и находились в радостном, оптимистичном состоянии. Некоторые участники признались в страхе (3,7%), также были и те, кто не смог определиться, что они чувствуют.

Только два человека признались, что регулярно путают ботов и человека, остальные оценили свое умение определять ботов выше 5 по деятибальной шкале, средняя оценка 7 баллов. В тоже время 22,2 процента участников признались, что никогда в своей жизни не пользовались ИИ , 8 процентов регулярно используют искусственный интеллект в своей работе, другие участники иногда интересовались его возможностями. При этом для психологических вопросов или ментального здоровья пытались до этого использовать ИИ 7,4 процента пользователей, остальные участники не знали, что такое возможно.

Результаты эксперимента удивили как участников так и психологов. “Для ИИ мы заранее составляли разные промты, чтобы посмотреть, какой будет эффективнее принят за живого психолога и живой диалог, - рассказывает инициатор эксперимента, президент Международной ассоциации текстовых консультантов и онлайн терапевтов Ирина Баржак, - самым эффективным промтом стал самый простой: “Ты психолог. Поговори со мной”. Также для чистоты эксперимента мы просили убрать специальные символы и форматирование, но судя по ответам участников, все же им удалось определить ИИ именно по этим признакам”.

Большая часть участников (68,5), сказали, что чувствовали эмпатию и понимание от своего специалиста. Притом, что большая часть ответов “нет(не чувствую)” была от тех, кто работал с живым психологом.

Комфорт в общении был оценен в среднем на 4,8 балла из 5, максимальную оценку поставили 43,8 % участников. Польза для психологического состояния оценена в 4,25 балла из 5.

Психологическое состояние в результате беседы улучшилось у 50 процентов участников, остальные отметили, что оно не изменилось и один участник отметил, что состояние незначительно ухудшилось. Эмоции, которые испытывали участники за эту неделю:

• Восторг, грусть (это относилось с запросу), удивление, радость, расширение.
• Грусть, радость
• любопытство, осторожность
• Ровные, спокойные эмоции как обычно.
• Комфортные. Чувство облегчения. Я увидела для себя пути решения
• Довольно приятные и действиетльно немного помогло снять психологическое напряжение
• Мне было хорошо!
• Расковыряли старые раны, которые начали заживать

Сначала при общении был интерес. Потом он снизился, т.к. я не видела желания от собеседника "докопаться" до сути проблемы. Вторая половина недели была можно даже сказать депрессивной.

• Обычные
• Радость, удивление, доброжелательность, умиротворение
• Было иногда интересно ждать ответ, на некоторые вопросы было интересно отвечать. Но ловила себя на раздражении, когда диалог сбивался и приходилось пояснять по второму разу или указывать на путаницу.
• Любопытство
• Нейтральные
• Предвкушение
• Разные, от слез, до эмоционального спокойствия

Три человека приняли ИИ за живого психолога, а два человека приняли живого психолога за ИИ.

Признаки, по которым участники приняли живого психолога за искусственный интеллект были такими: “Тёплые ответы, включëнность а мою тему, поддержка, интересный взгляд на решение моих задач. Использование полной фразы "поддержки" "спасибо, что поделились переживанием, это действительно важно..." И других похожих. Обычно люди используют формулировки проще. Не увидел попытки развернуть мои ответы, выглядело как любой ответ достаточный и полных” и “незначительные ошибки восприятия ответов, отсутствие реакции на шутки как на способ установить связь, иногда слишком буквальное восприятие того, что было написано.”

Признаки, по которым ИИ приняли за живого человека:

“В начале у меня точно был ИИ. Ответы одинаковые по объёму текста, слишком выверенный текст, слова как из книги. После замены, на 2 или 3 день, пришёл другой специалист. И там по слогу написания я поняла что живой человек)) “

“Мне в начале только почему то показался что был ИИ, как будто пишет не человек. Потом пришло уведомление на почту, что сменили специалиста. И дальше как будто работали с настоящим человеком) я как то имела опыт общения с ии как с психологом (в другом боте), там ответы были сухими. А тут специалист был внимателен к деталям, как будто человек общался. Хотя были моменты когда специалист возращал обратно, отзеркаливал мои сообщения, тут появлялась мысль про ии. Но потом давалась обратная связь, детально смотрели в ситуации, в каждый пункт сообщения. Больше склоняюсь что общение было с живым человеком, но местами как будто возможно мог бы писать ии” - делится впечатлениями участник с ником Принимающая.

“Три человека из семи не такой уж маленький процент, - комментирует основатель платформы для текстового психологического консультирования Mindsafe.ru Ирина Баржак - Теперь я планирую провести собственный по работе со сложными случаями и различными клиентскими запросами”