Помните Tessa, чат-бота, который был разработан, чтобы помочь пользователям бороться с неупорядоченными привычками в еде, но в итоге он стал выдавать совершенно ужасные рекомендации по поводу расстройств пищевого поведения (РПП)

Что ж, если история и не была уже достаточно глупой, она просто стала намного глупее в том смысле, что прекрасно иллюстрирует, как внедряется ИИ в целом: поспешно и способами, которые не имеют особого смысла для пользователей — или даже активно подвергают их риску.

Напомним: еще в мае в отчете сообщалось, что всего через четыре дня после того, как его сотрудники перешли в профсоюз, Национальная ассоциация по борьбе с расстройствами пищевого поведения (NEDA) – крупнейшая в США некоммерческая организация по борьбе с расстройствами пищевого поведения, данным, Vice — решила уволить весь свой кризисный персонал и полностью расформировать телефон доверия в пользу чат-бота без человека по имени Tessa/ Тесса.

Tessa не была предназначена для помощи тем, кто находится в кризисных ситуациях, а вместо этого предназначалась для обучения пользователей с помощью тренинга по позитивному поведению. И в свою защиту его сторонники подчеркнули утверждение о том, что бот был создан на основе «десятилетий исследований», в то же время настаивая на том, что он не мог «сойти с рельсов здравого смысла», как ChatGPT или другие боты, — пока, э-э, он не сделал именно этого.

Тессу поймали на том, что она советовала пользователям худеть, сокращая потребление до 1000 калорий в день, а также множества других ужасных вещей, которые не только не способствуют улучшению, но и вводят пользователей в заблуждение и дают неверные рекомендации, влияющие негативным образом на привычки в пищевом поведении, в результате чего бот был удален.

И теперь, в новом интервью, NEDA рассказывает The Wall Street Journal, что бот, по—видимому, предназначался для предоставления только статических ответов – и был переработан с возможностями генеративного ИИ создателем базовой технологии бота, фирмой-разработчиком программного обеспечения Cass, без явного ведома или разрешения NEDA.

Как рассказывает NEDA, бот Tessa была разработана исследователями из нескольких университетов, включая медицинскую школу Вашингтонского университета и медицинскую школу Стэнфордского университета, как закрытая система со стандартизированными, заранее запрограммированными ответами. Исследователи говорят, что это было сделано очень преднамеренно; когда кто-то рискует причинить себе вред, важно каждое слово, и вы никогда не захотите сказать что-то не то.

И самое главное, Tessa была протестирована как закрытая система в ходе шестимесячного клинического испытания, прежде чем она была официально доступна на сайте NEDA в феврале 2022 года. И только позже в том же году, по словам организации, когда бот уже обслуживал людей из группы риска, обратившихся за помощью, Cass, которая позиционирует себя как «ведущий в мире искусственный интеллект-помощник в области психического здоровья», также обновила все свои продукты генеративным искусственным интеллектом, включая Tessa.

Со своей стороны, генеральный директор Cass Майкл Раувс защищал решения своей компании, как сообщается, утверждая, что она никогда не действовала вне своего контракта с NEDA. Предоставление заявления об отказе от ответственности перед тем, как ваш технический специалист скажет кому-то с неупорядоченными пищевыми привычками сбрасывать до двух фунтов в неделю и считать калории, не означает, что в конечном итоге не будет причинено никакого вреда, равно как и указание кому-либо проконсультироваться с врачом, прежде чем заниматься каким-либо потенциально разрушительным поведением. Как сказал WSJ Томпсон, генеральный директор NEDA: «когда речь заходит о помощи людям, страдающим расстройствами пищевого поведения, важно каждое слово».

Фото превью / Ursula Gamez / unsplash.com

Чат-бот, помогающий пользователям бороться с РПП – сошел с ума