Галлюцина́ция — уверенная реакция системы искусственного интеллекта, не соответствующая исходным данным, на которых проводилось её обучение; вымышленные ответы системы, не имеющие отношения к действительности.
Например, чат-бот, не получив в исходных данных сведений о доходах Tesla, может выбрать случайное число (например, «$13,6 млрд»), которое включит в собственную систему знаний и в дальнейшем будет неоднократно настаивать на этом без каких-либо признаков критического пересмотра.
Широкое внимание к подобного рода эффектам проявилось в 2022 году в связи с массовым внедрением больших языковых моделей: пользователи жаловались, что такие боты часто казались «социопатическими» и бессмысленно встраивали правдоподобно звучащие ложные утверждения в ответы; в 2023 году аналитики отнесли галлюцинации к одной из серьёзных проблем технологии больших языковых моделей; в связи с этим Илон Маск и Стив Возняк обратились с открытым письмом с предложением приостановить развитие программ искусственного интеллекта, их обращение поддержали более тысячи предпринимателей и экспертов в отрасли.
Ряд исследователей считает, что некоторые ответы систем искусственного интеллекта, классифицируемые пользователями как галлюцинации, могут быть объяснены неспособностью пользователей оценить правильность ответа, в качестве примера приводилось точечное изображение, выглядящее для человека как обычное изображение собаки, но на котором программная система обнаруживает фрагменты узора шерсти, характерные только для кошек, ставя высокий приоритет признакам, к которым люди нечувствительны; эти выводы были оспорены другими исследователями.
См. также Стохастический попугай
Примечания
Категория:Языковое моделирование Категория:Дезинформация Категория:Генеративный искусственный интеллект