18.04.2025
Новости
Сам это выдумал: что такое галлюцинации искусственного интеллекта
Иногда нейросети генерируют убедительно звучащие, но вымышленные факты. В некоторых сферах такие ошибки могут иметь серьезные последствия. Разбираемся, почему они возникают, и рассказываем о способах решения проблемы
В 2023 году мир узнал об американском адвокате Стивене Шварце, который использовал в работе нейросети. Мужчина готовился защищать интересы своего клиента в разбирательствах с авиакомпанией. Для этого Шварц попросил ChatGPT найти похожие судебные дела, и чат-бот выдал список из шести очень убедительных кейсов. Во время заседания выяснилось, что все детали были выдуманными. Это привело к дисциплинарным мерам против адвоката, который утверждал, что просто считал ChatGPT очень хорошим поисковиком.
Случай со Шварцем — это пример галлюцинаций искусственного интеллекта. Так называют проблему, при которой нейросети генерируют правдоподобно звучащую, но фактически неверную информацию. Из-за этого регулярно возникают дискуссии о генеративном ИИ: можно ли безопасно и эффективно взаимодействовать с таким инструментом.
Какими бывают галлюцинации
Генеративный ИИ сегодня используется во многих областях. По оценкам консалтинговой компании PwC, к 2030 году ИИ принесет мировой экономике $15,7 млрд и покажет значительные результаты в том числе в здравоохранении, образовании, логистике и финансовой сфере.
При этом перспективы использования нейросетей сопряжены с некоторыми рисками в ситуациях, где критически важна точность, отмечают эксперты, принявшие участие в исследовании «Ключевые вызовы в развитии больших языковых моделей», проведенном Институтом искусственного интеллекта МГУ совместно с банком ВТБ.
Например, в медицине нейросети используют для облегчения принятия клинических решений и помощи в диагностике. Еще в 2018 году прорывной новостью стало то, что алгоритмы ИИ выявляют заболевания на рентгеновских снимках грудной клетки не хуже врачей.
Случай со Шварцем — это пример галлюцинаций искусственного интеллекта. Так называют проблему, при которой нейросети генерируют правдоподобно звучащую, но фактически неверную информацию. Из-за этого регулярно возникают дискуссии о генеративном ИИ: можно ли безопасно и эффективно взаимодействовать с таким инструментом.
Какими бывают галлюцинации
Генеративный ИИ сегодня используется во многих областях. По оценкам консалтинговой компании PwC, к 2030 году ИИ принесет мировой экономике $15,7 млрд и покажет значительные результаты в том числе в здравоохранении, образовании, логистике и финансовой сфере.
При этом перспективы использования нейросетей сопряжены с некоторыми рисками в ситуациях, где критически важна точность, отмечают эксперты, принявшие участие в исследовании «Ключевые вызовы в развитии больших языковых моделей», проведенном Институтом искусственного интеллекта МГУ совместно с банком ВТБ.
Например, в медицине нейросети используют для облегчения принятия клинических решений и помощи в диагностике. Еще в 2018 году прорывной новостью стало то, что алгоритмы ИИ выявляют заболевания на рентгеновских снимках грудной клетки не хуже врачей.
Но иногда нейросети ошибаются. Так, медицинские центры используют ИИ-помощников для расшифровки записей разговоров пациентов с докторами. Однако выяснилось, что в некоторых случаях ИИ галлюцинирует и придумывает совершенно другой текст. Это известная проблема, при которой инструменты транскрибации при расшифровке речи с паузами добавляют несуществующие фразы.
Полную версию материала читайте на rbc.ru
Фото: Freepik
