Генерирует или фантазирует: как распознавать галлюцинации нейросети

Сервисы
МТС Линк
Всё для общения и работы в онлайне
  • Видеозвонки и чаты
  • Вебинары и онлайн-курсы
  • Онлайн-доска
Коротко
Ошибки в ответах искусственного интеллекта (ИИ) — частое явление, которое связано с особенностями работы нейросетей. Например, это могут быть неточные данные, противоречия в фактах или неправильная их интерпретация, а иногда и выдуманная информация.

Нейросети — это хороший помощник в работе, но часто в их ответах могут появляться ошибки. Например, перепутанные данные, выдуманные факты или устаревшая информация. Такое явление назвали галлюцинациями. 

Вместе с экспертом разобрались, в каких случаях стоит проверять ответы ИИ и как вести диалог с нейросетью, чтобы снизить количество галлюцинаций.

Олег Копылов — руководитель группы по внедрению ИИ в «Яндекс Рекламе» и «Яндекс ПромоСтраницах», автор телеграм-канала «Олег Копылов | про AI, контент и маркетинг»

Почему и как часто нейросети могут галлюцинировать

Как и люди, нейросети тоже ошибаются. Главная проблема — в архитектуре ИИ. Языковые модели не хранят конкретные факты, как в базе данных. Они извлекают их из паттернов, которые усвоили при обучении на массивах текстов. С известными фактами это работает хорошо, но с редкими и свежими данными могут возникнуть проблемы, поскольку в текстах из базы ИИ встречается противоречивая информация. Когда пользователь отправляет свой вопрос, нейросеть анализирует контекст и выдаёт наиболее вероятный ответ на основе полученных слов. 

При этом у ИИ нет разделения на точную и приблизительную информацию: основная задача модели — дать связный и убедительный ответ. Из-за этого нейросети могут выдавать некорректные ответы. Если каких-то данных не хватает, модель «достраивает» текст — например, добавляет вымышленные или неточные факты. При этом логика нейросетей не позволяет им ответить, что они чего-то не знают или не нашли.

Когда мы впервые тестировали производство текстов с помощью нейросетей, то сразу же столкнулись с галлюцинациями ИИ. Нам нужно было написать статью для одного туроператора «7 пляжей Турции, о которых вы, возможно, не знали». В результате из семи пляжей два были выдуманными, хотя информация о них выглядела правдоподобно. Это не была намеренная ложь: ИИ не смог найти именно семь пляжей в своей базе, поэтому «достроил» ответ самостоятельно, чтобы текст был убедительный и связный

Автор - Олег Копылов
Олег Копылов
Руководитель группы по внедрению ИИ в «Яндекс Рекламе»

Ещё одна причина галлюцинаций — это эффект сжатия знаний. Нейросети обучаются на миллиардах текстов, которые сжимаются в параметры моделей. Из-за этого некоторые факты, особенно редкие и противоречивые, иногда «склеиваются» — например, из-за схожего контекста одна цитата может быть приписана другому человеку.

Полностью избавиться от галлюцинаций нельзя — это признаёт и компания Open AI. Однако количество ошибок нейросетей сокращается. Так, ChatGPT в 2023 году галлюцинировал в 20% случаев при ответе на фактологические вопросы — сегодня этот показатель упал до 3–5%. Вот с чем это связано:

  • модели обучаются на обратной связи от людей — в частности, сейчас нейросети могут ответить пользователю, что не уверены в ответе
  • появилась цепочка рассуждений — ИИ может показать, по какой логике появился тот или иной ответ
  • ИИ стал анализировать поисковые запросы в интернете — это улучшает ситуацию, но не позволяет полностью избежать ошибок.

Галлюцинации стали реже, но при этом появляются в деталях. По этой причине их сложно распознать в тексте. Например, пользователь легко увидит, если нейросеть перепутает даты, но может не сразу заметить, что модель привела выдуманный источник с исследованием.

С какими галлюцинациями ИИ может столкнуться пользователь

Чтобы уметь распознавать ошибки в ответах ИИ, нужно знать, на что обращать внимание. Вот несколько примеров, какими бывают галлюцинации нейросетей.

Несуществующие источники

Если запросить, то нейросеть приведёт ссылки на статьи и исследования, чтобы подтвердить свой ответ. Однако при переходе по ссылке браузер может выдать сообщение, что такой страницы не существует. При этом сама ссылка будет выглядеть правдоподобно. 

Неправильные цифры и даты

ИИ способен искажать некоторые цифры и даты. При этом в базе у модели могут быть надёжные источники, например, про компанию или события, но информация в них — неполная. Тогда нейросеть самостоятельно заполняет пробелы и может перепутать года, экономические показатели и даты.

«Склейка» фактов

В этом случае модель берёт реальный факт об одном человеке и приписывает его другому человеку. Такое бывает, например, если у экспертов одинаковые фамилии — при этом они могут работать в разных отраслях. В результате в ответах нейросетей возможны ошибки и ложная информация.

Устаревшие данные

Нейросеть не может самостоятельно следить за тем, какой сейчас месяц и год. Модель запоминает тот период, в который проходило её обучение последний раз. Например, если человек запрашивает, какие тренды на рынке труда актуальны в 2026 году, ИИ может выдать информацию за 2024 год.

Несуществующие прецеденты и законы

Чаще всего это касается юридической сферы. Нейросеть может придумать прецедент, закон и другие юридические нормы, которых не существует. Если не проверять такую информацию и использовать её в судебных спорах, это негативно скажется на результате. 

Например, в США в 2025 году федеральный судья использовал нейросеть для вынесения решения по делу. Позже в этом постановлении юристы нашли несуществующие цитаты из законов, прецеденты и перечень организаций, которые не участвовали в деле.

Когда и как проводить проверку ответов ИИ

Проверка фактов иногда занимает немало времени, но без этого можно не заметить ошибки в ответах ИИ. Чтобы найти баланс, важно разделять задачи по уровню риска. 

Например, если речь идёт о юридическом документе, статистических данных, отчётах, то лучше полностью перепроверить ответы ИИ. Другая ситуация — статья для блога, которую автор создавал поэтапно через нейросеть: запросил структуру, план, а затем работал с информацией. Поскольку модель получала на каждом этапе дополнительный контекст, риск ошибок будет ниже. В этом случае достаточно проверить только цифры, упоминания и ссылки.

Также важно развивать насмотренность. Чем чаще вы будете работать с ИИ, проверять и редактировать материалы после ответов нейросети, тем быстрее начнёте замечать галлюцинации.

Проверять ответы ИИ в целом нужно так же, как и комментарии реальных людей. В первую очередь проверять конкретику: проценты, суммы, даты, ссылки на источники, цитаты. Также стоит обратить внимание на такие признаки:

  • ИИ выдаёт однозначный уверенный ответ без оговорок там, где не может быть высокой точности, — например, если человек спрашивает, как изменится уровень безработицы в следующем году
  • в ответе есть дополнительная информация, которую не запрашивал пользователь
  • в диалоге ИИ начинает выдавать противоречивые ответы.

Если какая-то часть ответа нейросети вызвала сомнения, её можно проверить несколькими способами. Разберём некоторые из них.

Попросите оригинал источника информации

Все факты и цифры проверьте по первоисточникам. Например, если модель выдала цитату или статистику, запросите отчёт или интервью, откуда она это взяла.

Проверьте ответ через другие нейросети

Задайте один и тот же вопрос разным моделям нейросетей. Если их ответы будут расходиться, значит, лучше вручную поискать источники информации. Также можно попросить модель перепроверить ответ за другой нейросетью.

Попросите оценить достоверность ответа

Ещё один вариант — попросить модель перепроверить саму себя. Спросите у нейросети, нет ли в её ответе фактических ошибок и в какой информации она уверена не полностью. Также можно попросить ИИ оценить достоверность ответа по шкале, например, до 100. Такие запросы помогут модели перепроверить себя и выдать более корректный ответ.

Проконсультируйтесь с экспертом

Лучше всего, если готовый ответ сможет проверить человек с экспертизой. Например, если вы собираете информацию о трендах на рынке труда и используете нейросеть, попросите проверить материал директора по персоналу или карьерного консультанта.

Как снизить риск галлюцинаций: советы по работе с ИИ

Чтобы тратить меньше времени на проверку фактов, важно научиться правильно формулировать промпты и работать с нейросетями. Вот несколько рекомендаций по применению ИИ, которые помогут снизить риск галлюцинаций.

1. Давайте больше контекста

Чем больше исходных данных и релевантной информации получит модель, тем меньше она будет «додумывать» за пользователя. В большинстве современных сервисов ИИ можно загрузить документы, инструкции, дать ссылки, которые помогут нейросети сформулировать более точный ответ.

2. Точно формулируйте задачу

Чем больше уточнений будет в промпте, тем лучше ответ модели. Например, вместо задачи «напиши текст про рынок недвижимости» используйте формулировку «собери аналитику по рынку недвижимости Москвы за первый квартал 2026 года».

3. Просите модель указывать степень достоверности

После получения ответа спросите, насколько нейросеть уверена в данном факте — например, по шкале от одного до 10. Это не гарантирует, что модель уберёт всю недостоверную информацию, но поможет понять, какие данные стоит перепроверить.

4. Разбивайте большой запрос на несколько маленьких

Собирайте информацию от ИИ пошагово — так будет проще проверить ответы и снизить риск галлюцинаций. Например, чтобы провести исследование конкурентов через нейросеть, можно сначала задать следующие вопросы: что такое конкурентное исследование, как оно устроено, какие есть конкуренты в нише и т. д.

Важно понимать, что одного эффективного способа избежать галлюцинаций ИИ нет. Чтобы улучшить работу с нейросетями и допускать минимум ошибок, важно использовать все рекомендации вместе.

Почему нейросеть может давать ошибочные ответы?

Дело в архитектуре ИИ. Нейросети не знают конкретные факты, а в ответ на запрос должны выдать наиболее вероятностный и убедительный ответ. Из-за этой логики ИИ может «достраивать» текст неточными или выдуманными фактами.

Какие типы ошибок чаще всего встречаются в ответах нейросетей?

Несуществующие источники, неправильные цифры и даты, «склейка» фактов, устаревшие данные, несуществующие юридические прецеденты.

Как перепроверить информацию, которую выдала нейросеть?

Есть несколько способов. Например, запросить оригинал источника информации, проверить ответ через другие нейросети, попросить модель оценить достоверность ответа, а также отдать текст на проверку эксперту.

Может ли нейросеть выдумывать источники, ссылки или цитаты, которых не существует?

Да, при этом они могут быть очень правдоподобными. Поэтому важно всегда проверять информацию по ссылкам и цитаты экспертов.

Как снизить риск получить ошибочный ответ?

Давайте больше деталей и контекста в запросе, точно формулируйте задачу, разбивайте большой вопрос на несколько маленьких, просите нейросеть указать степень достоверности ответа.

Подпишитесь на рассылку МТС Линк Медиа

Каждую пятницу присылаем самые интересные статьи об эффективной работе и коммуникациях в онлайне на почту