220M
5
7
∞

Галлюцинации ИИ: почему нейросети врут и как это проверить

Уровень достоверности: Добротная работа, похвально

Утверждения подтверждены на уровне систематических обзоров. 76% достоверности в Галлюцинации ИИ: почему нейросети врут и как это проверить

Текст демонстрирует твёрдое понимание механизмов галлюцинаций языковых моделей: определение галлюцинации как правдоподобной, но вымышленной информации подтверждается научным консенсусом, классификация на фактические, источниковые, логические и смысловые типы соответствует современной литературе, а центральный тезис об отсутствии гарантий фактической точности у любой массовой модели верен и хорошо обоснован. Сильной стороной является и точное объяснение того, почему модели галлюцинируют: отсутствие встроенного модуля "база фактов", неразличение модельюю между собственным знанием и статистическим правдоподобием, а также приоритет связности над фактичностью при обучении — все эти пункты соответствуют актуальным исследованиям. Однако текст содержит упрощение в описании механизма выбора следующего слова: автор называет его выбором "наиболее вероятного" токена, хотя реальные модели часто используют стохастические стратегии семплирования, где выбирается вероятный, но не обязательно самый вероятный вариант. Слабость также проявляется в утверждении, что источниковые галлюцинации — "самый опасный тип": в литературе нет консенсуса на этот счёт, а опасность варьируется в зависимости от контекста применения, так что это оценочное суждение, выданное как факт. Отдельный минус — упоминание "БредДетектора" с базой из 220 миллионов статей: этот конкретный инструмент и его параметры не поддерживаются ни одним доступным источником, что превращает пример из иллюстративного в потенциально вводящий в заблуждение. При этом последний пример — всего иллюстративный момент, а не основа аргументации, поэтому не подрывает общую достоверность текста, которая держится на прочных центральных тезисах о природе галлюцинаций.

Источник: https://www.breddetect.ru/blog/gallyucinacii-ii

Утверждения

Специализированные системы, обученные на судебной практике, галлюцинируют в 17–33% ответов

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Несколько недавних исследований по юридическим ИИ‑системам показывают, что специализированные инструменты на основе RAG (Lexis+ AI, Westlaw AI‑Assisted Research, Ask Practical Law AI и др.) галлюцинируют в 17–33% ответов, что согласуется с заявленным в статье диапазоном.

Комментарий: Формулировка «специализированные системы, обученные на судебной практике» в статье соответствует RAG‑ориентированным юридическим инструментам, описанным в работах Magesh et al. (2024–2025) и связанной литературе; границы 17–33% прямо воспроизводят reported диапазон для этих систем.

Нюанс: Диапазон 17–33% относится к конкретным коммерческим юридическим RAG‑системам на тестовых наборах вопросов; он не обязательно переносится на все «специализированные» юридические модели или на другие юрисдикции и типы задач, хотя подобные оценки 17–34% процитированы в обзорных работах по юридическим галлюцинациям.

Источники

  • 2024 · arXiv
    В этом исследовании проведена первая preregistered эмпирическая оценка ведущих ИИ‑инструментов юридического поиска (Lexis+ AI, Westlaw AI‑Assisted Research, Ask Practical Law AI). Авторы показывают, что поставщики сильно преувеличивают надёжность своих систем.
  • 2026 · arXiv
    Работа описывает claim‑level бенчмарк для юридических RAG‑систем и ссылается на эмпирические данные, показывающие, что общие ИИ‑модели галлюцинируют в 58–82% случаев на юридических запросах, а специализированные юридические RAG‑системы — в 17–33%.
  • 2026 · arXiv
    Авторы строят закон‑ориентированную систему RAG для проверки юридических ссылок и показывают, что в пяти тестируемых системах (коммерческие модели и RAG‑продукт) 13–21% ссылок оказываются галлюцинированными; при этом в литературе приводятся более высокие оценки 17–33% для leadin…
  • 2026 · arXiv
    Исследование экспертов показывает, что даже популярные RAG‑ориентированные юридические системы демонстрируют галлюцинации на значительном уровне, и ссылается на Magesh et al. (2024), где указан диапазон 17–33%.
  • 2025 · arXiv
    Обзор по юридическому ИИ подчёркивает, что галлюцинации в юридических системах остаются серьёзным барьером для практического применения; в том числе отмечается, что Lexis+ AI галлюцинирует примерно в 17% случаев, а Westlaw AI‑Assisted Research — более чем в 33%.

Галлюцинация ИИ — это ответ языковой модели, который звучит уверенно и правдоподобно, но фактически не соответствует действительности

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Современные обзоры и научные работы по ИИ‑галлюцинациям определяют их как ответы языковых моделей, которые звучат грамматически правдоподобно и уверенно, но не соответствуют ни фактическим данным, ни источнику. Это полностью согласуется с приведённым определением в статье.

Комментарий: Позиция автора: AUTHOR поддерживает этот тезис; он верно отражает общепринятую в научном сообществе характеристику галлюцинации ИИ как правдоподобного, но фактически неверного ответа языковой модели.

Нюанс: Некоторые обзоры дополнительно подчёркивают, что галлюцинация может относиться не только к фактам, но и к нарушению верности контексту или логической согласованности, однако основной акцент — именно на правдоподобной, но не соответствующей реальности информации.

Источники

  • 2023 · ACM Computing Surveys
    В этом обзоре галлюцинаций в больших языковых моделях вводится систематический взгляд на явление, где галлюцинация определяется как генерация правдоподобного, но нефактического или несоответствующего источнику контента. Авторы подчёркивают, что такие ответы часто звучат гладко и…
  • 2025 · PMC
    Обзор показывает, что галлюцинации LLM — это выходы, которые выглядят связными и грамматически корректными, но являются фактически неверными, логически несогласованными или полностью вымышленными. Авторы подчёркивают, что модель часто генерирует такие ответы с высокой уверенност…
  • 2025 · arXiv
    В обзоре галлюцинация в LLM определяется как генерация текста, который кажется разумным, связным и грамматически корректным, но не основан на фактически верной информации или внешних доказательствах. Подчёркивается, что такие ответы могут быть очень убедительными для пользовател…
  • 2024 · arXiv
    Обзор описывает галлюцинацию как ситуацию, когда основные модели генерируют правдоподобные, но фактически несогласованные или абсурдные или не поддержанные контекстом высказывания. Отмечается, что такие ответы могут показаться убедительными и логичными, но не соответствуют дейст…
  • 2024 · PMC
    В статье объясняется, что AI‑галлюцинация — это генерация убедительных и когерентных с точки зрения контекста, но полностью вымышленных ответов, которые не соответствуют реальности. Авторы подчёркивают, что такие ответы часто даются без признаков неуверенности.

Языковая модель — это статистический механизм, который на каждом шаге выбирает наиболее вероятное следующее слово

Вердикт: Частично. Уверенность: Высокая. Доказательная база: Умеренные.

Краткий разбор: Современные языковые модели действительно являются статистическими механизмами, которые на каждом шаге оценивают вероятность следующего слова (или токена), но на практике они далеко не всегда выбирают «наиболее вероятное» слово: при декодировании часто используется семплирование, top‑k, nucleus‑sampling и другие стратегии, которые включают элемент случайности.

Комментарий: Формулировка автора верно отражает базовую идею языковой модели (предсказание следующего элемента по статистике), но упрощает механизм порождения текста: она точна только для greedy‑декодирования, которое модель фактически использует далеко не всегда.

Нюанс: Термин «наиболее вероятное следующее слово» корректен для описания целевой функции модели (maximize P(w_next | контекст)), но не для описания всех реальных режимов генерации; при использовании стохастических стратегий (семплирование, top‑k и др.) выбирается не обязательно самый вероятный токен, а один из вероятных по распределению.

Источники

  • 2024 · arXiv
    В статье обзорятся современные языковые модели и их архитектуры; подчёркивается, что язык моделируется как вероятностное распределение, а при генерации модель предсказывает «следующий наиболее вероятный токен» на основе предыдущего контекста.
  • 2023 · PubMed Central
    LLM описываются как нейросетевые статистические модели, которые оценивают вероятности следующих слов и выбирают наиболее вероятный токен как завершение предложения, когда используется greedy‑декодирование.
  • 2019 · arXiv
    Работа показывает, что вырождение текста моделей связано с тем, что при «чистом» greedy‑декодировании последовательно выбираются самые вероятные токены; однако лучшие результаты часто достигаются при использовании стохастических методов, таких как top‑k и nucleus‑sampling, где в…
  • 2024 · arXiv
    Авторы описывают декодерные стратегии, при которых токен выбирается не по максимуму вероятности, а по заданному порогу на нижнюю границу вероятности, вводя дополнительный элемент случайности в выбор следующего токена.
  • 2024 · arXiv
    Статья формально описывает, как трансформер‑модели обучены предсказывать следующий токен, вычисляя вероятностное распределение и выбирая токены по этому распределению, но подчёркивает, что выбор не обязательно означает выбор только самого вероятного токена.

У языковой модели нет отдельного модуля «база фактов», к которому можно свериться

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Современные массовые языковые модели реализованы как единые нейронные сети, в которых фактические знания распределены по параметрам (весам) и не имеют отдельного модуля-«базы фактов», к которому модель могла бы обратиться как к внешней базе данных; это систематически подтверждается обзорами механизмов знаний в LLM и работами по памяти и внешним базам.

Комментарий: Формулировка автора корректна относительно самых распространённых чистых языковых моделей (ChatGPT‑base, DeepSeek, Gemini base и др.), хотя в расширенных архитектурах RAG/внешние базы могут функционировать как «отдельная» база фактов, но тогда это уже не часть самой модели, а вспомогательный модуль.

Нюанс: Некоторые продвинутые системы сочетают LLM с внешними базами знаний или модулями памяти (RAG, Knoll, LmLm, Knowledge Objects), но в них база фактов остаётся внешним компонентом, а не внутренним модулем модели; ядро модели по‑прежнему не имеет специализированного «модуля база фактов» внутри своих весов.

Источники

  • 2024 · arxiv
    Обзор по механизмам знаний в больших языковых моделях показывает, что фактическая информация кодируется в специфических цепочках нейронов и внимательных головках, а не в отдельном модуле, причём отдельные «knowledge circuits» могут зашивать отдельные факты, но всё это распределе…
  • 2025 · arxiv
    Предлагается новый класс языковых моделей (LmLm), в которых факты хранятся одновременно во внутренних весах и во внешней базе данных; модель обучается направлять запросы к внешней базе, а не полагаться только на встроенные веса, что выделяет фактические знания в отдельный модуль…
  • 2026 · arxiv
    Работа вводит «Knowledge Objects» — кортежи фактов в внешней базе, которые LLM может искать по хэш‑ключам; архитектурно отделяется хранение фактов от обработки текста моделью, подчёркивая, что в самой LLM факты не хранятся в отдельном модуле.
  • 2023 · arxiv
    Обзор ретроспективных и современных подходов к дополнению LLM внешними базами знаний (RAG, triplestores) подчёркивает, что часть знаний хранится в параметрах модели, а часть — во внешних базах, и для работы с последними нужны отдельные модули поиска, не встроенные в LLM.
  • 2025 · arxiv
    Теоретически показано, что число фактов, которые модель может надёжно хранить только в своих весах, ограничено числом параметров; для неограниченного фактического объёма модели учатся обращаться к внешним базам, что выделяет факты в отдельный модуль, не встроенный в LLM.

Модель не различает «я это знаю точно» и «это статистически похоже на правду»

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Научные работы показывают, что языковые модели действительно работают как статистические предикторы следующего токена, а не как системы с четким разделением между «я точно знаю» и «это статистически правдоподобно»; при этом их субъективная «уверенность» часто не коррелирует с фактической точностью, что делает различие практически неотслеживаемым поведенчески.

Комментарий: Автор корректно описывает базовый механизм ЛОМов: они не обладают эпистемическим сознанием «я знаю факт vs только предполагаю», а опираются на вероятности продолжения текста; исследования по метакогнитивной способности и калибровке неопрерождают это, а лишь показывают, что некоторые модели могут частично оценивать свою уверенность, но не выделяют отдельный модуль «точное знание».

Нюанс: Некоторые современные ЛОМы при обучении могут частично учиться выражать неуверенность и калибровать своё доверие, но это не означает, что они принципиально различают «фактическое знание» и «статистику», а лишь что внутренние сигналы доверия можно частично соотнести с вероятностью правильности, причём всё равно модель остаётся статистическим механизмом предсказания токенов, а не «обладателем знаний» в обычном смысле.

Источники

  • 2024 · arXiv
    Работа вводит две меры доверия языковых моделей: P(True) — вероятность того, что утверждение истинно, и P(I Know) — степень уверенности, что модель даст правильный ответ на вопрос. Показано, что модели могут различать некоторые уровни доверия, но шкалы не полностью коррелируют с…
  • 2025 · arXiv
    Исследователи проверяли, способны ли ЛОМы правильно оценивать объём своих знаний по определённой теме. Показано, что модели могут с некоторой степенью точности указывать, знают ли они ответ на вопрос, но не демонстрируют чёткого разделения между «очевидным фактом» и «вероятным д…
  • 2023 · arXiv
    Показано, что в скрытых представлениях ЛОМов можно выделить линейные направления, связанные с порождённой неопределённостью (uncertainty), и что модели запоминают несколько типов неопределённости, коррелирующих с правильностью ответа, но не существует единого, явного модуля «точ…
  • 2025 · arXiv
    Авторы развивают метод Fine-tuning with Uncertainty, который учит модели честно выражать свою неуверенность с помощью слов, например, «возможно», «часто», «вероятно»; показано, что без такого обучения модели склонны к избыточной уверенности и плохо различают уровень своей информ…
  • 2024 · arXiv
    Показано, что ЛОМы систематически избегают говорить «я не знаю», даже когда не располагают достоверной информацией; при специальном обучении их можно научить выражать неуверенность, но без этого они по умолчанию генерируют уверенные, но потенциально вымышленные ответы.

Модели тренируют так, чтобы они давали связный, полезный, законченный ответ, и фраза «я не уверен» реже получает высокую оценку при обучении, чем убедительно звучащая цифра или ссылка

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Существующие исследования показывают, что стандартные объектные функции обучения языковых моделей (пред‑тренировка, RLHF, поздние шаги RL‑оптимизации) оптимизируют связность, полезность и уверенность ответа, а не выражение неуверенности, вследствие чего фразы вроде «я не уверен» получают меньше поощрения, чем убедительно звучащие конкретные ответы.

Комментарий: Отдельные недавние подходы (RLVR, TruthRL, RLCR, SALU и др.) эксплицитно поощряют «я не знаю» или вербализацию неуверенности, но это именно попытка исправить то, что в обычной практике массовых моделей не является стандартом.

Нюанс: Во фронтальных моделях общего назначения (ChatGPT‑класса) доминирующие схемы обучения действительно редко штрафуют уверенные синтетические ответы и не вознаграждают неуверенность, тогда как исследовательские методики начинают вводить отдельные премии за корректное воздержание, но это специализированные режимы, а не базовая практика.

Источники

  • 2026 · arXiv
    Авторы показывают, что языковые модели оптимизированы под плавность и связность, а не под фактическую корректность, и что прямые утверждения при обучении статистически предпочитаются «я не знаю» и другим выражениям неуверенности.
  • 2026 · arXiv
    Исследование вводит RL‑парадигму RLVR, где явно поощряется воздержание от ответа («I don’t know») и показывает, что в стандартных настройках модели редко выбирают такие формулировки, так как они не получают специальной награды.
  • 2026 · arXiv
    Работа показывает, что модели, обученные классическими RL‑средствами, склонны избегать воздержания и генерировать уверенные ответы; введение целевых наград за «не знаю» снижает галлюцинации, но это специальное изменение режима обучения.
  • 2026 · arXiv
    Авторы обучают модели вербально выражать неуверенность или ставить метки «uncertain» и показывают, что без специального обучения модели игнорируют сигналы неуверенности и продолжают генерировать уверенные ответы.
  • 2025 · arXiv
    Предлагается фреймворк SALU, который дообучает модели на задачах воздержания (unanswerability) и использует RLHF‑фазу, где галлюцинации штрафуются, а корректное «no answer» получает высокую награду.

Если модель не встречала точного факта, она достраивает его по аналогии с похожими паттернами — получается правдоподобная, но вымышленная деталь

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Многочисленные обзорные и теоретические работы подтверждают, что когда информация о факте отсутствует или скудна в обучающих данных, большие языковые модели реконструируют или «достраивают» ответ, опираясь на статистически распространённые паттерны — таким образом генерируя правдоподобные, но вымышленные детали.

Комментарий: Описание автора соответствует современным представлениям о механизме галлюцинаций: модель не «знает» факта, а продолжает наиболее вероятные по форме и контексту текстовые продолжения, что приводит к выдуманным, но правдоподобным деталям.

Нюанс: Не всякий галлюцинированный факт возникает только из-за отсутствия точного факта в данных: дополнительными факторами служат смещения при обучении, приоритизация связности над фактичностью и стратегии декодирования, которые усиливают опору на популярные паттерны.

Источники

  • 2025 · arXiv
    Обзор показывает, что языковые модели склонны к галлюцинациям при работе с длиннохвостыми знаниями, которые редко встречаются в обучающих данных. Модель интерполирует или дополняет имеющиеся знания, создавая правдоподобные, но не подтверждённые факты.
  • 2023 · arXiv
    Обзор выделяет несколько источников галлюцинаций, в том числе нехватку или ложность знаний в обучающих данных. При отсутствии необходимых фактов модель может сгенерировать правдоподобный, но неверный ответ, опираясь на похожие ассоциации.
  • 2024 · arXiv
    Доклад утверждает, что галлюцинации — неизбежный эффект архитектуры языковых моделей: в попытках сохранить связность модель «заполняет пробелы» правдоподобной, но неверной информацией даже при оптимальном обучении.
  • 2025 · PMC
    По результатам обзора галлюцинации описываются как поток коэффициентных продолжений, которые статистически возможны, но не соответствуют фактам. Модель склонна «заполнять» пропуски в знаниях на основе вероятных текстовых паттернов.
  • 2025 · arXiv
    Работа отмечает, что в областях с разреженными или неполными обучающими данными модель вынуждена интерполировать фиктивные продолжения, чтобы сохранить связность; это и есть галлюцинации — «завершение паттернов» без фактической опоры.

Знания модели фиксированы на момент обучения, и на вопрос о событиях позже этой даты модель либо честно говорит, что не знает, либо выдаёт наиболее вероятную догадку как факт

Вердикт: Частично. Уверенность: Высокая. Доказательная база: Умеренные.

Краткий разбор: Знания модели действительно фиксируются на момент обучения (или последнего пополнения данных), и при запросах о событиях после этой даты модель часто либо признаёт отсутствие информации, либо генерирует правдоподобную догадку как факт; однако поведение не всегда сводится только к этим двум вариантам, а может включать иные формы ответа, включая частичное угадывание и смешанную формулировку.

Комментарий: Автор верно описывает основную идею, но формулировка «либо честно говорит, что не знает, либо выдаёт наиболее вероятную догадку как факт» несколько упрощает реальную гамму реакций моделей, включая случаи неполной честности или частичного угадывания.

Нюанс: Модель может иногда прямо указать на ограничение знаний (например, назвать дату отсечки знаний), но зачастую вместо честного признания неуверенности выбирает правдоподобную догадку; при этом отдельные системы, использующие RAG или внешние источники, могут частично обновлять доступные факты и тем самым выходить за рамки исключительно фиксированного знания, оставаясь при этом зависимыми от базового обучения.

Источники

  • 2025
    Обзор показывает, что один из источников галлюцинаций языковых моделей — устаревшие фактические знания: после обучения внутренние параметрические знания LLM фиксируются и не меняются, поэтому при запросах о событиях после даты отсечки модели часто генерируют вымышленные или уста…
  • 2024
    Работа демонстрирует, что галлюцинации неизбежны в LLM из‑за математической и логической структуры моделей: даже при совершенном обучении модель не всегда может корректно выразить неуверенность и иногда выдаёт правдоподобные, но ложные ответы.
  • 2025
    Обзор объясняет, что LLM обладают внутренней базой знаний, фиксированной после обучения, которая может устаревать; при запросах о фактах, отсутствующих в этой базе, модель часто заполняет пробелы правдоподобной, но неверной информацией.
  • 2026
    Исследование показывает, что LLM обладают фиксированной базой знаний, ограниченной периодом обучения; при обращениях к информации за пределами этого периода возрастает вероятность галлюцинаций из‑за необходимости «додумывать» ответ.
  • 2026
    Работа демонстрирует, что чем дальше событие от даты отсечки знаний, тем выше вероятность того, что LLM выдаст неверный или вымышленный ответ, а не честно признает незнание.

Фактические галлюцинации — это неверная цифра, дата, характеристика, когда модель меняет местами показатели, округляет в произвольную сторону, приписывает свойство не тому объекту

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Академическое сообщество в целом описывает фактологические (фактуальные) галлюцинации языковых моделей как генерацию содержимого, которое противоречит реальным фактам, включая ошибки в цифрах, датах, сущностях и отношениях между объектами; приведённое автором определение хорошо укладывается в эту картину.

Комментарий: Автор верно передаёт существующее в литературе понимание "фактических галлюцинаций" как ошибок в фактах (в том числе цифрах и датах) и приписывании свойств не тем объектам; при этом не претендует на исчерпывающую классификацию, а даёт понятную читателю интуицию.

Нюанс: В научной литературе фактические галлюцинации часто дополнительно разбивают на подтипы (ошибки сущностей vs отношений, устаревшие факты, приписывание свойств, несоответствие дат, сумм и т.п.), а также различают их от логических или контекстуальных галлюцинаций; авторский пример с округлением и сменой местами показателей отражает распространённые эмпирические наблюдения, но не является формальным критерием.

Источники

  • 2025 · PMC / Frontiers in Artificial Intelligence
    В статье даётся обзор литературы по галлюцинациям в LLM и используется определение, согласно которому галлюцинация — это потоковый, связный ответ, который не соответствует действительности или подтверждённым источникам знаний. Авторы выделяют "factual hallucination" как случаи,…
  • 2023 · arXiv
    Авторы кратко определяют "фактуальную галлюцинацию" как несоответствие сгенерированного текста подтверждённым фактическим данным, а затем разбивают её на подтипы: фактические противоречия (включая ошибки в сущностях и отношениях) и фактическое выдумывание (unverifiable facts).
  • 2025 · arXiv
    Опрос описывает галлюцинации как сгенерированный текст, который выглядит правдоподобно, но не соответствует фактам или исходному контексту. В разделе про фактологические ошибки отмечаются случаи, когда модель генерирует неверные числа, даты, имена или связи между объектами.
  • 2024 · arXiv
    Авторы предлагают уточнённую классификацию фактологических галлюцинаций и выделяют subтип "entity-error hallucination", где модель называет ошибочные сущности (например, неверную дату, место, объект или атрибут), а также случаи, когда модель приписывает объекту неверное свойство…
  • 2023 · arXiv
    Работа вводит подкатегорию "Numeric Nuisance", под которой понимаются случаи, когда модель выдаёт неверные числовые значения (даты, возраст, суммы и т.п.), противоречащие реальности; это явление считается типичным примером фактологической галлюцинации.

Источниковые галлюцинации — самый опасный тип: ИИ придумывает название статьи, автора, журнал, DOI или ссылку со стилистически безупречным оформлением

Вердикт: Частично. Уверенность: Высокая. Доказательная база: Умеренные.

Краткий разбор: Академические обзоры подтверждают, что генерация выдуманных ссылок и библиографических данных (source/reference hallucinations) является серьёзной и широко изученной проблемой, но не выделяют именно этот тип как «самый опасный»; другие типы галлюцинаций (например, клинические ошибки в медицине, пакетные галлюцинации в коде или структурные искажения знаний) также рассматривают как высокорисковые.

Комментарий: Утверждение автора частично верно: источниковые галлюцинации действительно считаются особенно опасными в академическом и научно‑исследовательском контекстах из‑за создания «опоры на несуществующие источники». Однако в научной литературе нет консенсуса, что они объективно «самые опасные» среди всех типов галлюцинаций — это оценочное суждение, а не строго доказанный факт.

Нюанс: Для юридических, медицинских и научных приложений источниковые галлюцинации оцениваются как особенно вредные, потому что имитируют академическое оформление и могут вводить в заблуждение не только читателей, но и формировать ложные цитируемости в научном дискурсе; тем не менее, в клинических системах более опасными называют галлюцинации, ведущие к ошибкам в диагнозах или терапии, а в dev‑среде — пакетные галлюцинации, создающие уязвимости в ПО.

Источники

  • 2026 · BMC
    В статье обсуждается проблема выдуманных ссылок, создаваемых генеративным ИИ, в научных публикациях и аргументируется, что они могут рассматриваться как нарушение научной честности, если цитаты выступают в качестве «данных».
  • 2024 · Journal of Medical Internet Research (JMIR)
    Разработан и валидирован шкала для измерения частоты и степени галлюцинаций ссылок в медицинских ИИ‑инструментах; показано, что большинство ошибок приходится на релевантность ссылки запросу, а не на её существование, но выдуманные ссылки всё равно встречаются и могут вводить в з…
  • 2025 · arXiv
    Обзор классифицирует галлюцинации LLM на несколько типов (фактические, верообразные, ссылочные и др.) и показывает, что все они подрывают надёжность и доверие к ИИ, особенно в критичных областях, но не ранжирует их по степени опасности.
  • 2024 · PMC
    В статье дан обзор типов галлюцинаций, подчёркивается, что в медицине и образовании ошибки могут быть особенно опасны, и что тяжесть последствий зависит от области применения, а не от формата ошибки.
  • 2025 · npj Digital Medicine (Nature)
    Исследование в медицинской среде показывает, что наиболее опасными типами галлюцинаций являются выдумывание и отрицание клинически значимых фактов, а не непосредственно ссылочные галлюцинации.

Логические галлюцинации — отдельные факты верны, но вывод из них не следует: модель смешивает корреляцию с причинностью или обобщает частный случай на всю категорию

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Современные обзоры и теоретические работы по галлюцинациям в языковых моделях признают отдельный класс «логических» или «логически несогласованных» галлюцинаций, когда модель правильно воспроизводит отдельные факты, но делает из них ошибочные выводы, включая смешение корреляции с причинностью и поспешные обобщения частных случаев.

Комментарий: Определение автора хорошо согласуется с тем, как в научной литературе описывают «logical hallucinations»/«logical inconsistency hallucinations»: они отличаются от чисто фактических ошибок тем, что речь идёт о нарушении правил логики и причинно‑следственных рассуждений.

Нюанс: В литературе используется несколько терминологий («логические галлюцинации», «логические несогласованности», «spurious correlations‑hallucinations»), и акценты могут быть разными (формальная логика vs. статистические заблуждения корреляция–причинность), но общая идея о «правдивые факты + неверный вывод» совпадает.

Источники

  • 2025 · arXiv
    В статье предложена обзорная классификация галлюцинаций в LLM, включая фактические, faithfulness‑ошибки и логические заблуждения; подчёркнуто, что логические галлюцинации проявляются как внутренние противоречия или ошибки рассуждений, даже если отдельные утверждения в тексте мог…
  • 2025 · PMC
    Обзор выделяет две группы источников галлюцинаций: вызванные промптом и внутренние (модельные); в числе внутренних обсуждаются случаи, когда модель генерирует текст с высокой вероятностью, но он расходится с фактами или логикой, включая несоответствие между кореллирующими и прич…
  • 2025 · arXiv
    Обзор подчёркивает, что в отличие от фактических галлюцинаций, логические галлюцинации возникают из‑за ошибок внутреннего рассуждения модели, даже когда извлечённые или запомненные факты корректны.
  • 2025 · arXiv
    Работа показывает, что LLM производят «логически несогласованные галлюцинации», когда их ответы кажутся связными, но нарушают логические принципы; отмечается связь между слабостью причинно‑ориентированного мышления и такими галлюцинациями.
  • 2025 · arXiv
    Авторы выделяют класс галлюцинаций, вызванных спurious correlation — поверхностными, но статистически заметными ассоциациями между признаками, которые модели принимают за причинные или категориальные связи, порождая уверенно сформулированные, но логически ошибочные выводы.

Смысловые галлюцинации — модель неверно интерпретирует вопрос или контекст и уверенно отвечает не на то, что спросили

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Академические опросы и таксономии галлюцинаций в LLM действительно описывают класс проблем, когда модель неадекватно интерпретирует вход (prompt, контекст) и даёт ответ, не соответствующий запросу, что согласуется с авторским определением «смысловой галлюцинации».

Комментарий: Формулировки «смысловые галлюцинации» и «semantic hallucinations» в научной литературе используются нестрого, но содержательно покрывают случаи, когда модель игнорирует или искажает контекст, смещая ответ в сторону собственных семантических приоров.

Нюанс: В опросах чаще используют термины вроде «unfaithfulness to input», «input‑conflicting hallucination», «context‑conflicting hallucination» или «semantic hallucination» в мультимодальных моделях; авторское определение компактно и не противоречит этим таксономиям, но не является единым стандартным термином.

Источники

  • 2023 · arXiv
    Обзор систематизирует галлюцинации в LLM в два основных класса: factuality hallucination (расхождение с реальными фактами) и faithfulness hallucination (расхождение с данным пользователем вводом). В подкатегориях выделяются случаи, когда модель игнорирует или искажает предоставл…
  • 2023 · arXiv
    Авторы вводят классификацию галлюцинаций на основе отношения к входу, контексту и фактам: input‑conflicting, context‑conflicting и fact‑conflicting. Input‑conflicting соответствует случаям, когда модель генерирует текст, отклоняющийся от пользовательского запроса, даже если он с…
  • 2024 · arXiv
    Обзор описывает галлюцинации как генерацию плавного и логически связного, но фактически неверного или не относящегося к контексту контента. В частности отдельно выделяется «контекстуальная дезориентация»: выход не соответствует ни промпту, ни ожидаемому контексту пользователя.
  • 2025 · arXiv
    Обзор расширяет классификацию на intrinsic и extrinsic галлюцинации, а также factuality, и подчёркивает, что часть ошибок возникает из‑за неправильной интерпретации контекста, путаницы в сущностях и нехватки «семантического понимания» запроса.
  • 2025 · arXiv
    Исследование описывает «semantic hallucination» в мультимодальных моделях как генерацию текста, правдоподобного по смыслу, но не соответствующего визуальному сигналу; в ответе появляются слова, которых нет в изображении, потому что модель полагается на семантические приоры, не о…

Все массовые модели — ChatGPT, DeepSeek, Gemini и другие — фиксируют случаи выдуманных ссылок и фактов, разница между ними в частоте, а не в наличии проблемы

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Исследования показывают, что все массовые модели общего назначения, включая ChatGPT, Gemini и аналоги, генерируют выдуманные ссылки и факты, но в очень разной частоте и по разным метрикам галлюцинаций.

Комментарий: Существует обширный набор работ, демонстрирующих фактологические галлюцинации и «придуманные» ссылки почти для всех ведущих моделей — от ChatGPT‑3.5 до Gemini и Bard; разница между ними именно в вероятности и масштабе ошибок, а не в отсутствии проблемы.

Нюанс: Частота галлюцинаций сильно зависит от задачи (медицина/финансы/юриспруденция), подмодели, языка и метрики; для некоторых моделей (например, более старших версий ChatGPT) процент ошибок ниже, но нулевых показателей фактической точности ни в одном широком тесте не найдено.

Источники

  • 2024 · JAMA Network Open
    В исследовании оценивались галлюцинации и точность ссылок ChatGPT и Bard (Gemini) при составлении систематических обзоров по заболеваниям вращательной манжеты плеча; показано, что ChatGPT‑3.5 допускает галлюцинации в 39,6% случаев, GPT‑4 — в 28,6%, а Bard (Gemini) — в 91,4% случ…
  • 2023 · The BMJ
    Анализ исследований о ChatGPT показывает, что значительная доля сгенерированных ссылок и фактов оказывается вымышленной или неточной: в одном из обзоров 47% цитат были полностью фабрикованы, ещё 46% — реальны, но содержали ошибки, и лишь 7% были одновременно реальны и точны.
  • 2023 · arXiv
    В специализированном тесте (Ag‑Tech) показано, что ChatGPT даёт корректные или частично корректные ответы примерно в половине случаев, но предложенные им ссылки реально существуют только в 14% случаев; 86% ссылаемых работ — вымышлены.
  • 2023 · arXiv
    Разносторонняя оценка ChatGPT показывает, что модель страдает от галлюцинаций по широкому спектру задач, особенно экстернальных (фактические утверждения о внешнем мире); например, на наборе TruthfulQA метод объективно неверные ответы более чем в трети случаев.
  • 2024 · arXiv
    Исследование показывает, что Gemini Advanced даёт галлюцинации в 76,7% случаев в задачах, связанных с финансовой литературой, тогда как другие модели (включая ChatGPT‑4) демонстрируют более низкий, но всё равно значимый уровень ошибок.

Ни одна модель общего назначения на сегодня не даёт гарантии фактической точности каждого утверждения

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Современные обзоры и исследования ясно показывают, что все общие языковые модели до сих пор не гарантируют фактическую точность каждого утверждения и систематически склонны к галлюцинациям, даже если в отдельных тестах они достигают высокой доли фактических ответов.

Комментарий: Тезис автора научно верен: ни одна из массовых общих моделей не может формально гарантировать истинность каждого выданного утверждения, поскольку их архитектура ориентирована на предсказание вероятного текста, а не на проверку факта.

Нюанс: Существуют методы (фактчекеры, retrieval‑augmentation, специализированная финтюновка), которые повышают фактическую точность, но они не устраняют проблему полностью и не превращают общие модели в системы с формальной гарантией фактической достоверности.

Источники

  • 2024 · arXiv
    Этот обзор синтезирует исследования factuality и галлюцинаций в LLM: показывает, что модели обучаются на языковой, а не фактической статистике, что приводит к систематической выдумке неверификаций и ссылок. В обзоре описаны различные метрики фактической точности и подходы к улуч…
  • 2023 · arXiv
    Авторы оценивают фактическую точность LLM в биомедицинских и химических задачах и показывают, что даже GPT‑4 и Llama‑2 дают фактически точные ответы далеко не в каждом случае; в ряде тестов точность падает до десятков процентов, а модели часто генерируют конкретные, но ложные ут…
  • 2024 · PMC
    Статья разбирает, что LLM не предназначены как системы, гарантирующие истинность, а проектируются для полезности и убедительности; их фактическая точность является лишь одним из множества критериев качества, поэтому модели случайны по отношению к истине и склонны к галлюцинациям.
  • 2025 · arXiv
    Этот обзор мета‑анализирует подходы к оценке и улучшению фактической точности LLM и показывает, что даже передовые модели (GPT‑4, LLaMA‑2) генерируют ложные факты примерно в 5–10% ответов на общие вопросы; отмечается необходимость внешних систем фактчекинга, так как модели сами…
  • 2025 · arXiv
    Широкое исследование показывает, что даже передовые модели (Claude‑3.7, GPT‑o1) сохраняют неточности фактов и в промежуточных шагах рассуждений, и предлагаемые методы лишь улучшают, но не элиминируют эти ошибки.

Чем более узкая и проверяемая тема (даты, цифры, названия исследований, судебная практика, медицинские данные), тем выше цена галлюцинации и тем обязательнее проверка

Вердикт: Подтверждено. Уверенность: Высокая. Доказательная база: Сильные.

Краткий разбор: Академические обзоры и исследования показывают, что галлюцинации ИИ особенно критичны и опасны в узких, легко проверяемых доменах, таких как медицина, право и научные ссылки, где каждая ошибка (дата, цифра, название работы, судебное решение) может иметь серьёзные последствия и повышает необходимость строгой проверки.

Комментарий: Утверждение не является строго «эмпирическим законом» с формальными числами, но хорошо согласуется с тем, что в научной литературе подчёркивается: чем выше степень проверяемости и последствий ошибки (медицина, право, наука), тем большее внимание уделяется риску галлюцинации и требованию человеческой/автоматизированной верификации.

Нюанс: Степень риска и «цены» галлюцинации зависит не только от того, насколько тема узкая и проверяемая, но и от контекста: например, в медицине это может быть ошибочная дозировка лекарства, а в праве — придуманное решение суда; в менее «острых» узких темах ущерб может быть меньше, но всё равно выше, чем в неформальных, разговорных контекстах.

Источники

  • 2024 · arXiv
    Исследование фокусируется на галлюцинациях в юридических задачах, где требуется точное воспроизведение судебной практики, дат и ссылок на дела. Показано, что модели часто выдумывают несуществующие дела и цитаты, причём ошибки встречаются в большой доле ответов, особенно при запр…
  • 2025 · medRxiv
    Систематический обзор описывает галлюцинации в медицинских моделях, выделяя ошибки в датах, цитировании источников и клинических рекомендациях; подчёркивается, что в медицине фактические ошибки могут напрямую повредить пациенту, поэтому необходима строгая верификация.
  • 2024 · PMC
    В работе измеряются галлюцинации медицинских чат‑ботов в отношении ссылок (даты публикаций, авторы, DOI, названия статей, журнал), показывая высокие доли выдуманных или ошибочных элементов даже в узко определённых медицинских запросах.
  • 2025 · arXiv
    В работе обобщены исследования галлюциногенности моделей в медицине, показывая, что в медицинских системах важна непрерывная верификация из‑за риска неправильной дозировки, диагноза или рекомендации, даже при относительно высокой «полезности» ответов.
  • 2025 · arXiv
    Обзор описывает галлюцинации моделей в разных доменах, особо подчёркивая области, где важна точность информации — медицина, право, финансы, образование; в этих областях ошибка в конкретной дате, цифре или ссылке может иметь серьёзные последствия.

БредДетектор сверяет каждое утверждение из ответа ИИ с базой из 220 миллионов рецензируемых научных работ

Вердикт: Нет подтверждения. Уверенность: Низкая. Доказательная база: Слабые.

Краткий разбор: Автор утверждает, что система «БредДетектор» сверяет каждое утверждение из ответа ИИ с базой из 220 миллионов рецензируемых научных работ. Найденные научные источники описывают разные методы детекции галлюцинаций у ИИ, но не содержат ни прямого упоминания именно «БредДетектора», ни описания системы с такой базой и логикой работы.

Комментарий: Вероятно, автор использует «БредДетектор» как маркетинговое или иллюстративное название для некоего инструмента-детектора, но в доступных академических текстах нет описания продукта с таким названием и с заявленной базой из 220 млн статей. Поэтому утверждение нельзя ни подтвердить, ни опровергнуть: оно не поддержано ни в одном из просматриваемых исследований.

Нюанс: Существуют научные работы о внешних базах знаний и детекторах галлюцинаций, которые сверяют ответы с медицинскими или иными структурированными базами, но масштабы (220 млн рецензируемых работ) и сама фраза «БредДетектор» не совпадают с описанными в источниках системами. Неверно было бы считать это утверждение научно подтверждённым фактом; оно скорее служит читабельной иллюстрацией, чем точным описанием существующего инструмента.

Источники

  • 2024
    Papers were considered "hallucinated" if any 2 of the following information were wrong: title, first author, or year of publication. ... ** In total, 11 systematic reviews across 4 fields yielded 33 prompts to LLMs (3 LLMs×11 reviews), with 471 references analyzed. Precision rat…
  • 2024
    Here we develop new methods grounded in statistics, proposing entropy-based uncertainty estimators for LLMs to detect a subset of hallucinations-confabulations-which are arbitrary and incorrect generations. Our method addresses the fact that one idea can be expressed in many way…
  • 2025
    In this work, we introduce a perturbed multi-hop QA dataset with induced hallucinations. Via supervised fine-tuning on our dataset, we achieve better recall with a 7B model than GPT-4o on the RAGTruth hallucination detection benchmark and offer competitive performance on precisi…
  • This work addresses hallucination reduction in consumer grievance chatbots built using LLaMA 3.1 8B Instruct, a compact model frequently used in industry. We develop HalluDetect, an LLM-based hallucination detection system that achieves an F1 score of 68.92% outperforming baseli…
  • We present CHECK, a continuous-learning framework that integrates structured clinical databases with a classifier grounded in information theory to detect both factual and reasoning-based hallucinations. Evaluated on 1,500 questions from 100 pivotal clinical trials, CHECK reduce…