Галлюцинация ИИ
Галлюцинация ИИ — это когда языковая модель уверенно сообщает то, чего не существует или не происходило. Она выдаёт несуществующую дату, выдуманную цитату, название закона, которого нет, или ссылку на исследование, которое никто не публиковал — и делает это с той же уверенностью, что и правильный ответ. Никакой плашки «я не уверен» или сигнала об ошибке нет: ответ приходит одним связным текстом, и выдуманное в нём выглядит точно так же, как реальное.
Термин «галлюцинация» — не метафора для красоты, он точно описывает механизм. Обычная программная ошибка — это сбой: что-то сломалось и программа об этом сообщает. Языковая модель не ломается — она строит ответ как статистически вероятное продолжение текста, опираясь на то, что видела при обучении. Нет внутреннего механизма, который проверяет: «это правда или я это придумал?» Модель просто не знает разницы между тем, что она «вспомнила» из данных, и тем, что «дофантазировала». Именно поэтому говорят о галлюцинации, а не об обычной ошибке — модель не осознаёт, что ошибается, и уточнить это до публикации придётся вам.
Риск галлюцинаций не одинаков для всех задач. Переформулировать абзац, сгенерировать варианты заголовков или составить структуру документа — здесь конкретные факты не нужны, и модель работает надёжно. Зато там, где важна точность, галлюцинации особенно опасны: конкретные цифры и статистика, имена и должности реальных людей, даты событий, ссылки на законы и нормативные документы, цитаты. Всё это модель может выдать убедительно и неверно одновременно. Чем точнее должна быть информация — тем выше риск, и тем нужнее проверка.
Галлюцинации — не баг, который устранят в следующей версии: это следствие самого принципа работы языковых моделей. Почему модель устроена именно так — объяснено в справке про LLM. Задача пользователя на практике — знать, где риск выше, и проверять там, а не доверять тексту только потому, что он звучит уверенно. Как именно работать с ИИ-текстом до публикации и что чаще всего пропускают — разобрано в статье про ошибки и выдумки нейросетей.