codautomat.tech

Галлюцинация

Также: hallucination, галлюцинации ИИ, выдумывание

Когда модель уверенно выдаёт правдоподобный, но неверный или выдуманный ответ.

Галлюцинация — это ситуация, когда LLM генерирует информацию, которая звучит убедительно, но не соответствует действительности: несуществующая функция библиотеки, выдуманная цитата, неверный факт.

Причина в природе модели: она предсказывает правдоподобное продолжение текста, а не сверяется с базой истины. Поэтому пробелы в знаниях она может «заполнить» догадкой, поданной как факт.

Снизить риск помогают: проверка фактов, запрос источников, подача проверенного контекста (RAG) и просьба честно признавать неуверенность. В коде — всегда запускать и тестировать то, что предложила модель.

Связанные термины