Галлюцинация нейросети в бизнес-процессе — это правдоподобный ответ, которого нет во входных данных и в корпоративных источниках. В чате это раздражает. В заявке, договоре и письме клиенту это становится операционным риском.
Ниже — как встроить недоверие в процесс, не запрещая модели вовсе. Где задачи вообще уместны — в нейросетях для бизнеса.
Где выдумка бьёт больнее
Цифры: суммы, даты, ИНН. Нормы: «согласно п. 5 нашего приказа» — приказа нет. Обещания клиенту: скидка, срок, SLA, которых нет в политике. Юридические выводы без юриста.
Черновик внутреннего письма с фактической ошибкой дешевле поймать. Автоотправка такого письма — уже инцидент.
Что реально сужает проблему
Узкий вход: не «вот вся переписка за год», а нужные поля. RAG с запретом отвечать вне найденного. Проверка чисел регулярками и сверкой с учётной системой. Человек на необратимом шаге.
Журнал помогает разбирать, не предотвращает. Но без журнала вы не докажете, что ушло клиенту. Журнал настраивается на шлюзе.
Чего ждать не стоит
Системного промпта «не выдумывай» как единственной меры. Модель может согласиться и продолжить. Полного отказа от проверки, потому что «на демо не выдумало». Демо короткое и чистое.
Сравнение моделей без размеченных ошибок тоже бесполезно: вы выберете ту, что глаже врёт.
Как вписать в пилот
Заведите типы ошибок: выдуманный факт, кривая сумма, отказ отвечать, отказ найти документ. Считайте их на живых примерах. Это уже оценка пилота, не «нравится / не нравится».
Если критичных выдумок на вашем потоке не падает, не расширяйте автозапись. Сначала процесс, потом масштаб — см. с чего начать.
Частые вопросы
Галлюцинация LLM — это связный и уверенный ответ, который не следует из входных данных и не подтверждается вашими документами. Модель не «врёт назло»: она продолжает наиболее вероятный текст. В бизнесе это выглядит как выдуманный пункт договора, несуществующая статья регламента или неправильная сумма.
Нет. Можно сузить вход, требовать ответ только по найденным фрагментам, проверять числа правилами, держать человека на критичных шагах. Обещание «модель больше не выдумывает» в договоре непроверяемо.
Иногда снижает частоту грубых выдумок, но не отменяет их. На потоке счетов дорогая модель без проверки полей всё равно пропустит сумму. Сначала контур проверки, потом апгрейд маршрута. Выбор класса модели — в [как выбрать LLM](/resources/how-to-choose-llm).
Тем, что ответу есть из чего опираться. Не спасает, если индекс пустой или устарел: тогда модель снова достраивает текст. Правило «не знаешь — скажи, что в базе нет» нужно явно, иначе вежливый вымысел останется нормой.