ИИ отвечает неправильно: пять причин и как починить

Первое желание после неверного ответа ИИ: выключить чат и вернуть форму «оставьте телефон». Не спешите. В подавляющем большинстве случаев причина не в нейросети, а в том, что ей дали или не дали. Ниже пять причин, которые мы встречаем чаще всего, по каждой: как узнать, что дело в ней, и как исправить.

Причина 1. В базе знаний нет ответа, и ИИ заполняет пробел

Как выглядит. Клиент спрашивает цену товара, которого нет в базе, ИИ называет правдоподобную цифру. Или спрашивает про доставку в регион, который вы не упоминали, и получает уверенное «да, доставим».

Почему. Нейросеть устроена так, что стремится дать полезный ответ. Если фактов нет, она достраивает их по аналогии. Без явного правила «не знаешь, не отвечай» она будет отвечать всегда.

Как починить. Два действия. Первое: правило в настройках, дословно «цены, сроки и условия называть только из базы, при отсутствии данных предложить уточнить у менеджера и взять контакт». Второе: заполнить дыру. Каждый выдуманный ответ это подсказка, какого раздела в базе не хватает. Что должно быть в базе, мы разложили по полкам в статье про базу знаний для ИИ.

Причина 2. В базе противоречия

Как выглядит. Один и тот же вопрос, разные ответы в разное время. Сегодня «доставка от 3 дней», завтра «от 5». Цена на товар то одна, то другая.

Почему. В базу попали старый прайс и новый, страница сайта с прошлогодними условиями и свежий регламент. ИИ находит оба фрагмента и выбирает любой.

Как починить. Один источник на каждый факт. Цены только из каталога сайта или МойСклад, условия только из одного документа. Всё, что дублирует, из базы убрать. Проверка простая: задайте ИИ десять вопросов по три раза каждый. Разные ответы на один вопрос значит, где-то дубль.

Причина 3. Нет правил поведения, только факты

Как выглядит. ИИ знает цены, но обсуждает скидки, спорит с недовольным клиентом, обещает «сделаем к пятнице», отвечает на вопросы про политику и погоду.

Почему. База описывает, что вы продаёте, но не описывает, как вы себя ведёте. Без ограничений ИИ ведёт себя как старательный стажёр, который хочет всем помочь и не знает, где остановиться.

Как починить. Добавить в базу раздел «Ограничения». Минимум:

• Скидки, рассрочка, особые условия: не обсуждать, передать менеджеру.
• Жалобы и споры: не спорить, извиниться, передать.
• Сроки: называть только с оговоркой «обычно» и условием.
• Темы вне бизнеса: вежливо отклонять.
• Обещания от имени компании: только те, что записаны в условиях.

Это десять-пятнадцать строк, и они снимают половину неприятных диалогов.

Причина 4. ИИ не передаёт диалог человеку

Как выглядит. Клиент трижды написал «дайте менеджера», а ИИ продолжает предлагать варианты. Или клиент готов купить, а ИИ вместо контакта рассказывает про характеристики.

Почему. Не настроены триггеры передачи. ИИ не понимает, что диалог нужно закончить, и ведёт его до бесконечности. Иногда передача настроена, но заявка уходит в чат, который никто не читает.

Как починить. Настроить триггеры и адрес передачи.

Заявка должна попадать в amoCRM, Битрикс24 или на доску заказов, где видно, кто её взял и что сделал. Личный чат владельца для этого не подходит. Как устроена связка ИИ и CRM, описано в статье про ИИ-менеджера на сайте, внедрение CRM смотрите на странице CRM под ключ.

Причина 5. Диалоги никто не читает

Как выглядит. Запустили, месяц не заглядывали, потом клиент пожаловался. Оказалось, ИИ уже три недели называет старую цену, потому что прайс поменяли, а базу нет.

Почему. ИИ воспринимают как «настроил и забыл». На деле это сотрудник, которому нужны обратная связь и актуальная информация. Без присмотра он деградирует не потому, что глупеет, а потому, что мир вокруг меняется.

Как починить. Регламент из трёх пунктов: раз в неделю просматривать диалоги с пометкой «уточню» и дописывать базу; цены и наличие обновлять автоматически из сайта или учёта; любое изменение условий в тот же день вносить в базу. Занимает полчаса в неделю и закрывает большую часть проблем.

Как найти причину за один вечер

Если вы не знаете, какая из пяти причин у вас, пройдите короткую диагностику.

1. Соберите десять плохих диалогов. Те, где клиент остался недоволен или ИИ явно ошибся.
2. Для каждого спросите: ответ был выдуман или взят из базы? Выдуман, значит причина 1 или 3. Взят из базы, но неверный, причина 2 или 5.
3. Проверьте, был ли момент, когда следовало передать человеку. Если был и передачи не случилось, причина 4.
4. Задайте ИИ те же вопросы сами. Три раза каждый. Разные ответы указывают на противоречия.
5. Посмотрите дату последнего обновления базы. Если она старше последнего изменения цен, причина 5.

Как правило, у одного бизнеса две-три причины сразу, и они связаны: нет правил, поэтому нет передачи, и никто не смотрит, поэтому дыры в базе не закрываются.

Чего делать не стоит

Менять нейросеть. Смена модели не заполнит пустую базу и не добавит правил. Наш ИИ-менеджер работает на GigaChat, и ошибки из этого списка не зависят от модели, они зависят от настройки.

Ставить ИИ на все вопросы сразу. Лучше сузить: сначала доставка, оплата и каталог, остальное передавать. Расширять по мере того, как база растёт.

Скрывать, что отвечает ИИ. Клиент, который думал, что общается с человеком, воспринимает ошибку как обман. Честное «я ИИ-помощник, могу позвать менеджера» снимает напряжение.

Передавать в базу лишнее. В базу не нужно класть переписки с личными данными клиентов, договоры с реквизитами и внутренние документы. Что можно передавать нейросети, а что нет, разобрано в статье про ИИ и персональные данные.

Коротко

• Выдуманные цены: в базе нет ответа и нет правила «не знаешь, передай». Заполните дыру и добавьте правило.
• Разные ответы на один вопрос: в базе дубли. Один источник на каждый факт.
• Обсуждает скидки и спорит: нет раздела «Ограничения». Десять строк решают.
• Не отдаёт клиента менеджеру: не настроены триггеры передачи и адрес в CRM.
• Ошибки накапливаются: диалоги никто не читает. Полчаса в неделю на разбор и обновление базы.