Containment 80%, а клиенты жалуются. Каких метрик не хватает

Containment rate — доля звонков, закрытых без передачи человеку, — это первая метрика голосового AI-агента, которую показывают на демо, и часто единственная, которую компания потом отслеживает. Беда в том, что она не отличает решённый вопрос от брошенной трубки.

Прямой ответ на вопрос заголовка: containment сам по себе не измеряет качество. Он измеряет только нагрузку, снятую с операторов. Чтобы цифра что-то значила, рядом должны стоять четыре метрики: повторные обращения за 72 часа, доля вынужденных эскалаций, успешность переводов на человека и CSAT, разложенный по бакетам «закрыто агентом» и «переведено».

Без них 80% в отчёте описывают два противоположных сценария одинаково: агента, который действительно закрывает вопросы, и агента, от которого 80% клиентов не смогли добраться до человека и ушли молча.

Deflection, containment и resolution — это три разные цифры

Их регулярно путают, в том числе в коммерческих предложениях. Разница принципиальная. Дашборд показывает не всё: как выбирать звонки на прослушивание, разобрано здесь. Что вендоры понимают под каждым из этих терминов — в разборе формулировок.

Deflection — обращение уведено из очереди к оператору. Клиент мог просто положить трубку — deflection всё равно засчитан.

Containment — разговор завершён агентом без участия человека. Уже лучше, но «завершён» не равно «вопрос закрыт».

Resolution — вопрос действительно решён. Именно эта метрика важна бизнесу, и именно у неё самое размытое определение: каждый вендор считает resolution по-своему, и в презентации это редко расшифровано.

Практическое следствие: когда в предложении стоит «up to 80% resolution», первый вопрос — что здесь считается решённым обращением и кто это проверял. Если ответа нет, цифра не сопоставима ни с чем.

Какие метрики голосового AI-агента ставить рядом с containment

Ниже — минимальный набор. Пять строк, которые имеет смысл выводить на один экран и смотреть только вместе.

Читается это так. Containment 75% при repeat contact 30% — не успех, а отложенная нагрузка: почти треть закрытых обращений вернётся к вам снова. Containment 55% при repeat contact 8% и transfer success 95% — рабочая система. Разрыв в CSAT больше трёх пунктов между бакетами означает, что агент удерживает те обращения, которые должен был отдавать человеку.

Отдельно про transfer success: это метрика, которую забывают чаще всего, а ломается она чаще остальных. Клиент согласился на перевод, услышал гудки и попал в никуда — формально эскалация состоялась, фактически клиент потерян. Как проектировать саму передачу, разбираем в статье про эскалацию на человека.

Почему вендорские 80% — это не ваши 80%

Миф, который стоит дороже всего: «если вендор показывает 80–90% resolution, столько же получу и я».

Смотрите на разброс. Вендорские заявления по containment для agentic-агентов — 60–90% (такой диапазон приводит, например, Teneo). Независимые оценки реальных production-внедрений дают 40–70% (dragapp). Retell AI заявляет 50–80% в течение 60 дней после запуска — это тоже вендорское заявление, а не измерение со стороны.

Разброс объясняется не враньём, а разными базами. На ранней стадии внедрения containment типично 20–40%, на зрелой — 40–70% (оценка Balto). На структурированных транзакционных интентах — 70–90%, на сценариях с записью на приём в отдельных замерах доходит до 85–90% (leadlock). Все эти цифры верны и все несопоставимы между собой.

Единственный честный предиктор — пилот на ваших звонках с вашим определением успеха, зафиксированным до старта. Что спрашивать у поставщика, чтобы это проверить, собрано в 12 вопросах при выборе голосового AI-агента.

Ограничения: чего эти метрики не показывают

Даже полный набор из пяти метрик описывает работу первой линии, а не бизнес. За его пределами остаётся минимум три вещи.

Выручку. Containment — метрика затрат. Агент может закрывать 70% звонков и при этом терять горячие лиды, которых обязан был передать менеджеру. Деньги считаются отдельно, через ROI голосового AI-агента, и containment там всего один множитель из нескольких.

Качество сложных разговоров. Средний CSAT маскирует хвост. Klarna — канонический пример: по пресс-релизу OpenAI и Klarna от 27.02.2024 ассистент за первый месяц обработал 2,3 млн диалогов и сократил среднее время разрешения с 11 минут до менее чем 2. По более поздним публикациям Forbes, CSAT при этом просел примерно на 22%, и компания вернула людей на обслуживание премиальных клиентов. Разбор ошибки — в статье про урок Klarna.

Эффект на бренд. Раздражение от неудачного разговора не попадает ни в один из пяти показателей. Клиент не жалуется, не перезванивает и не заполняет опрос — он просто больше не звонит.

И четвёртое ограничение, методологическое: метрики за неделю ничего не значат. Агент, у которого containment вырос с 45% до 60% за месяц, интереснее агента со стабильными 70% на неизвестном миксе.

Вывод

Containment — полезная метрика и плохой единственный показатель. Он становится осмысленным ровно тогда, когда рядом стоят повторные обращения, доля вынужденных эскалаций, успешность переводов и CSAT в разрезе бакетов. Всё, что показывают на демо в виде одной цифры без определения resolution и без описания микса интентов, стоит считать маркетингом, а не измерением. Собственный пилот с заранее зафиксированным определением успеха заменяет любой чужой бенчмарк.

Если хотите проверить это на своих звонках — можем собрать демо на вашем сценарии и договориться о наборе метрик до старта.