Как оценить эффективность внедрения ИИ: расчёт до и после пилота

Большинство ИИ-проектов защищают обещаниями, а закрывают впечатлениями. Правление утверждает бюджет под «ускорение в разы», а через полгода получает отчёт о точности модели, который не переводится в деньги. Управленческая задача – договориться о методике расчёта эффекта до старта и проверить её на пилоте. Ниже – как это делают в проектах, где эффект удалось показать.

В открытой базе кейсов ИИ на platforms.su больше 1300 кейсов, но проверяемые цифры эффекта раскрыты лишь в небольшой их части. Чаще всего это проекты, где результат напрямую связан с одной из четырёх величин.

Время сотрудников на массовую операцию

Задача: проверка, поиск, подготовка отчётов, разбор документов. ИИ берёт на себя черновую работу, человек проверяет. В кейсах подготовка аналитического отчёта сокращается с недель до часов, поиск по нормативной базе – с минут до секунд, разбор обращений ускоряется в десятки раз. Эффект считается через высвобожденные часы, но в деньги он превращается только при одном из трёх условий: сокращение штата или вакансий, обработка растущего объёма без найма, перевод людей на работу с более высокой отдачей.

Частный случай – поддержка сотрудников и клиентов. ИИ-ассистенты в кейсах закрывают без участия человека от 20 до 40% обращений первой линии. Компании используют это, чтобы выдерживать рост обращений без расширения штата. Такой эффект легко проверить: сравнивается фактический штат с тем, который потребовался бы при прежней производительности на нынешнем объёме.

Потери, которые удалось предотвратить

Задача: мошенничество, необоснованные выплаты, брак, аварийные простои. Модель выявляет проблему раньше человека. Здесь эффект самый наглядный: предотвращённые убытки по страховым претензиям, сэкономленные на внеплановых остановках сотни миллионов рублей за несколько лет, снижение брака на сварочной линии в разы. Сложность – доказать, что потеря действительно случилась бы без ИИ.

Выход продукции и расход ресурсов

Задача: режимы установок, расход топлива и сырья, загрузка линий. Модель подбирает параметры в реальном времени. В промышленных кейсах эффект измеряется миллионами рублей в месяц на одной установке и проверяется по приборам учёта. Это самый надёжный тип расчёта, если есть сопоставимый период без модели.

Выручка и конверсия

Задача: персональные предложения, рекомендации, удержание клиентов. Модель выбирает, кому и что предложить. Эффект видят в росте доли цифровых продаж и дополнительных сборах. Корректно его можно измерить только сравнением с контрольной группой.

• Базовая линия зафиксирована до старта. Время операции, доля брака, сумма потерь замерены на реальных данных за сопоставимый период, а не взяты из презентации.
• Есть контрольная группа или период сравнения. Часть потока обрабатывается по-старому, или сравниваются одинаковые сезоны. Без этого любой рост списывают на рынок.
• Качество модели переведено в бизнес-показатель. «Точность 93%» сама по себе ничего не говорит. Важно, сколько ошибок осталось, кто их исправляет и во что это обходится.
• Учтены все затраты владения. Не только разработка, но и вычислительные ресурсы, интеграция, поддержка, переобучение модели, время сотрудников на проверку.
• Эффект считается в динамике. Качество модели растёт месяцами. В одном из промышленных кейсов точность рекомендаций выросла с единиц процентов до 85% за четыре месяца эксплуатации. Оценка через месяц после запуска занизила бы эффект в разы.
• Финансовая служба участвует с самого начала. Методику согласуют с теми, кто потом будет проверять отчёт.

• Считать высвобожденные часы как экономию. Если люди остались в штате и загрузка не выросла, денег нет. Правление это быстро замечает.
• Принимать цифры вендора как результат. «Ускорение подбора на 40%» в маркетинговых материалах – средний результат по чужим клиентам, а не прогноз для конкретной компании.
• Оценивать пилот по технической метрике. Точность и полнота модели важны команде, но решение о масштабировании принимается по экономике.
• Игнорировать стоимость ошибок. Ложные срабатывания требуют ручной проверки. При неудачном пороге модель создаёт работу, а не экономит её.
• Не закладывать затраты на эксплуатацию. Расходы на вычисления, особенно для LLM, растут вместе с числом пользователей и могут съесть эффект.
• Требовать окупаемости от пилота. Пилот доказывает, что эффект возможен и как его считать. Окупаемость наступает после масштабирования: в кейсах с раскрытыми данными – от нескольких месяцев до 1–2 лет.

Отдельная ловушка – эффект «по всей компании». Совокупные цифры в миллиарды рублей, которые публикуют крупные холдинги, складываются из десятков проектов за несколько лет. Сравнивать с ними результат одного пилота бессмысленно.

1. Определить механизм эффекта. Одной фразой: «ИИ сокращает время X, что позволяет обработать рост потока без найма» или «ИИ снижает потери Y». Один проект – один-два главных механизма, не десять.
2. Замерить базовую линию. 2–4 недели на реальных данных: объём операций, время, стоимость часа, доля ошибок, сумма потерь.
3. Построить модель эффекта до старта. Три сценария – консервативный, базовый, оптимистичный. Отдельно – полная стоимость владения на 2–3 года.
4. Задать критерии пилота. Какой результат на пилоте подтверждает базовый сценарий, при каком проект останавливается. Согласовать с финансовой службой.
5. Организовать сравнение. Контрольная группа, A/B-разделение потока или сопоставимый период.
6. Пересчитать модель по итогам пилота. Подставить фактические показатели, уточнить затраты на масштабирование и эксплуатацию.
7. Продолжать измерять после запуска. Ежемесячно в первые полгода, затем ежеквартально. Включить показатель в отчётность владельца процесса.

• Через какой механизм проект даёт деньги: сокращение затрат, предотвращение потерь или рост выручки?
• Какая базовая линия зафиксирована, за какой период и кто её подтвердил?
• С чем будем сравнивать результат пилота, чтобы исключить влияние сезона и рынка?
• Сколько ошибок модели допустимо и сколько стоит их ручная проверка?
• Какова полная стоимость владения за три года, включая вычисления, поддержку и переобучение?
• Как изменится эффект при масштабировании на всю компанию и что для этого потребуется?
• Кто будет отвечать за показатель эффекта после того, как подрядчик уйдёт с проекта?

Эффект ИИ-проекта можно посчитать, если механизм, базовая линия и способ сравнения определены до старта, а не после. Тогда пилот отвечает на понятный вопрос, а решение о масштабировании принимается по деньгам. Центр компетенций ИИ проводит независимую оценку пилотов и помогает выстроить методику расчёта эффекта вместе с финансовой службой.