Подготовка данных для внедрения ИИ: что сделать до старта

Большинство ИИ-проектов спотыкается не о выбор модели, а о данные. Руководитель утверждает бюджет на алгоритм, а через три месяца выясняется, что половина времени ушла на поиск, чистку и согласование выгрузок. Управленческий вопрос простой: что должно быть готово до старта, чтобы пилот не превратился в затянувшийся проект по наведению порядка в учёте. Ниже – выводы из открытых кейсов российских компаний.

Справочники и нормативно-справочная информация

Задача: найти дубли номенклатуры, аналоги запчастей, одинаковых контрагентов под разными названиями. Что делает ИИ: сравнивает позиции по характеристикам, а не по наименованию. Результат: в промышленных кейсах первые итерации на «сырых» справочниках дают точность на уровне единиц и десятков процентов. После выверки данных силами десятков сотрудников точность поднимается до 80–90%, и только тогда появляется экономический эффект на складских запасах и закупках.

Разметка и экспертные знания

Задача: собрать обучающую выборку там, где ответ знает только специалист: замечания экспертизы, оценка качества, релевантность. Что делает ИИ: учится на структурированных решениях экспертов, затем сам размечает основной поток. Результат: гибридная схема «модель размечает, человек проверяет пограничные случаи» снижает стоимость разметки в десятки раз. Попытки сразу полностью убрать человека в кейсах заканчиваются откатом к гибриду.

Архивы документов и фотографий

Задача: автоматизировать осмотр, протоколирование, оценку состояния товара или объекта. Что делает ИИ: обучается на накопленных снимках и документах, которые раньше просто лежали в архивах и рабочих чатах. Результат: время на типовую операцию сокращается с десятков минут до секунд. Ключевое условие – наличие архива, где снимок связан с итоговым решением специалиста.

Корпоративная база знаний для LLM

Задача: отвечать сотрудникам и клиентам по регламентам, нормативам, продуктам. Что делает ИИ: формирует ответ только по проверенным внутренним источникам со ссылкой на пункт документа. Результат: ответ за секунды вместо минут поиска, снижение нагрузки на профильных специалистов. Качество ограничено актуальностью и полнотой базы: устаревший регламент даёт уверенный, но неверный ответ.

Прогнозы по временным рядам

Задача: спрос, нагрузка на контакт-центр, пассажиропоток, отказы оборудования. Что делает ИИ: строит прогноз по истории и внешним факторам, регулярно переобучается. Результат: в зрелых кейсах точность прогноза нагрузки выходит на 90% и выше, а расписание персонала строится за минуты. Там, где истории мало (новые товары, новые объекты), ошибка заметно растёт на горизонте двух-трёх месяцев.

• Данные проверены до обучения, а не после провала. Удачные команды сначала делают аудит: полнота, дубли, единицы измерения, связь записей между системами.
• Есть «золотой набор». Небольшая выборка, размеченная лучшими экспертами, служит эталоном для проверки модели и подрядчика.
• Эксперты выделены официально. В кейсах с экспертными знаниями к структурированию привлекали сотни специалистов, и это было частью их работы, а не нагрузкой «по остаточному принципу».
• Связь с результатом процесса. Данные содержат не только вход (снимок, документ, заявку), но и итоговое решение: списали, отклонили, отремонтировали.
• Человек в контуре там, где цена ошибки высока. Станция верификации на выходе позволяет довести качество данных до приемлемого для учёта и отчётности.
• Регулярное переобучение. Поведение клиентов, контрагентов и оборудования меняется. Модели в успешных кейсах переобучают по графику, вплоть до ежедневного.

Отдельно стоит оценить стоимость подготовки данных. В бюджете пилота это часто самая недооценённая строка: часы экспертов на разметку, работа владельцев справочников, доработка выгрузок из учётных систем. Если эти затраты не посчитаны заранее, эффект проекта будет выглядеть лучше, чем есть на самом деле, а при масштабировании расходы вырастут кратно.

1. Считать, что «данные у нас есть». Наличие таблиц в учётной системе не означает, что их можно использовать. Разные филиалы ведут один справочник по-разному.
2. Не закладывать время и людей на выверку. Подготовка данных обычно занимает больше половины срока пилота. Если в плане её нет, сроки сорвутся.
3. Отдавать разметку на сторону без эталона. Без «золотого набора» невозможно проверить, что подрядчик разметил правильно.
4. Игнорировать права на данные. Персональные данные, коммерческая тайна, данные партнёров требуют юридической проверки до передачи в модель, особенно если она работает вне периметра.
5. Запускать модель без владельца данных. После пилота некому обновлять справочники и базу знаний, качество деградирует за несколько месяцев.
6. Ждать полной автоматизации сразу. Первые версии почти всегда работают в гибридном режиме. Это нормальный этап, а не провал.

1. Неделя 1. Выбрать процесс и решение, которое ИИ должен поддержать. Сформулировать, какое действие меняется по итогам работы модели и кто его выполняет.
2. Неделя 2. Инвентаризация источников. Перечень систем, архивов, файлов. По каждому: владелец, глубина истории, формат, частота обновления, юридические ограничения.
3. Неделя 3. Пробная выгрузка и аудит качества. Взять выборку, посчитать пропуски, дубли, противоречия. Оценить, есть ли в данных итоговое решение по каждому случаю.
4. Неделя 4. Эталонная выборка. Выделить 2–3 сильных экспертов и разметить несколько сотен примеров. Зафиксировать правила разметки в коротком документе.
5. Неделя 5. Решение о контуре. Где будут храниться и обрабатываться данные: внутри периметра или у провайдера. Согласовать с безопасностью и юристами.
6. Неделя 6. Паспорт данных и бюджет выверки. Описать набор данных, назначить владельца, оценить трудозатраты на очистку. Только после этого запускать закупку модели или подрядчика.

• Какие источники данных нужны для задачи и кто владелец каждого из них?
• Какая доля записей пригодна без ручной правки и как это измерено?
• Есть ли в данных итоговое решение по каждому случаю, на котором модель будет учиться?
• Как будет проверяться качество разметки и есть ли эталонная выборка?
• Какие данные содержат персональную информацию или коммерческую тайну и где они будут обрабатываться?
• Как часто модель будет переобучаться и кто отвечает за обновление данных после пилота?
• Что произойдёт с качеством, если источник изменит формат или перестанет обновляться?

Открытые примеры того, как компании решали эти вопросы, собраны в базе: база кейсов ИИ на platforms.su, в ней более 1300 кейсов.

Качество ИИ-решения определяется качеством данных, и эту работу нельзя отложить на потом. Шесть недель на инвентаризацию, аудит и эталонную выборку экономят месяцы переделок. Центр компетенций ИИ проводит экспресс-диагностику готовности данных и помогает оценить, с какой задачи начинать.