Локальная LLM в закрытом контуре: когда нужна и что даёт

Самые сильные языковые модели доступны через облачные сервисы, но многие компании не могут отправлять туда свои данные: персональные данные клиентов, коммерческую тайну, исходный код, данные объектов критической инфраструктуры. Закрытый контур – размещение ИИ внутри собственной инфраструктуры или в изолированном сегменте – снимает этот вопрос, но меняет экономику, сроки и выбор технологии. Руководителю важно понимать, когда закрытый контур действительно нужен и во что он обходится.

В открытой базе кейсов ИИ на platforms.su собрано более 1300 описаний внедрений. Требование работы внутри периметра встречается в них постоянно, особенно в банках, госкорпорациях, промышленности и ТЭК.

Обработка персональных данных клиентов

Задача: распознавание паспортов и анкет, анализ звонков, оценка качества обслуживания. Модели компьютерного зрения и речевой аналитики разворачиваются на серверах компании, изображения и записи не покидают периметр. Такие задачи хорошо решаются компактными специализированными моделями: обработка документа занимает доли секунды, а требования к оборудованию умеренные.

Ассистенты по внутренним документам и коду

Задача: поиск по регламентам, помощь разработчикам, подготовка документов. В кейсах госкорпораций внешние облачные ИИ-сервисы для разработки прямо названы неприменимыми из-за требований к защите данных, поэтому ИИ-агентов разворачивают внутри. Результат сопоставим с облачными сценариями: трудозатраты на задачи разработки снижаются на 15–20%, а отдельные операции ускоряются в разы.

Корпоративные платформы ИИ-агентов

Задача: дать сотрудникам единое окно к CRM, документообороту, кадровым и финансовым системам. Агенты получают доступ к большому объёму внутренних данных, поэтому крупные банки размещают такие платформы в собственных ЦОД. В кейсах пользователи экономят до трети рабочего времени на рутинных операциях.

Промышленные системы в изолированных сетях

Задача: мониторинг сооружений, управление режимами, контроль безопасности на объектах ТЭК и производства. Требование работы без выхода в интернет здесь задано изначально. Модели обучаются заранее и обновляются по регламенту, а не в реальном времени.

Гибридная схема

Задача: использовать сильные внешние модели там, где это допустимо. Часть российских платформ предлагает на выбор развёртывание LLM в контуре заказчика или обезличивание запросов перед отправкой во внешнюю модель. Ещё один приём – синтетические данные для обучения моделей: в кейсах их точность уступает реальным данным на несколько процентов, зато чувствительные сведения не попадают к разработчикам.

• Выбор моделей. Доступны открытые модели и коммерческие модели с лицензией на установку у себя. Самые крупные облачные модели недоступны. Для большинства корпоративных задач это не критично: тестирование на собственных задачах показывает, что модели среднего и даже малого размера справляются с узкими сценариями на уровне крупных.
• Структура затрат. Вместо оплаты за запросы – капитальные затраты на серверы с графическими ускорителями и их обслуживание. При малой загрузке это дороже облака, при массовом использовании может быть дешевле.
• Компетенции. Нужна команда, которая разворачивает модели, следит за их качеством, обновляет версии и управляет доступом. Без неё закрытый контур быстро превращается в устаревший стенд.
• Сроки. Закупка оборудования и согласования с безопасностью добавляют месяцы. В кейсах с промышленным развёртыванием в собственном контуре путь до тиража занимает около полугода.
• Скорость обновлений. Облачные модели обновляются поставщиком. Во внутреннем контуре каждое обновление – отдельный проект с тестированием.

Удачные внедрения в закрытом контуре начинаются с классификации данных, а не с закупки оборудования. Компания сначала определяет, какие данные действительно нельзя выносить, и только для этих сценариев строит внутреннюю инфраструктуру. Модель подбирается под задачу на тестах с реальными данными. Мощности планируются под измеренную нагрузку. Безопасность участвует в проекте с первого дня, а не подключается на этапе приёмки. Наконец, у решения есть владелец со стороны бизнеса и измеримый эффект, поэтому расходы на инфраструктуру обсуждаются как инвестиция с понятной отдачей, а не как плата за спокойствие службы безопасности.

• Требовать закрытый контур для всего. Часть задач работает на обезличенных или открытых данных и может использовать облачные модели без рисков. Перестраховка удваивает бюджет.
• Покупать оборудование до выбора модели. Требования к мощностям зависят от модели, числа пользователей и сценариев. Закупка «на вырост» часто оказывается либо избыточной, либо недостаточной.
• Ориентироваться на рейтинги моделей. Общие рейтинги не отражают качество на конкретных задачах компании. Решение принимают по собственному тестированию.
• Не учитывать стоимость сопровождения. Модель в контуре требует обновлений, мониторинга и людей. Эти затраты сопоставимы с затратами на оборудование.
• Путать закрытый контур с безопасностью. Размещение внутри периметра не защищает от утечек через ответы модели и избыточных прав доступа агентов. Права доступа ИИ к данным настраиваются так же строго, как права сотрудников.

1. Классифицировать данные для планируемых ИИ-сценариев: что можно обрабатывать вовне, что после обезличивания, что только внутри.
2. Определить требования регуляторов и внутренних политик для каждой категории данных вместе с безопасностью и юристами.
3. Для сценариев закрытого контура протестировать 2–3 модели на реальных задачах и выбрать минимально достаточную.
4. Оценить нагрузку: число пользователей, запросов в день, требования к скорости ответа.
5. Сравнить стоимость владения за 3 года: собственное оборудование, частное облако у российского провайдера, гибридная схема.
6. Назначить команду сопровождения и регламент обновлений до запуска.
7. Начать с одного-двух сценариев с понятным эффектом и расширять инфраструктуру по мере роста нагрузки.

• Какие именно данные в этом сценарии нельзя передавать вовне и на основании какого требования?
• Можно ли решить задачу на обезличенных данных с внешней моделью и что мы при этом теряем?
• Какие модели тестировались на наших задачах и с каким результатом?
• Какое оборудование нужно для целевой нагрузки и каков запас на рост?
• Кто будет обновлять модели и как часто?
• Как настроены права доступа ИИ-агентов к корпоративным системам и как ведётся журнал их действий?

Закрытый контур нужен не для всех ИИ-сценариев, а для тех, где данные действительно нельзя выносить за периметр. Для них он реализуем на открытых и отечественных моделях, но требует расчёта мощностей, команды сопровождения и дисциплины в правах доступа. Центр компетенций ИИ помогает классифицировать сценарии, выбрать модель и архитектуру и оценить безопасность ИИ-систем.