Open-source LLM в компании: когда свои веса имеют смысл

Open-source LLM в компании — это запуск открытых (или условно открытых) весов в контуре, который вы контролируете, а не только вызов закрытого API. Это решение об инфраструктуре и лицензии, не лозунг «свобода от вендоров».

Сравнение конкретных линеек — в Kimi, Qwen, DeepSeek. Про контуры — в размещении. Здесь — когда свои веса вообще стоит трогать.

Что вы покупаете на самом деле

Не «бесплатный GPT». Вы покупаете железо или выделенные GPU, время людей на обновление рантайма, процедуру оценки новой версии, запас по мощности. Веса сами по себе не отвечают на инциденты и не пишут журнал для ИБ.

Лицензию читает юрист до пилота: часть моделей нельзя встраивать в коммерческий сервис как вам хочется. «Скачали с хаба» — не акт ввода в эксплуатацию.

Где открытые веса выигрывают

Данные не должны покидать периметр. Нужна стабильная нагрузка 24/7. Планируется дообучение. Закупки проще закрыть железом и услугой размещения, чем иностранным API.

В каталоге открытые и закрытые модели могут жить рядом за одним контролем. Имеет смысл пользоваться этим, а не объявлять религию «только open-source».

Где проигрывают

Редкая нагрузка: карты греют воздух. Нет эксплуатации GPU. Нужен быстрый переход на новую закрытую модель без пересборки стека. Нет eval: вы не узнаете, что обновление весов развалило классификацию заявок.

Шлюз всё равно нужен

Локальный endpoint без политик — тот же теневой ИИ, только в вашей стойке. Ключи, DLP, квоты, маршрутизация на API-модель для нечувствительных задач — это шлюз, не «просто vLLM».

Гибрид нормален: внутренние документы — локальная модель, черновики на публичных данных — API. Сотрудник это не выбирает вручную.