Что тут на самом деле произошло
Самое полезное в этом кейсе — не цифры сами по себе, а простой вывод: локальная LLM ещё не готова к бизнес-сценарию только потому, что один раз ответила в консоли. Модель может стартовать, API может открываться, а до нормального пользовательского сценария между ними ещё целая куча инженерной работы: память, очереди, streaming, tool calling, мониторинг и поведение под нагрузкой.
Автор статьи как раз это и показывает на живом пилоте: за два дня нужно было поднять две локальные LLM на NVIDIA DGX Spark, отдельную ASR-модель на мини-ПК с AMD GPU и подключить всё к платформе ИскраБота в корпоративном контуре. Заказчик обезличен, результаты — только для этого пилота, и это важная оговорка, а не формальность.
Что именно они подняли
В контуре уже была мультиагентная платформа, и к ней подключили три сервиса: - основную LLM для сложных запросов; - более быструю LLM для служебных и простых задач; - ASR для распознавания аудио и видео.
На двух Spark использовали Qwen3.8-27B-FP8 как основную модель и Qwen3.6-35B-A3B-NVFP4 как fast-модель. Для распознавания речи взяли Qwen3-ASR-1.7B на Radeon 8060S в WSL2. Для LLM выбрали vLLM, чтобы работать через OpenAI-совместимый endpoint /v1/chat/completions, а не писать отдельную интеграцию под каждый runtime.
И вот важный момент: совместимый API ещё не значит совместимое поведение. Особенно когда речь про streaming и tool calling — там «почти работает» быстро превращается в «ломает сценарий».
«модель запустилась» и «AI-функция работает» — это совершенно разные уровни готовности
Где обычно ломается локальное развёртывание
Автор очень правильно раскладывает проблему: модель — это не только веса. Нужны runtime, драйверы, совместимость железа, формат квантизации, chat template, healthcheck, перезапуск, логирование и нормальный API. В их случае Spark — ARM64 на Grace Blackwell с общей памятью CPU/GPU, а ASR-контур — вообще другой стек: AMD + ROCm + WSL2. То есть одинаковая фраза «запустить на GPU» скрывает два разных мира.
Самое важное наблюдение для бизнеса тут простое: большой контекст и высокая скорость почти всегда требуют компромиссов по памяти и параллелизму. В статье прямо видно, что окно 256K пришлось оплачивать параллелизмом: на каждой модели оставили только одну одновременно исполняемую последовательность. Сервер вроде бы выдержал, но очередь тут же стала частью продукта.
Что это значит для бизнеса в России
Для нас это хороший ориентир по приземлению AI-проектов. Если вы хотите локальный контур, то вопрос не в том, «можно ли поднять модель», а в том, какой у вас реальный критический путь: сколько токенов в контексте, сколько пользователей одновременно, где будет очередь, и что важнее — скорость первого токена или стабильность ответа.
По российской практике я бы смотрел на это так: если нужен быстрый старт и не хочется сразу лезть в сложный self-hosted стек, можно пробовать облачные или локально доступные варианты вроде GigaChat / YandexGPT, а для чувствительных контуров — локальные модели и свой runtime. Но если у вас агентная схема с инструментами, историями и длинным контекстом, то без архитектуры бюджета контекста проект быстро упирается в память и задержки.
Отдельно — про данные и 152-ФЗ. В статье этого нет, но в реальных внедрениях именно здесь часто и упираются: локальный inference ещё не значит, что вы автоматически закрыли все вопросы по хранению, доступам и журналированию.
Что я бы проверил у себя на этой неделе
Сам автор честно пишет, что часть вещей ещё не дотянута до production-ready. И это правильная позиция. Я бы на месте собственника попросил команду не «показать демо», а ответить на три вопроса: - сколько токенов реально уходит в системный промпт, инструменты и историю; - что будет, если одновременно придут два длинных запроса; - где у нас очередь, а где реальная скорость модели.
Если руками не гоняли длинный контекст и агентные tool calls, я бы не считал проект готовым. Пока я бы не считал такой стек готовым к боевой нагрузке без собственного прогона длинного контекста и tool calls.
И да, одно действие на неделю: возьмите любой свой AI-сценарий и замерьте не «токены в секунду», а полный путь пользователя — от запроса до полезного ответа. Очень часто там и всплывает настоящая цена локального AI.
Илья Потоцкий — внедряю ИИ и автоматизацию в российских компаниях. Что делаю — об авторе и Floxio.
Чем занимаюсь: ИИ для отдела продаж · автоматизация рутины · видеоаналитика · разработка софта.
Первоисточник: Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями. Перевод и адаптация для российского рынка — с собственными комментариями.
Есть похожая задача в вашей компании? Напишите — разберу, стоит ли её вообще автоматизировать.
Написать в Telegram