Главная Решения Подход Кейсы B2B-услуги Дистрибуция Логистика Рестораны Ритейл и безопасность Блог О компании Безопасность Обсудить задачу
Блог FLOXIO

$450 в месяц за 50 000 диалогов — и это самая дешёвая строка во внедрении ИИ

Пример Addepto: 50 000 диалогов поддержки — $450 в месяц за модель. Почему это самая дешёвая строка внедрения ИИ и как посчитать цену одного обращения у себя.

Все статьи
· Разбор · 5 мин чтения

Пятьдесят тысяч диалогов поддержки в месяц, в каждом две тысячи токенов на входе и пятьсот на выходе. По тарифу $2 за миллион входных и $10 за миллион выходных — $450 в месяц. Этот пример приводит Addepto в сентябрьском разборе стоимости владения LLM и сразу оговаривается: в $450 не входят поиск по базе знаний, хранилище, хостинг, мониторинг, поддержка и зарплата инженеров. То есть почти всё, за что вы на самом деле будете платить.

Я эту сцену вижу регулярно. Собственник открывает страницу тарифов, умножает в уме, получает сумму меньше зарплаты одного оператора и спрашивает: «Модель стоит копейки, почему внедрение стоит столько?» Мой ответ: токены — это электричество. Без него цех не работает, но смету цеха определяет не счёт за ток, а станки и люди у станков.

Одно обращение к внешней системе — и счёт за модель почти удвоился

Даже сам счёт за токены на прайсе и в жизни разный. Addepto продолжает пример: если в каждом диалоге модель один раз обращается к внешней системе — проверить заказ, уточнить статус доставки, — это добавляет примерно тысячу входных и пятьсот выходных токенов. На 50 000 диалогов это ещё $100 и $250, итого $800 вместо $450.

А в живой поддержке модель ещё переспрашивает, повторяет контекст, уходит на вторую попытку, когда первый ответ не прошёл проверку. У прайса нет колонки «сколько раз придётся переспросить», поэтому авторы советуют не брать универсальный множитель, а прогнать логи реальных диалогов и посчитать каждый вызов, повтор и кусок контекста, который ушёл в модель второй раз.

Из пяти статей расходов провайдеру модели достаётся одна

Addepto раскладывает стоимость владения на пять корзин. Токены. Платформа: поиск по документам, индексы, хранилище, мониторинг. Настройка: промпты, база знаний, наборы примеров для проверки качества. Эксплуатация: выкладка, инциденты, безопасность, дежурства. И переезд, про который забывают почти все: выходит новая модель, промпты перенастраивают, интеграции правят, качество проверяют заново, и на время перехода оно может просесть.

Посмотрите на список глазами бухгалтера. Провайдеру модели уходит первая корзина, вторая — счета другим поставщикам. Три оставшиеся почти целиком состоят из часов людей: разработчика, который чинит интеграцию с 1С после обновления; менеджера, который перечитывает ответы модели, пока ей не доверяют; подрядчика, который через полгода переезжает на новую модель и заново гоняет все тесты.

Если команда ещё не эксплуатирует модели на собственных GPU, первой заметной статьёй расходов, скорее всего, окажется инженерное время или оплата специалистов, а не само железо.

Это у них про свой сервер, но правило шире. В наших внедрениях самая дорогая строка почти никогда не токены: это человек, который проверяет за моделью, и справочники, которые приходится приводить в порядок, чтобы ей было что искать. И деталь из статьи, которую легко пропустить: расходы на базу знаний — извлечение текста, разбиение, индекс, поиск — остаются, даже когда вы меняете модель.

Свой сервер — не экономия, а другой тип счёта

Обычная реакция на цифры за токены: «Поставим модель у себя и будем платить только за электричество». Addepto показывает, почему это редко сходится. Сервер с GPU за условные $3 000 в месяц при полезной загрузке 20% обходится в пересчёте на выполненную работу примерно в $15 000, при загрузке 80% — около $3 750. Тот же сервер, та же цена, разница в четыре раза, потому что простой тоже оплачен. Отказоустойчивость — вторая реплика — удваивает мощность ещё до разговора о пиках.

Универсального порога «от стольки-то миллионов токенов выгоднее своё» авторы не дают и прямо пишут, что его нет. В России главный аргумент за свой сервер обычно не деньги, а данные — 152-ФЗ, договоры с заказчиками, служба безопасности. Причина нормальная, только считать это надо как плату за контроль над данными, а не записывать в экономию.

Считайте не токен, а одно обращение, которое не пришлось переделывать

Главный сдвиг, который предлагает Addepto, помещается в одну формулу: полная стоимость за месяц, делённая на число задач, выполненных с нужным качеством и в срок. Не на все задачи — на выполненные. Дешёвая модель, которая каждый третий ответ отправляет человеку на доработку, в этой арифметике легко проигрывает дорогой, которая справляется с первого раза.

Как посчитать у себя за один день. Берёте один процесс, где модель уже работает: разбор входящих заявок, ответы в поддержке, сортировка писем. Собираете числитель:

Статья Откуда брать цифру
Токены Счёт провайдера за прошлый месяц, не прайс
Проверка людьми Часы тех, кто перечитывает и правит ответы, умноженные на ставку
Интеграции и поддержка Часы разработчика или подрядчика за месяц, включая ночные падения
Платформа Поиск по базе, хранилище, мониторинг — отдельными счетами
Переделки Стоимость последнего переезда на новую модель, размазанная до следующего

Знаменатель — число обращений, прошедших без вмешательства человека. Если из тысячи заявок триста переделывал менеджер, делите на семьсот, а стоимость этих трёхсот сидит в числителе и тянет его вверх сильнее всего. Результат сравните с тем, во что обходится то же обращение руками. По моим прикидкам, строка «токены» после такого подсчёта обычно оказывается в самом низу таблицы, а «проверка людьми» — в самом верху; точные доли у каждого свои. Цифры у Addepto иллюстративные, они это сами пишут; тарифы на сегодня я не сверял.

Шаг на эту неделю. Попросите того, кто отвечает за ИИ-процесс, принести четыре числа за сентябрь: счёт провайдера, число обработанных обращений, число обращений, которые человек переделал, и часы тех, кто проверял. Поделите. Если итог удивит — это и есть первая настоящая цифра стоимости ИИ в вашей компании, а не та, что на странице тарифов.

— внедряю ИИ и автоматизацию в российских компаниях. Что делаю — об авторе и Floxio.

Чем занимаюсь: ИИ для отдела продаж · автоматизация рутины · видеоаналитика · разработка софта.

Первоисточник: LLM Cost Comparison: A Practical TCO Framework for Open-Weight and Proprietary Models - Addepto. Перевод и адаптация для российского рынка — с собственными комментариями.

Есть похожая задача в вашей компании? Напишите — разберу, стоит ли её вообще автоматизировать.

Написать в Telegram

Читайте также