ИИ-решения, в том числе агентные системы, все чаще выходят за рамки экспериментов. Многие компании приступают к системному внедрению, и на этом этапе важны четкие критерии оценки. Один из ключевых — во сколько обходится применение ИИ и какой экономический результат он дает. С расчетами возникают сложности: не всегда понятно, как измерять пользу в деньгах. Со структурой расходов тоже непросто: основные статьи известны, но их доля сильно зависит от компании и отрасли.
Почему сложно измерять эффект
Определение универсальной методики расчета затрудняют три обстоятельства.
1. Темп изменений. Технологии меняются быстро: базовые платформы регулярно обновляются, а новые возможности могут потребовать пересмотра уже принятых решений. Поэтому методики, написанные год назад, сегодня могут оказаться устаревшими.
Любую модель расчета лучше считать скорее рамкой для размышлений и общим подходом, чем готовой формулой.
2. Отсутствие общей точки старта. Компании редко определяют исходные метрики и фиксируют их значение перед началом внедрения. В результате эффект не с чем сравнить: руководитель видит, что стало удобнее или быстрее, но не может оцифровать эти изменения и понять, были ли они оправданы экономически.
Чтобы понять, дал ли ИИ результат, нужно сначала зафиксировать, как процесс работает сейчас. Такой точкой отсчета может стать текущий уровень производительности: сколько операций выполняется, за какое время, с какими затратами. Затем сравнить показатели до и после внедрения.
3. Разрыв между локальным успехом и системным эффектом. Пилот может показать хороший результат, но сам по себе он не гарантирует системного эффекта на уровне компании. Агент может работать устойчиво, если у него есть необходимый контекст: понятные правила, структурированные данные, описанные процессы, критерии качественного результата. Если этих условий нет, риск ошибок растет, и локальный успех может таковым и остаться. Чтобы масштабировать результат, часто приходится пересобирать сам процесс и инфраструктуру вокруг него.
Какие подходы к работе с ИИ используются чаще всего
Потенциальный эффект от применения ИИ зависит от подхода. Вот некоторые из них:
Использование копилота — помощника, который работает рядом с человеком. В этом случае ИИ ускоряет решение задачи, но не заменяет специалиста. Процесс остается человекоцентричным: человек выполняет основную работу, а ИИ помогает. Такой подход обычно не требует полной перестройки процесса, величина прироста производительности зависит от конкретной задачи, но не бывает кратной.
Автономный агент — система, способная выполнять последовательность действий с ограниченным участием человека. Ее внедрение требует пересборки процесса, но в отдельных задачах потенциальный прирост производительности может быть кратным. Если значительную часть операций выполняет ИИ-агент, процесс можно назвать агентоцентричным.
Следует различать автоматизацию и автономизацию. Автоматизация — это выполнение заранее заданной последовательности действий по жесткому алгоритму. Автономная система может выбирать способ выполнения задачи и корректировать действия по ходу работы. Ее поведение менее предсказуемо и требует более тщательной подготовки.
В одной компании могут использоваться разные подходы для различных процессов. Выбор связан с управленческим решением: какие операции бизнес может переложить на агента, а какие нет. Обычно агенту доверяют те задачи, для которых определена норма — регламент, протокол, методология, а цена ошибки и риски приемлемы. Там, где правила трудно задать однозначно и высока неопределенность, необходимо участие человека.
Где ИИ создает экономический результат
Эффект от применения ИИ может проявляться по-разному. Чтобы разобраться, какой именно результат дает определенная инициатива, можно использовать схему: Less money («тратить меньше денег») — сокращение затрат, More money («зарабатывать больше денег») — увеличение выручки, New money («зарабатывать новые деньги») — появление новой выручки.
Экономия, снижение затрат. ИИ способен уменьшать количество действий и время, необходимые для выполнения операции, и тем самым снижать ее стоимость. Например, аналитики СБЕР Про выявили: применение ИИ может сократить затраты времени на сверку документов до 90%. Однако такой эффект достижим только в узких задачах и при соблюдении конкретных условий. Экономическую целесообразность автоматизации нужно проверять отдельно для каждого процесса.
Увеличение выручки. У компании может расти пропускная способность — она начинает больше производить или обрабатывать больше задач в единицу времени без пропорционального роста затрат. Исследование показало: операторы службы поддержки, получившие доступ к ИИ-помощнику, в среднем решали на 14% больше обращений в час. Наибольший прирост наблюдался у менее опытных сотрудников — скорость их работы повысилась на 35%, а производительность труда самых опытных специалистов практически не изменилась.
Новая выручка. За счет применения ИИ компания может быстрее выводить продукты, осваивать новые рынки или запускать услуги, которые раньше было сложно реализовать или масштабировать с приемлемой экономикой. Например, сервисы с масштабной персонализацией, индивидуальные образовательные траектории или автоматизированное сопровождение клиентов.
Экономический результат применения ИИ имеет смысл измерять не «в среднем по компании», а для каждого конкретного процесса.
Формула эффекта: полезные действия на единицу затрат
Один из подходов — считать экономическую производительность через количество полезных действий на единицу затрат.
Формула выглядит так: экономическая производительность = полезные действия за период ÷ полные затраты за период (полная стоимость труда человека или полная стоимость владения ИИ-решением)
Полезное действие — это конкретная операция, которую можно посчитать, например:
- количество звонков, на которые ответил оператор,
- количество заявок, которые обработал специалист по закупкам,
- количество резюме, которые просмотрел специалист по управлению персоналом.
Период — определенный отрезок времени: смена, рабочий день, час, месяц.
Полная стоимость труда человека — это затраты, связанные с выполнением полезных действий. Сюда имеет смысл включать не только зарплату сотрудника, но и налоги, отпуска, обучение, рабочее место и управление. Для ИИ-агента в знаменатель нужно включать сопоставимые полные затраты на его работу; их структуру разберем ниже.
Сравнивать нужно, сколько полезных действий за один и тот же период выполняют человек и ИИ-агент, и во сколько обходится каждый из них.
Важная оговорка: рост производительности не всегда дает прямой эффект в деньгах. Как перевести производительность в деньги — это управленческий вопрос. Конкретное решение зависит от ситуации: можно высвободить ресурсы, увеличить объем операций без пропорционального роста затрат или снизить число ошибок и переделок. Но измерение производительности — это то, с чего начинается расчет экономического эффекта.
Почему формула может дать неверный результат
Формула отвечает на вопрос «как считать», но не на вопросы «что считать», «на каком горизонте» и «что еще влияет на результат». Чтобы она заработала, нужно зафиксировать точку старта, проверить гипотезу на прототипе и посчитать полную стоимость агента. Отдельно — учесть участие человека, качество работы, масштабирование и возможную пересборку процесса. Без этих шагов расчет остается теоретическим. Ниже — четыре ловушки, которые чаще всего искажают картину.
Транслировать максимальный эффект на все операции. Наиболее заметное сокращение стоимости проще получить на рутинных, четко описанных задачах, которые требуют минимального надзора. Опасность в том, что, получив такой результат на одном участке, бизнес может перенести эти ожидания на другие задачи. Однако на сложной многошаговой работе, для которой нет четкой нормы исполнения, агент может стоить дороже человека.
«Скрытая» стоимость агента. Стоимость токенов и подписки — это только часть бюджета на ИИ-операции, и не всегда самая большая. Остальные статьи расходов: оркестрация — управление взаимодействием нескольких агентов и систем, мониторинг, исправление ошибок, время на передачу знаний, обновление, поддержка. Все это нужно закладывать в расчет.
Участие человека снижает экономию. Некоторые операции выполняются по модели human-in-the-loop, HITL — «человек в цикле»: ИИ делает рутинную часть работы, а человек — проверяет. Там, где такая проверка обязательна, выигрыш во времени может заметно сократиться из-за ограниченной пропускной способности специалиста. Пример: за то время, за которое специалист готовил 1 договор, агент подготавливает 10. Если проверка каждого документа по-прежнему требует существенного времени, узким местом становится уже не подготовка, а контроль. Это узкое горлышко нужно учитывать заранее.
Качество в формуле. Если агент решает задачу не с первого раза, часть обработанных операций нельзя считать полезным результатом. Повторные обращения, переделки, исправления снижают эффект. Поэтому полезным показателем становится доля задач, решенных с первого раза.
Из чего складывается полная стоимость ИИ-решения
Мы уже упоминали, что стоимость ИИ-решения включает в себя не только затраты на модель. Необходимо планировать ресурсы на создание, внедрение, интеграцию, доработку, контроль и поддержку. На практике именно эта часть проекта часто требует наибольших затрат. Для корректного подсчета экономики можно опираться на показатель TCO (от англ. Total Cost of Ownership — совокупная стоимость владения) — все расходы на ИИ-решение в течение всего жизненного цикла актива.
Ниже — ориентировочная структура расходов за первый год, основанная на опыте проектов. Это не универсальный норматив: доли зависят от архитектуры решения, отрасли, состояния данных и масштаба внедрения, а указанные диапазоны не нужно механически складывать.
Модель / инференс — 15–25%. Инференс — этап работы ИИ-модели, на котором она уже обучена и выдает ответ на запрос. Расходы здесь могут включать оплату API или подписки, вычислительные ресурсы (токены) и хостинг. Токены — это единицы текста, по объему которых многие сервисы тарифицируют обработку запросов.
Интеграция — 20–30%. Интеграция — подключение ИИ-решения к системам, в которых уже работает компания. Для этого создаются коннекторы — интерфейсы для подключения к корпоративным системам — и настраиваются API (программные интерфейсы, через которые системы обмениваются данными). Затраты связаны с разработкой и настройкой подключений, прав доступа, обмена данными и совмещением нового решения с существующей инфраструктурой.
Данные — 15–25%. Данные — одно из ключевых условий корректной работы ИИ. Данные нужно подготовить: привести к единому формату, проверить качество, убрать дубли и ошибки, настроить права доступа и организовать хранение. Если данные не структурированы и лежат в разрозненных системах, качество и устойчивость работы агента могут снижаться. Подготовка может занимать больше времени, чем настройка самой модели.
Люди — 20–30%. Люди — те, кто создает, поддерживает и развивает ИИ-решение. Сюда входят инженеры, которые настраивают систему; владельцы процессов, которые отвечают за бизнес-результат и формулируют инструкции и правила; команды, которые нужно обучить работе с новым инструментом. После запуска участие специалистов также остается частью стоимости решения.
Управление и эксплуатация — 10–15%. Поддержание ИИ-решения в рабочем состоянии после запуска. Система требует постоянного контроля и обслуживания: регулярные проверки качества, мониторинг, безопасность и поддержка. Если этим не заниматься, качество работы модели и безопасность ее использования могут снижаться со временем.
Стоимость токенов при сопоставимом уровне качества в последние годы заметно снижалась. Но более низкая цена единицы использования не гарантирует снижения общего бюджета: если компании передают ИИ больше задач и увеличивают объем запросов, совокупные расходы растут.
Что делать, чтобы экономика сложилась
Выбор инструмента до определения бизнес-задачи и проверки гипотезы может привести к лишним затратам. Ниже приведена последовательность шагов, предлагаемая экспертом Николаем Верховским, которая позволяет избежать лишних расходов и достичь нужного результата.
Шаг 1. Бизнес-анализ. Нужно определить, как устроена работа сейчас — точка старта, и понять, к чему нужно прийти — точка «как хотим». Затем проанализировать, какие операции выполняет человек, какие из них можно передать системе и какие ограничения есть у процесса. Если этот шаг пропущен, последующие решения могут оказаться неэффективными.
По оценке Николая Верховского, качественный бизнес-анализ может снизить последующие затраты на 60–70%.
Шаг 2. Эксперименты и прототипы. Этот шаг помогает понять, можно ли в принципе добиться результата в решении определенной задачи с помощью агентной системы. Для проверки гипотезы имеет смысл начать с наиболее сильной модели, доступной при текущем бюджете. Если она справляется с задачей, это важное знание: значит, задача в принципе решаема. Дальше можно искать возможность снизить стоимость: тестировать более дешевые или компактные модели и проверять, сохраняется ли нужное качество.
Шаг 3. Инженерия обвязки. Обвязка (harness) — слой вокруг модели, который помогает встроить ее в рабочий процесс и сделать результат более устойчивым и предсказуемым. В нее входят память, навыки (скиллы), коннекторы, безопасность, инструменты, интерфейс. Сильная модель без обвязки может работать хуже, чем слабая модель с обвязкой. Качество зависит не только от самой модели, но и от того, к каким данным и инструментам она подключена, какие проверки проходит и как встроена в процесс. Обвязка также нужна для масштабирования решения.
Шаг 4. Выбор инструментов. Только после того, как понятна ценность, проведены эксперименты и построена обвязка, имеет смысл выбирать конкретные модели и платформы. Их полную стоимость нужно сопоставить с экономическим результатом, ради которого перестраивается процесс.
Технологии ИИ развиваются быстро. Поэтому задачи, которые сегодня не проходят проверку по качеству или экономике, имеет смысл периодически пересматривать: возможности моделей и стоимость их использования меняются.
Материалы по теме:
Контент-продюсер, Школа управления СКОЛКОВО