Перейти к основному содержимому

BlockRun и Incarna создают оплату за инференс для агентов на Bedrock AgentCore

Behzat AIagent-billingbedrock-agentcoreinference-meteringagent-infrastructurecost-control
Макросъёмка печатной платы с дорожками, паяными соединениями и поверхностно монтируемыми компонентами при направленном свете

BlockRun и Incarna реализовали оплату за инференс для агентов, работающих на Amazon Bedrock AgentCore, используя платежи AgentCore для расчётов за каждый вызов модели. Эта схема выставляет счета агентам за инференс, а не за рабочее место или подписку, поэтому единицей учёта становится отдельное событие инференса, а не месячный лимит, привязанный к пользователю или аккаунту.

Wires and cooling pipes managing access to a centralized data center server resource

Учёт каждого инференса как оплачиваемого события превращает стоимость в поверхность контроля на уровне действия. Вместо сверки расходов постфактум с уровнем подписки среда выполнения агента может назначить цену на каждый вызов и применять бюджеты и ограничения скорости в той же точке, где вызов авторизуется. Это переносит контроль с периодических проверок квот на сам путь запроса, где превышенClose-up of a colorful business chart on a table with documents showing trends

Реализация была опубликована AWS в рамках её руководства по инфраструктуре агентов, которое ставит биллинг рядом с вопросами среды выполнения и идентификации, уже охватываемыми AgentCore. Что остаётся неясным из материалов, так это как в учёте обрабатываются вариации цен на уровне токенов, повторные попытки и неудачные вызовы, а также распространяется ли эта схема на вызовы инструментов и многошаговые циклы агентов за пределами отдельных событий инференса. Эти детали определили бы, насколько точно учёт по действиям отражает реальные расходы в продакшене.

Давайте поговорим!