پرش به محتوای اصلی

BlockRun و Incarna صورتحساب پرداخت به‌ازای هر استنتاج را برای agentها روی Bedrock AgentCore می‌سازند

Behzat AIagent-billingbedrock-agentcoreinference-meteringagent-infrastructurecost-control
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را زیر نور جهت‌دار نشان می‌دهد

BlockRun و Incarna صورتحساب پرداخت به‌ازای هر استنتاج را برای agentهایی که روی Amazon Bedrock AgentCore اجرا می‌شوند پیاده‌سازی کرده‌اند و از پرداخت‌های AgentCore برای تسویه هزینه‌ها به‌ازای هر فراخوانی مدل استفاده می‌کنند. این الگو، agentها را به‌ازای هر استنتاج و نه به‌ازای هر کاربر یا هر اشتراک صورتحساب می‌کند، بنابراین واحد محاسبه، خودِ رویداد استنتاج است و نه یک سهمیه ماهانه متصل به یک کاربر یا حساب.

Wires and cooling pipes managing access to a centralized data center server resource

اندازه‌گیری هر استنتاج به‌عنوان یک رویداد قابل‌صورتحساب، هزینه را به یک سطح کنترل به‌ازای هر اقدام تبدیل می‌کند. به‌جای تطبیق هزینه‌ها پس از وقوع با یک سطح اشتراک، یک runtime agent می‌تواند به هر فراخوانی که انجام می‌دهد قیمتی متصل کند و بودجه‌ها و محدودیت‌های نرخ را در همان نقطه‌ای اعمال کند که فراخوانی مجاز می‌شود. این کار اعمال محدودیت را از بررسی‌های دوره‌ای سهمیه به خودِ مسیر درخواست منتقل می‌کند، جایی که نقضClose-up of a colorful business chart on a table with documents showing trends

این پیاده‌سازی توسط AWS به‌عنوان بخشی از راهنمای زیرساخت agent خود منتشر شد، که صورتحساب را در کنار دغدغه‌های runtime و هویت که AgentCore پیش‌تر پوشش می‌دهد قرار می‌دهد. آنچه از این پوشش روشن نیست این است که تغییرات قیمت‌گذاری در سطح token، تلاش‌های مجدد و فراخوانی‌های ناموفق چگونه در این سنجه مدیریت می‌شوند، یا اینکه آیا این الگو به tool callها و حلقه‌های چندمرحله‌ای agent فراتر از رویدادهای استنتاج واحد نیز گسترش می‌یابد. این جزئیات تعیین می‌کند که حسابداری به‌ازای هر اقدام تا چه حد به هزینه واقعی در محیط عملیاتی نزدیک است.

بیایید صحبت کنیم!