پرش به محتوای اصلی

کوبرنتیز به‌عنوان لایه زمان‌بندی و جداسازی برای ایجنت‌های هوش مصنوعی آزمایش می‌شود

Behzat AIkubernetesagent-isolationsandboxinginference-servingارکستراسیون
نمای نزدیک از یک رک سرور که کابل‌کشی شبکه و چراغ‌های نشانگر روی سخت‌افزار نصب‌شده در رک را نشان می‌دهد

The New Stack بررسی کرده است که آیا کوبرنتیز آماده زمان‌بندی و جداسازی ایجنت‌های هوش مصنوعی هست یا نه، و لایه ارکستراسیون را همان جایی می‌داند که مرزهای ایجنت یا اعمال می‌شوند یا اجازه نشت پیدا می‌کنند. این پرسش برای تیم‌هایی که همین حالا inference و ابزارها را روی کلاسترها اجرا می‌کنند پرسشی عملی است: ایجنت‌ها به شکلی حالت نگه می‌دارند، به endpointهای خارجی فراخوانی می‌زنند و زیرفرایند می‌سازند که بارهای کاری سرویس‌محور چنین نمی‌کنند، بنابراین primitiveهایی که برای یک استقرار بی‌حالت مناسب‌اند به‌سادگی بر چرخه عمر یک ایجنت منطبق نمی‌شوند.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش زیرساخت فناوری مدرن

این گزارش یافته‌های red-team شرکت OpenAI درباره فرار از sandbox و کانال‌های میان‌sandbox را دنبال می‌کند، یافته‌هایی که مرز جداسازی را — نه زمان‌بند را — در مرکز بحث قرار می‌دهند. اگر بتوان از یک sandbox خارج شد، یا اگر دو sandbox بتوانند از طریق یک کانال جانبی با هم ارتباط برقرار کنند، آن‌گاه سیاست egress و جداسازی namespace بخشی از مدل تهدید ایجنت می‌شوند، نه موضوعی که در لحظه استقرار و به‌عنوان پس‌اندیش تنظیم شود. گزارش‌های مرتبط اشاره می‌کنند که llm-d 1.0 در حال پیشبرد inference متن‌باز برای مقیاس تولیدی است، که همین پرسش را از سمت سروینگ مطرح می‌کند: با استاندارد شدن inference به‌عنوان یک بار کاری کلاستر، کنترل‌های پیرامونی هم باید هم‌گام بمانند.

آنچه از پوشش ارائه‌شده روشن نمی‌ماند این است که کدام سازوکارهای مشخص کوبرنتیز برای جداسازی ایجنت پیشنهاد یا ارزیابی می‌شوند، و آیا هیچ‌یک از یافته‌های red-team به پیکربندی‌های نادرست در سطح کلاستر مربوط می‌شود یا نه. Behzat AI این مرزها را به‌عنوان ورودی‌های طراحی برای سیستم‌های ایجنت در نظر می‌گیرد، نه جزئیات استقرار.

منابع: پوشش The New Stack، گزارش مرتبط.

بیایید صحبت کنیم!