Bioengineer.org'un haberine göre, küçük bir AI modelinin düşük güçlü öğrenme cihazlarına tam dil anlayışı kazandırdığı bildirildi. Çalışma, hem bağlantının hem de hesaplama gücünün kısıtlı olduğu cihazları hedefliyor; bu da barındırılan bir modele güvenilir bağlantı olmadan çalışması gereken agent'lar için önem taşıyan rejimdir.
Agent tasarımı açısından bu, model kalitesinden çok bir yönlendirme ve gizlilik sınırı meselesidir. Dil anlayışının kullanılabilir bir kısmı yerel olarak çalışırsa, bir agent neyi kendisinin ele alacağına ve neyi üst akışa göndermesi gerektiğine cihaz üzerinde karar verebilir. Bu, gecikmeyi, veri maruziyetini ve kesintili bağlantı altındaki hata davranışını değiştirir; ayrıca yerel inference ile uzak çağrılar arasındaki ayrımı b
Haber, model boyutunu, donanım gereksinimlerini, benchmark'ları veya değerlendirme metodolojisini belirtmiyor ve bağımsız bir replikasyon bildirilmiyor. İddianın bir gidişat yönü olarak değil de mühendislik kısıtı olarak ele alınabilmesi için bu ayrıntılar gereklidir. Net olan şey hedef ortam: hem bağlantının hem de hesaplama gücünün kıt olduğu cihazlar.