Araştırma

Yapay zeka ajanlarıyla nasıl geliştirilir — ve sonuca nasıl güvenilir.

Ajan destekli mühendisliği güvenilir ve güvenli kılan şeyi inceliyor ve yanıtları herkesin kullanabileceği açık araçlara ve standartlara dönüştürüyoruz.

Araştırma alanları

Güvenilir ajan mühendisliği

Yapay zeka ajanlarını uzun, çok adımlı çalışmalar boyunca görevde tutan düzenleme, ayrıştırma ve koruma önlemleri — erken durmadan veya spesifikasyondan sapmadan.

Yapay zeka destekli teslimatın güvenliği

Ajan tarafından yazılan kod nasıl başarısız olur, nasıl yakalanır ve tasarımdan güvenli olma nasıl varsayılan hale getirilir: IAM, AppSec ve ajanların ürettiklerinin yetkili red-teaming'i.

Standartlar ve değerlendirme

Ajan çıktısı için 'iyi'nin ne anlama geldiği ve nasıl ölçüleceği: normatif kılavuzlar, kalite geçitleri ve hisler yerine davranışı kanıtlayan testler.

Geliştirici deneyimi

Doğru yolu kolay yol yapmak — standartları kuran, güncel tutan ve geliştiricinin yolundan çekilen araçlar.

Yaklaşımımız

Açık şekilde

Bulgular ve araçlar biriktirilmez, yayımlanır. Mesele yeniden üretilebilirliktir.

Uygulamaya dayalı

Geliştirerek ve sonuç vererek araştırıyoruz — laboratuvar ve ürünler birbirini besliyor.

Önce güvenlik

Çalıştırmak güvenli değilse, tamamlanmış değildir. Tehdit modelleme ve test, yöntemin bir parçasıdır.

Araştırmayı takip et.

Öğrendiklerimizi blogda yazıyoruz ve araçlar GitHub'a iniyor.