AI Aracı Çerçeveleri: Bir API'yi Birden Fazla Modelle Bağlayın

AI ajan çerçeveleri, ekiplerin ajan davranışını tanımladığı yerlerdir: hedefler, araçlar, hafıza, devretmeler, döngüler ve bir ajanın ne zaman durması gerektiğine dair kurallar. Ancak model erişim katmanı farklı bir karardır. Her ajan çerçevesi doğrudan bir sağlayıcıya bağlanırsa, ürün o sağlayıcının fiyatlandırmasını, hız sınırlarını, kesintilerini, model değişikliklerini ve hesap kurallarını devralır.

Bu yüzden AI ajan çerçeveleri, çerçevenin bir sabit model API'sini çağırdığı ve model katmanının seçim, yönlendirme, yedekleme, kullanım görünürlüğü ve faturalandırmayı ele aldığı durumlarda daha iyi çalışır. ShareAI bu katmana uygundur. Ajan uygulaması ShareAI dışında kalırken, ShareAI geliştiricilere 150+ model, pazar sinyalleri, token başına ödeme kullanımı ve ajan trafiği paraya dönüştürülebilir hale geldiğinde bir Builder yolu için tek bir API sağlar.

Neden AI Ajan Çerçeveleri Bir Model Erişim Katmanına İhtiyaç Duyar?

Bir ajan çerçevesi, işi tanımlamanıza yardımcı olmalıdır. Her model çağrısını, araç adımını ve yedekleme kararını tek bir sabit kodlanmış sağlayıcı yoluna zorlamamalıdır.

Üretim ajanı genellikle farklı türde model çağrılarına sahiptir. Bir planlayıcı daha güçlü bir akıl yürütmeye ihtiyaç duyabilir. Bir sınıflandırıcı düşük maliyet ve düşük gecikmeye ihtiyaç duyabilir. Bir özetleyici daha ucuz bir yola ihtiyaç duyabilir. Müşteri tarafından görülebilir bir cevap daha yüksek kaliteli bir modele ve daha güvenli bir yedeklemeye ihtiyaç duyabilir. Tüm bu adımları tek bir varsayılan model olarak ele almak, maliyet ve güvenilirliği kontrol etmeyi zorlaştırır.

ShareAI uygulamaya sabit bir model katmanı sağlar. Geliştiriciler modelleri karşılaştırabilir, seçenekleri test edebilir ve trafiği bir API üzerinden yönlendirebilir, her çerçeve veya ajan adımı için ayrı sağlayıcı entegrasyonlarını sürdürmek yerine.

Temel Bağlantı Deseni

Çoğu entegrasyon aynı deseni takip eder:

• Ajan çerçevenizi iş akışı mantığı, araçlar ve durumdan sorumlu tutun.
• Çerçevenin model istemcisini ShareAI'nin sohbet tamamlama uç noktasına yönlendirin.
• Sunucu tarafı ortamınızdan bir ShareAI API anahtarı kullanın.
• Her ajan adımına uygun model yolunu seçin.
• Kullanımı kullanıcı, çalışma alanı, özellik veya ajan yolu bazında lansmandan önce kaydedin.

Bu desen, çerçeveniz zaten OpenAI uyumlu bir sohbet model istemcisini destekliyorsa özellikle kullanışlıdır. LangChain, ChatOpenAI entegrasyonunun yapılandırılabilir bir temel URL kullanabileceğini belgeler, bu da birçok ekibin proxy, geçit veya uyumlu model API'si üzerinden yönlendirme yaparken kullandığı desendir. LangChain ChatOpenAI belgeleri.

Adım 1: ShareAI İsteğini Kanıtlayın

Bir framework yapılandırmasını değiştirmeden önce, bir sunucu tarafı isteği yapın. Bu, kimlik bilgileri, model seçimi ve yanıt şekli için temiz bir temel sağlar.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

Anahtarı sunucuda tutun. Tarayıcı kodunda, genel depolarda, istemci tarafı eklentilerinde veya paylaşılan temsilci şablonlarında ifşa etmeyin. İstek başarılı olduğunda, aynı uç noktayı ve anahtarı framework yapılandırmasına taşıyın.

Adım 2: Framework'ü ShareAI'ye Yönlendirin

Kod öncelikli framework'ler için desen genellikle bir temel URL, bir API anahtarı ve bir model adıdır. LangChain'de bu şu şekilde görünebilir:

import os

Ortam değişkenlerini kullanan araçlar için, framework'ün model API değişkenlerini ShareAI anahtarına ve temel URL'sine dağıtım ortamında ayarlayın, ardından çalışanı veya temsilci çalışma zamanını yeniden başlatın.

SHAREAI_API_KEY="your-server-side-key"

Görsel araçlar için, model sağlayıcı ayarlarını veya özel sağlayıcı ayarlarını arayın. Örneğin, Dify'nin belgeleri, sistem sağlayıcılarını model sağlayıcı kurulumunda özel sağlayıcılardan ayırır: Dify model sağlayıcı belgeleri. Tam etiketler ürüne göre farklılık gösterir, ancak pratik girişler genellikle aynıdır: anahtar, uç nokta, model ve kullanım kapsamı.

Adım 3: Temsilci Rotalarını Göreve Göre Ayırın

Framework ShareAI'yi çağırabildiğinde, alışkanlıkla her adımı aynı modele göndermekten kaçının. Daha iyi bir yapılandırma, model rotalarını iş türüne göre atar.

• Rota planlama: Ayrıştırma, araç seçimi ve uzun akıl yürütme için daha güçlü bir model kullanın.
• Hızlı rota: Sınıflandırma, yeniden yazma, çıkarma veya biçimlendirme için daha düşük maliyetli bir model kullanın.
• Müşteri görünür rotası: Nihai cevap için kalite, gecikme ve güvenilirlik arasında en iyi dengeyi sağlayan modeli kullanın.
• Yedek rota: Tercih edilen rota bozulduğunda aynı görevi tamamlayabilecek bir yedek model seçin.

İşte bu noktada tek bir API yaklaşımı faydalı hale gelir. Çerçeve, her sağlayıcı kararı için ayrı bir entegrasyona ihtiyaç duymaz. Uygulama, fiyat, gecikme, kullanılabilirlik veya kalite değiştikçe ekip rotaları değiştirirken sabit bir çağrı düzenini koruyabilir.

Zaten birden fazla ajan çalıştırıyorsanız, bunu yalnızca bir kod ayarı olarak değil, işletim modelinizin bir parçası olarak ele alın. Daha geniş AI ajan filosu operasyonları kılavuz, bir ajan birden fazlaya dönüştüğünde yönlendirme, fiyatlandırma ve sahipliğin nasıl uyduğunu açıklar.

Yapıcı Para Kazanma Nerede Uygun

Bazı ajan iş akışları iç maliyet merkezleridir. Diğerleri müşteri odaklı ürün özellikleridir. Bir Yapıcı, ShareAI dışında bir uygulama, eklenti, iş akışı, sohbet botu veya ajan ürünü sahipleniyorsa, bu ajan trafiği kullanım tabanlı bir iş modelinin parçası haline gelebilir.

Yapıcı, uygulamayı ShareAI dışında inşa etmeye ve sahiplenmeye devam eder. ShareAI, yönlendirilmiş AI çıkarım kullanımını, bu yönlendirilmiş kullanım için müşteri ödemesini, marj veya ek ücret yapılandırmasını ve üretilen kazançlara dayalı olarak aylık Yapıcı ödemesini yönetir.

Bu, ajan çerçeveleri için önemlidir çünkü ajanlar düzensiz kullanım oluşturabilir. Bir müşteri ayda birkaç destek özeti çalıştırabilir. Bir diğeri binlerce araştırma, önceliklendirme ve iş akışı çağrısı çalıştırabilir. ShareAI Yapıcı para kazanma ile Yapıcı, AI trafiğini ShareAI üzerinden yönlendirebilir, bir marj belirleyebilir ve yoğun kullanım yapan müşterilerin oluşturdukları çıkarım için ödeme yapmalarına izin verebilir.

Ticari tarafı haritalamaya hazır olduğunuzda, Yapıcı Konsolu. açın. Uygulama planlaması için, ShareAI belgeleri yakında tutun.

AI Ajan Çerçeveleri İçin Üretim Kontrol Listesi'ni koruyun.

• ShareAI API anahtarlarını sunucu tarafında tutun.
• Her bir ajan rotasını başlatmadan önce adlandırın.
• Kullanımı müşteri, çalışma alanı, özellik veya ajan bazında takip edin.
• Yüksek akıl yürütme rotalarını düşük maliyetli yardımcı rotalardan ayırın.
• Çerçeveyi en az bir yedek model yolu ile test edin.
• Modeli, gecikmeyi, token kullanımını, hata nedenini ve nihai rotayı kaydedin.
• Sağlayıcı anahtarlarını istemlere veya dışa aktarılan ajan şablonlarına koymaktan kaçının.
• Trafik artmadan önce hangi ajan adımlarının müşteri tarafından faturalandırılabilir olduğuna karar verin.

En küçük faydalı dağıtım bir ajan, bir rota, bir yedek ve bir kullanım etiketidir. Bu yol ölçülebilir hale geldiğinde, deseni bir sonraki ajan adımına genişletin.

SSS

AI ajan çerçeveleri nedir?

AI ajan çerçeveleri, geliştiricilerin ajan davranışını, araçları, hafızayı, iş akışlarını, durumu ve yürütme döngülerini tanımlamasına yardımcı olur. Her isteği hangi modelin karşılayacağına karar veren model erişim katmanından farklıdırlar.

AI ajan çerçevelerini tek bir API'ye bağlamak neden önemlidir?

Tek bir API, model erişimini değiştirmeyi daha kolay hale getirir. Ekipler farklı ajan adımlarını farklı modellere yönlendirebilir, pazar sinyallerini karşılaştırabilir ve bir sağlayıcı entegrasyonuna bağımlılığı azaltabilir.

ShareAI bir AI ajan çerçevesi midir?

Hayır. ShareAI bir AI pazarı ve API'dir. Ajan uygulamasını oluşturmaz. Model erişimi, yönlendirme, kullanım, faturalandırma ve para kazanma katmanı olarak bir ajan çerçevesinin arkasında yer alabilir.

ShareAI'yi LangChain ile kullanabilir miyim?

Evet, LangChain entegrasyonu, ShareAI API anahtarı ve desteklenen bir model adı ile ShareAI’nin sohbet tamamlama uç noktasını çağıracak şekilde yapılandırıldığında. Tam zincire bağlamadan önce doğrudan API isteğini test edin.

Görsel ajan oluşturucular bu modeli kullanabilir mi?

Çoğu zaman, evet. Eğer görsel araç özel bir model sağlayıcıyı veya OpenAI uyumlu bir uç noktayı destekliyorsa, kurulum genellikle uç nokta, API anahtarı, model adı ve aracın sağlayıcı kimlik bilgilerini nerede depoladığına bağlıdır.

Farklı ajan adımları için modelleri nasıl seçmeliyim?

İşle başlayın. Planlama ve yüksek değerli yanıtlar için daha güçlü modeller, basit sınıflandırma veya biçimlendirme için daha düşük maliyetli modeller ve sessizce başarısız olamayacak adımlar için yedek yollar kullanın.

Failover AI ajanlarına nasıl yardımcı olur?

Failover, tercih edilen yol kullanılamadığında, yavaş olduğunda, çok pahalı olduğunda veya bir istek için uygun olmadığında bir ajana başka bir model yolu sağlar. Üretim trafiği artmadan önce test edildiğinde en faydalıdır.

Oluşturucular ajan çerçevesi kullanımından para kazanabilir mi?

Evet, Oluşturucu, ShareAI dışında bir uygulama, iş akışı, eklenti, sohbet botu veya ajan ürünü sahip olduğunda ve AI çıkarım trafiğini ShareAI üzerinden yönlendirdiğinde. Oluşturucu, bu trafik için bir marj veya ek ücret belirleyebilir.

Yönlendirilen ajan kullanımının bedelini kim öder?

Oluşturucu modelinde, yönlendirilen AI kullanımını üreten müşteri, çalışma alanı, kullanıcı veya hesap bu kullanım için ShareAI’ye ödeme yapar. ShareAI, yapılandırılmış marj veya ek ücret üzerinden elde edilen kazançlara göre Oluşturucuya aylık ödeme yapar.

Sağlayıcılar ve Yapıcılar aynı şekilde mi kazanır?

Hayır. Oluşturucular, ShareAI üzerinden yönlendirdikleri uygulama trafiğinden kazanır. Sağlayıcılar, ShareAI ağına uygun hesaplama kapasitesi katkısında bulunarak onaylı sağlayıcı programları aracılığıyla kazanır.

Lansmandan önce neyi takip etmeliyim?

Ajan adı, kullanıcı veya çalışma alanı, model yolu, gecikme süresi, token kullanımı, hata oranı, yedekleme olayları ve çağrıyı tetikleyen özellik veya müşteri eylemini takip edin. Bu veriler, fiyatlandırma ve yönlendirme kararlarını daha sonra çok daha kolay hale getirir.