এআই এজেন্ট ফ্রেমওয়ার্ক: এক API-কে একাধিক মডেলের সাথে সংযুক্ত করুন

এআই এজেন্ট ফ্রেমওয়ার্ক হল যেখানে দলগুলি এজেন্টের আচরণ নির্ধারণ করে: লক্ষ্য, সরঞ্জাম, মেমরি, হ্যান্ডঅফ, লুপ এবং এজেন্ট কখন থামবে তার নিয়ম। কিন্তু মডেল অ্যাক্সেস স্তর একটি ভিন্ন সিদ্ধান্ত। যদি প্রতিটি এজেন্ট ফ্রেমওয়ার্ক সরাসরি একটি প্রদানকারীর সাথে সংযুক্ত থাকে, তবে পণ্যটি সেই প্রদানকারীর মূল্য নির্ধারণ, হার সীমা, বিভ্রাট, মডেল পরিবর্তন এবং অ্যাকাউন্ট নিয়ম উত্তরাধিকারসূত্রে পায়।.

এ কারণেই এআই এজেন্ট ফ্রেমওয়ার্কগুলি আরও ভাল কাজ করে যখন ফ্রেমওয়ার্ক একটি স্থিতিশীল মডেল এপিআই কল করে এবং মডেল স্তর পছন্দ, রাউটিং, ফেইলওভার, ব্যবহার দৃশ্যমানতা এবং বিলিং পরিচালনা করে। ShareAI সেই স্তরের সাথে মানানসই। এজেন্ট অ্যাপ্লিকেশনটি ShareAI-এর বাইরে থাকে, যখন ShareAI ডেভেলপারদের জন্য ১৫০+ মডেল, মার্কেটপ্লেস সিগন্যাল, পে-পর-টোকেন ব্যবহার এবং একটি বিল্ডার পথ প্রদান করে যখন এজেন্ট ট্রাফিক অর্থায়নযোগ্য হয়ে ওঠে।.

কেন এআই এজেন্ট ফ্রেমওয়ার্কগুলির একটি মডেল অ্যাক্সেস স্তর প্রয়োজন

একটি এজেন্ট ফ্রেমওয়ার্ক আপনাকে কাজটি সংজ্ঞায়িত করতে সাহায্য করা উচিত। এটি প্রতিটি মডেল কল, টুল স্টেপ এবং ফ্যালব্যাক সিদ্ধান্তকে একটি হার্ডকোডেড প্রদানকারী পথে বাধ্য করা উচিত নয়।.

একটি প্রোডাকশন এজেন্ট সাধারণত বিভিন্ন ধরণের মডেল কল করে। একটি পরিকল্পনাকারীর শক্তিশালী যুক্তি প্রয়োজন হতে পারে। একটি শ্রেণীবিন্যাসকারীর কম খরচ এবং কম লেটেন্সি প্রয়োজন হতে পারে। একটি সারাংশকারীর সস্তা রুট প্রয়োজন হতে পারে। একটি গ্রাহক-দৃশ্যমান উত্তরের উচ্চ মানের মডেল এবং একটি নিরাপদ ফ্যালব্যাক প্রয়োজন হতে পারে। এই সমস্ত ধাপগুলিকে একটি ডিফল্ট মডেল হিসাবে বিবেচনা করা খরচ এবং নির্ভরযোগ্যতা নিয়ন্ত্রণ করা কঠিন করে তোলে।.

ShareAI অ্যাপ্লিকেশনটিকে একটি স্থিতিশীল মডেল স্তর প্রদান করে। ডেভেলপাররা মডেলগুলি তুলনা করতে পারে, বিকল্পগুলি পরীক্ষা করতে পারে এবং প্রতিটি ফ্রেমওয়ার্ক বা এজেন্ট ধাপের জন্য পৃথক প্রদানকারী ইন্টিগ্রেশন বজায় রাখার পরিবর্তে একটি এপিআইয়ের মাধ্যমে ট্রাফিক রাউট করতে পারে।.

মৌলিক সংযোগ প্যাটার্ন

বেশিরভাগ ইন্টিগ্রেশন একই প্যাটার্ন অনুসরণ করে:

• আপনার এজেন্ট ফ্রেমওয়ার্ককে ওয়ার্কফ্লো লজিক, সরঞ্জাম এবং স্টেটের জন্য দায়ী রাখুন।.
• ফ্রেমওয়ার্কের মডেল ক্লায়েন্টকে ShareAI-এর চ্যাট কমপ্লিশন এন্ডপয়েন্টে নির্দেশ করুন।.
• আপনার সার্ভার-সাইড পরিবেশ থেকে একটি ShareAI API কী ব্যবহার করুন।.
• প্রতিটি এজেন্ট ধাপের সাথে মানানসই মডেল রুট নির্বাচন করুন।.
• লঞ্চের আগে ব্যবহারকারী, ওয়ার্কস্পেস, ফিচার বা এজেন্ট রুট দ্বারা ব্যবহার লগ করুন।.

এই প্যাটার্নটি বিশেষভাবে উপকারী যখন আপনার ফ্রেমওয়ার্ক ইতিমধ্যেই একটি OpenAI-সামঞ্জস্যপূর্ণ চ্যাট মডেল ক্লায়েন্ট সমর্থন করে। LangChain নথিপত্র করে কিভাবে এর ChatOpenAI ইন্টিগ্রেশন একটি কনফিগারযোগ্য বেস URL ব্যবহার করতে পারে, যা প্যাটার্নটি অনেক দল ব্যবহার করে যখন একটি প্রক্সি, গেটওয়ে বা সামঞ্জস্যপূর্ণ মডেল API-এর মাধ্যমে রাউটিং করা হয়। LangChain ChatOpenAI ডকুমেন্টেশন.

ধাপ ১: ShareAI অনুরোধ প্রমাণ করুন

একটি ফ্রেমওয়ার্ক কনফিগারেশন পরিবর্তন করার আগে, একটি সরাসরি সার্ভার-সাইড অনুরোধ করুন। এটি আপনাকে ক্রেডেনশিয়াল, মডেল নির্বাচন এবং প্রতিক্রিয়া আকারের জন্য একটি পরিষ্কার বেসলাইন দেয়।.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

সার্ভারে কী রাখুন। এটি ব্রাউজার কোড, পাবলিক রিপোজিটরি, ক্লায়েন্ট-সাইড প্লাগইন বা শেয়ারড এজেন্ট টেমপ্লেটে প্রকাশ করবেন না। যখন অনুরোধ সফল হয়, একই এন্ডপয়েন্ট এবং কী ফ্রেমওয়ার্ক কনফিগারেশনে সরান।.

ধাপ ২: ফ্রেমওয়ার্ককে ShareAI-তে নির্দেশ করুন

কোড-প্রথম ফ্রেমওয়ার্কগুলির জন্য, প্যাটার্নটি সাধারণত একটি বেস URL, একটি API কী এবং একটি মডেল নাম। LangChain-এ, এটি এইরকম দেখতে পারে:

import os

পরিবেশ ভেরিয়েবল ব্যবহারকারী টুলগুলির জন্য, ফ্রেমওয়ার্কের মডেল API ভেরিয়েবলগুলি ShareAI কী এবং বেস URL-এ ডিপ্লয়মেন্ট পরিবেশে সেট করুন, তারপর ওয়ার্কার বা এজেন্ট রানটাইম পুনরায় চালু করুন।.

SHAREAI_API_KEY="your-server-side-key"

ভিজ্যুয়াল টুলগুলির জন্য, মডেল প্রদানকারী সেটিংস বা কাস্টম প্রদানকারী সেটিংস খুঁজুন। উদাহরণস্বরূপ, Dify-এর ডকুমেন্টেশন তার মডেল-প্রদানকারী সেটআপে সিস্টেম প্রদানকারীদের কাস্টম প্রদানকারীদের থেকে আলাদা করে: Dify মডেল প্রদানকারী ডকুমেন্টেশন. সঠিক লেবেলগুলি পণ্য অনুযায়ী ভিন্ন হতে পারে, তবে ব্যবহারিক ইনপুটগুলি সাধারণত একই থাকে: কী, এন্ডপয়েন্ট, মডেল এবং ব্যবহার স্কোপ।.

ধাপ ৩: কাজ অনুযায়ী এজেন্ট রুটগুলি ভাগ করুন

একবার ফ্রেমওয়ার্ক ShareAI-কে কল করতে পারে, অভ্যাসবশত প্রতিটি ধাপ একই মডেলে পাঠানো এড়িয়ে চলুন। একটি ভাল সেটআপ কাজের ধরন অনুযায়ী মডেল রুট বরাদ্দ করে।.

• পরিকল্পনা রুট: ডিকম্পোজিশন, টুল নির্বাচন এবং দীর্ঘ যুক্তির জন্য একটি শক্তিশালী মডেল ব্যবহার করুন।.
• দ্রুত রুট: শ্রেণীবিভাজন, পুনর্লিখন, নিষ্কাশন বা ফরম্যাটিংয়ের জন্য একটি নিম্ন-খরচের মডেল ব্যবহার করুন।.
• গ্রাহক-দৃশ্যমান রুট: চূড়ান্ত উত্তরের জন্য গুণমান, বিলম্ব এবং নির্ভরযোগ্যতার সেরা ভারসাম্য বজায় রাখে এমন মডেল ব্যবহার করুন।.
• ব্যাকআপ রুট: একটি ব্যাকআপ মডেল নির্বাচন করুন যা পছন্দসই রুট অবনতি হলে একই কাজ সম্পন্ন করতে পারে।.

এখানেই একটি এক-এপিআই পদ্ধতি কার্যকর হয়। ফ্রেমওয়ার্ককে প্রতিটি প্রদানকারী সিদ্ধান্তের জন্য আলাদা ইন্টিগ্রেশন প্রয়োজন হয় না। অ্যাপ্লিকেশন একটি স্থিতিশীল কল প্যাটার্ন বজায় রাখতে পারে যখন দল রুট পরিবর্তন করে মূল্য, বিলম্ব, প্রাপ্যতা বা গুণমান পরিবর্তনের সাথে।.

আপনি যদি ইতিমধ্যে একাধিক এজেন্ট চালাচ্ছেন, এটিকে আপনার অপারেটিং মডেলের অংশ হিসাবে বিবেচনা করুন, শুধুমাত্র একটি কোড সেটিং নয়। এআই এজেন্ট বহর পরিচালনা বিস্তৃত নির্দেশিকা ব্যাখ্যা করে কিভাবে রাউটিং, মূল্য নির্ধারণ এবং মালিকানা একবার একটি এজেন্ট অনেক হয়ে যায়।.

বিল্ডার মনিটাইজেশন কোথায় ফিট করে।

কিছু এজেন্ট ওয়ার্কফ্লো অভ্যন্তরীণ খরচ কেন্দ্র। অন্যরা গ্রাহক-সামনে থাকা পণ্য বৈশিষ্ট্য। যদি একটি বিল্ডার ShareAI-এর বাইরে একটি অ্যাপ, প্লাগইন, ওয়ার্কফ্লো, চ্যাটবট বা এজেন্ট পণ্য মালিক হয়, সেই এজেন্ট ট্রাফিক একটি ব্যবহার-ভিত্তিক ব্যবসায়িক মডেলের অংশ হয়ে উঠতে পারে।.

বিল্ডার এখনও ShareAI-এর বাইরে অ্যাপ্লিকেশন তৈরি এবং মালিকানা বজায় রাখে। ShareAI রাউটেড AI ইনফারেন্স ব্যবহার, সেই রাউটেড ব্যবহারের জন্য গ্রাহক পেমেন্ট, মার্জিন বা সারচার্জ কনফিগারেশন এবং উৎপন্ন আয়ের উপর ভিত্তি করে মাসিক বিল্ডার পেআউট পরিচালনা করে।.

এটি এজেন্ট ফ্রেমওয়ার্কের জন্য গুরুত্বপূর্ণ কারণ এজেন্টগুলি অসম ব্যবহারের সৃষ্টি করতে পারে। একজন গ্রাহক প্রতি মাসে কয়েকটি সাপোর্ট সামারি চালাতে পারে। অন্য একজন হাজার হাজার গবেষণা, ট্রায়েজ এবং ওয়ার্কফ্লো কল চালাতে পারে। ShareAI বিল্ডার মনিটাইজেশনের সাথে, বিল্ডার AI ট্রাফিককে ShareAI-এর মাধ্যমে রাউট করতে পারে, একটি মার্জিন সেট করতে পারে এবং ব্যবহার-ভারী গ্রাহকদের তাদের তৈরি করা ইনফারেন্সের জন্য অর্থ প্রদান করতে দিতে পারে।.

যখন আপনি বাণিজ্যিক দিকটি ম্যাপ করার জন্য প্রস্তুত হন, খুলুন বিল্ডার কনসোল. । বাস্তবায়ন পরিকল্পনার জন্য, রাখুন ShareAI ডকুমেন্টেশন কাছাকাছি রাখুন।.

AI এজেন্ট ফ্রেমওয়ার্কের জন্য উৎপাদন চেকলিস্ট।

• ShareAI API কী সার্ভার-সাইডে রাখুন।.
• প্রতিটি এজেন্ট রুট চালুর আগে নামকরণ করুন।.
• গ্রাহক, ওয়ার্কস্পেস, ফিচার বা এজেন্ট দ্বারা ব্যবহার ট্র্যাক করুন।.
• উচ্চ-যুক্তি রুটগুলোকে নিম্ন-খরচের ইউটিলিটি রুট থেকে পৃথক করুন।.
• অন্তত একটি ব্যাকআপ মডেল পথ দিয়ে ফ্রেমওয়ার্ক পরীক্ষা করুন।.
• মডেল, লেটেন্সি, টোকেন ব্যবহার, ত্রুটির কারণ এবং চূড়ান্ত রুট লগ করুন।.
• প্রম্পট বা এক্সপোর্ট করা এজেন্ট টেমপ্লেটে প্রদানকারী কী রাখার থেকে বিরত থাকুন।.
• ট্রাফিক বৃদ্ধি পাওয়ার আগে কোন এজেন্ট ধাপগুলো গ্রাহক-বিলযোগ্য তা নির্ধারণ করুন।.

সবচেয়ে ছোট কার্যকর রোলআউট হল একটি এজেন্ট, একটি রুট, একটি ব্যাকআপ এবং একটি ব্যবহার লেবেল। একবার সেই পথটি পরিমাপযোগ্য হলে, পরবর্তী এজেন্ট ধাপে প্যাটার্নটি প্রসারিত করুন।.

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

AI এজেন্ট ফ্রেমওয়ার্ক কী?

AI এজেন্ট ফ্রেমওয়ার্ক ডেভেলপারদের এজেন্টের আচরণ, টুলস, মেমরি, ওয়ার্কফ্লো, স্টেট এবং এক্সিকিউশন লুপ সংজ্ঞায়িত করতে সাহায্য করে। এটি মডেল অ্যাক্সেস লেয়ার থেকে আলাদা, যা প্রতিটি অনুরোধে কোন মডেল পরিবেশন করবে তা নির্ধারণ করে।.

কেন AI এজেন্ট ফ্রেমওয়ার্ককে একটি API-তে সংযুক্ত করবেন?

একটি API মডেল অ্যাক্সেস পরিবর্তন করা সহজ রাখে। দলগুলো বিভিন্ন এজেন্ট ধাপকে বিভিন্ন মডেলে রুট করতে পারে, মার্কেটপ্লেস সিগন্যাল তুলনা করতে পারে এবং একটি প্রদানকারী ইন্টিগ্রেশনের উপর নির্ভরতা কমাতে পারে।.

ShareAI কি একটি AI এজেন্ট ফ্রেমওয়ার্ক?

না। ShareAI একটি AI মার্কেটপ্লেস এবং API। এটি এজেন্ট অ্যাপ্লিকেশন তৈরি করে না। এটি এজেন্ট ফ্রেমওয়ার্কের পিছনে মডেল অ্যাক্সেস, রাউটিং, ব্যবহার, বিলিং এবং মনিটাইজেশন লেয়ার হিসেবে থাকতে পারে।.

আমি কি ShareAI LangChain-এর সাথে ব্যবহার করতে পারি?

হ্যাঁ, যখন LangChain ইন্টিগ্রেশন ShareAI-এর চ্যাট সম্পূর্ণ করার এন্ডপয়েন্টে ShareAI API কী এবং একটি সমর্থিত মডেল নাম দিয়ে কনফিগার করা হয়। সম্পূর্ণ চেইনে সংযোগ করার আগে সরাসরি API অনুরোধ পরীক্ষা করুন।.

ভিজ্যুয়াল এজেন্ট নির্মাতারা কি এই প্যাটার্ন ব্যবহার করতে পারেন?

প্রায়শই, হ্যাঁ। যদি ভিজ্যুয়াল টুল একটি কাস্টম মডেল প্রদানকারী বা OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্ট সমর্থন করে, সেটআপ সাধারণত এন্ডপয়েন্ট, API কী, মডেল নাম এবং টুল যেখানে প্রদানকারী শংসাপত্র সংরক্ষণ করে তার উপর নির্ভর করে।.

আমি কীভাবে বিভিন্ন এজেন্ট ধাপের জন্য মডেল নির্বাচন করব?

কাজ দিয়ে শুরু করুন। পরিকল্পনা এবং উচ্চ-মূল্যের প্রতিক্রিয়ার জন্য শক্তিশালী মডেল ব্যবহার করুন, সাধারণ শ্রেণীবিভাগ বা ফরম্যাটিংয়ের জন্য কম খরচের মডেল ব্যবহার করুন এবং নীরবে ব্যর্থ হতে পারে না এমন ধাপগুলির জন্য ব্যাকআপ রুট ব্যবহার করুন।.

ফেইলওভার কীভাবে AI এজেন্টদের সাহায্য করে?

ফেইলওভার এজেন্টকে আরেকটি মডেল পথ দেয় যখন পছন্দসই রুট অনুপলব্ধ, ধীর, খুব ব্যয়বহুল, বা অনুরোধের জন্য অনুপযুক্ত হয়। এটি সবচেয়ে কার্যকর যখন উৎপাদন ট্রাফিক বৃদ্ধি পাওয়ার আগে পরীক্ষা করা হয়।.

নির্মাতারা কি এজেন্ট ফ্রেমওয়ার্ক ব্যবহারের মাধ্যমে অর্থ উপার্জন করতে পারেন?

হ্যাঁ, যখন নির্মাতা ShareAI-এর বাইরে অ্যাপ, ওয়ার্কফ্লো, প্লাগইন, চ্যাটবট, বা এজেন্ট পণ্যটির মালিক হন এবং তার AI ইনফারেন্স ট্রাফিক ShareAI-এর মাধ্যমে রুট করেন। নির্মাতা সেই ট্রাফিকের জন্য একটি মার্জিন বা সারচার্জ সেট করতে পারেন।.

রুট করা এজেন্ট ব্যবহারের জন্য কে অর্থ প্রদান করে?

নির্মাতা মডেলে, গ্রাহক, ওয়ার্কস্পেস, ব্যবহারকারী, বা অ্যাকাউন্ট যা রুট করা AI ব্যবহার তৈরি করে, সেই ব্যবহারের জন্য ShareAI-কে অর্থ প্রদান করে। ShareAI প্রতি মাসে নির্মাতাকে কনফিগার করা মার্জিন বা সারচার্জ থেকে উৎপন্ন আয়ের উপর ভিত্তি করে অর্থ প্রদান করে।.

প্রদানকারী এবং নির্মাতারা কি একইভাবে উপার্জন করেন?

না। নির্মাতারা ShareAI-এর মাধ্যমে রুট করা অ্যাপ্লিকেশন ট্রাফিক থেকে উপার্জন করেন। প্রদানকারীরা অনুমোদিত প্রদানকারী প্রোগ্রামের মাধ্যমে ShareAI নেটওয়ার্কে যোগ্য কম্পিউট ক্ষমতা প্রদান করে উপার্জন করেন।.

লঞ্চের আগে আমি কী ট্র্যাক করব?

এজেন্ট নাম, ব্যবহারকারী বা ওয়ার্কস্পেস, মডেল রুট, লেটেন্সি, টোকেন ব্যবহার, ত্রুটি হার, ফ্যালব্যাক ইভেন্ট এবং ফিচার বা গ্রাহক ক্রিয়া যা কলটি ট্রিগার করেছে তা ট্র্যাক করুন। সেই ডেটা পরে মূল্য নির্ধারণ এবং রুটিং সিদ্ধান্ত নেওয়া অনেক সহজ করে তোলে।.