এআই এজেন্ট হারনেস: প্রোডাকশন এজেন্টদের জন্য রানটাইম লেয়ার প্রয়োজন

একটি এআই এজেন্ট হার্নেস এটি একটি রানটাইম স্তর যা একটি মডেল, টুলস, নির্দেশনা এবং ব্যবহারকারীর লক্ষ্যকে প্রোডাকশন ওয়ার্কফ্লোতে রূপান্তরিত করে। এটি নিজেই মডেল নয়। এটি শুধুমাত্র একটি এজেন্ট ফ্রেমওয়ার্ক নয়। এটি এজেন্টের চারপাশের অপারেটিং স্তর: লুপ, টুল কল, অনুমোদন, ক্রেডেনশিয়াল, কন্টেক্সট কন্ট্রোল, স্যান্ডবক্সিং, ট্রেস এবং ব্যবহারযোগ্যতার দৃশ্যমানতা যা এজেন্টকে নিরাপদে চালানোর জন্য তৈরি করে।.

এই পার্থক্যটি গুরুত্বপূর্ণ যখন দলগুলি ডেমো থেকে এগিয়ে যায়। একটি প্রোটোটাইপ একটি মডেল এবং একটি টুল কল করতে পারে। একটি প্রোডাকশন এজেন্ট রেপোজিটরি, অভ্যন্তরীণ ডকুমেন্ট, গ্রাহক রেকর্ড, বিলিং অ্যাকশন, সাপোর্ট টিকেট বা ওয়ার্কফ্লো সিস্টেম স্পর্শ করতে পারে। সেই সময়ে, কঠিন প্রশ্নটি আর “আমরা কোন মডেল ব্যবহার করব?” থাকে না। এটি হয়ে যায় “মডেলটি যখন কাজ করে তখন কোন রানটাইম এটি নিয়ন্ত্রণ করে?”

ShareAI সেই স্ট্যাকে AI মার্কেটপ্লেস এবং API স্তর হিসেবে মডেল অ্যাক্সেস, রাউটিং, ফেইলওভার এবং মার্কেটপ্লেস দৃশ্যমানতার জন্য ফিট করে। দলগুলি মডেলগুলি তুলনা করতে পারে, একটি API এর মাধ্যমে ট্রাফিক রাউট করতে পারে এবং মডেল ব্যবহারের পরিমাপযোগ্যতা বজায় রাখতে পারে যখন চারপাশের অ্যাপ্লিকেশন বা হার্নেস ShareAI এর বাইরে থাকে।.

একটি এআই এজেন্ট হার্নেস আসলে কী করে

একটি এআই এজেন্ট হার্নেস একটি মডেলের চারপাশে এক্সিকিউশন লুপ পরিচালনা করে। সাধারণ প্যাটার্নটি হল পরিকল্পনা, কাজ করা, পর্যবেক্ষণ করা এবং চালিয়ে যাওয়ার সিদ্ধান্ত নেওয়া। হার্নেস মডেল কল পাঠায়, টুলস চালায়, টুল ফলাফল গ্রহণ করে, কন্টেক্সট আপডেট করে এবং কাজ সম্পূর্ণ হলে বা একটি সীমা পৌঁছালে থেমে যায়।.

রানটাইম সেই অংশগুলিও পরিচালনা করে যা প্রোডাকশন এজেন্টকে চ্যাটবট থেকে আলাদা করে: টুল অনুমতি, সিক্রেট হ্যান্ডলিং, ঝুঁকিপূর্ণ কাজের জন্য অনুমোদন, পর্যবেক্ষণযোগ্যতা, খরচ ট্র্যাকিং, স্টেট, পুনরায় চেষ্টা এবং স্যান্ডবক্সড এক্সিকিউশন। সেই স্তর ছাড়া, প্রতিটি দল প্রতিটি এজেন্টের চারপাশে একই ভঙ্গুর প্লাম্বিং পুনর্নির্মাণ করতে থাকে।.

• মডেল অ্যাক্সেস: কাজের জন্য সঠিক মডেল নির্বাচন এবং কল করা।.
• টুল রাউটিং: এজেন্টকে API, MCP টুলস, ডাটাবেস, ফাইল বা কোড এক্সিকিউশনের সাথে সংযুক্ত করা।.
• কন্টেক্সট কন্ট্রোল: দীর্ঘমেয়াদী কাজকে একটি কার্যকর মডেল কন্টেক্সট উইন্ডোর মধ্যে রাখা।.
• অনুমোদনসমূহ: ধ্বংসাত্মক বা সংবেদনশীল কার্যক্রম চালানোর আগে থামানো।.
• শংসাপত্র পরিচালনা: প্রদানকারী কী এবং টুল টোকেনগুলো এজেন্ট প্রম্পট এবং কনফিগ থেকে দূরে রাখা।.
• পর্যবেক্ষণযোগ্যতা: মডেল কল, টুল কল, বিলম্ব, টোকেন এবং প্রতি রান খরচ ট্রেস করা।.

কেন হারনেসই প্রকৃত নির্মাণ-বনাম-ক্রয় সিদ্ধান্ত।

মডেল কল তুলনামূলকভাবে সহজ। টুল সংজ্ঞাগুলো ক্রমবর্ধমানভাবে মানসম্মত। ব্যয়বহুল অংশটি মডেলের চারপাশে পুনরাবৃত্তি রানটাইম: স্যান্ডবক্স লাইফসাইকেল, পুনরায় চেষ্টা, বাজেট, অনুমোদন, অডিট লগ, অনুমতিসমূহ, প্রসঙ্গ সংকোচন, এবং প্রতি-ধাপ খরচ দৃশ্যমানতা।.

যদি প্রতিটি অভ্যন্তরীণ দল স্বাধীনভাবে সেই হারনেস তৈরি করে, তাহলে প্রতিটি দল একটি ভিন্ন নিরাপত্তা মডেলও পরিচালনা করে। একটির শক্তিশালী অডিট লগ থাকতে পারে কিন্তু দুর্বল শংসাপত্র পরিচ্ছন্নতা। অন্যটির টুল অ্যাক্সেস থাকতে পারে কিন্তু অনুমোদন গেট নেই। তৃতীয়টি একটি কর্মপ্রবাহের জন্য ভাল কাজ করতে পারে কিন্তু একটি দীর্ঘ কাজ প্রসঙ্গ উইন্ডো পূরণ করলে ব্যর্থ হতে পারে।.

একটি ভাগ করা হারনেস প্ল্যাটফর্ম দলগুলোকে রানটাইম প্রত্যাশা সংজ্ঞায়িত করার জন্য একটি জায়গা দেয়। অ্যাপ্লিকেশন দলগুলো এখনও তাদের এজেন্ট নির্দেশনা, কর্মপ্রবাহ এবং পণ্য যুক্তি পরিচালনা করে, কিন্তু সাধারণ নিয়ন্ত্রণগুলো নতুন করে তৈরি করতে হয় না।.

এআই এজেন্ট হারনেস সক্ষমতাগুলো মূল্যায়ন করতে।

সক্ষমতা	কেন এটি গুরুত্বপূর্ণ
কেন্দ্রীভূত মডেল রাউটিং।	দলগুলোকে এক প্রদানকারী হার্ডকোড করার পরিবর্তে মূল্য, বিলম্ব, প্রাপ্যতা এবং কাজের উপযুক্ততার ভিত্তিতে মডেল বেছে নিতে দেয়।.
টুল গভর্নেন্স।	নিয়ন্ত্রণ করে কোন টুলগুলো এজেন্ট কল করতে পারে, কোন পরিচয়ের অধীনে, এবং কোন অনুমতিসহ।.
অনুমোদন গেট।	সংবেদনশীল কার্যক্রম যেমন রিফান্ড, ডিলিট, ডিপ্লয়মেন্ট বা ডেটা পরিবর্তন থামায়, যতক্ষণ না একজন মানব অনুমোদন দেয়।.
ক্রেডেনশিয়াল আইসোলেশন	API কী এবং টোকেন প্রম্পট, এজেন্ট সংজ্ঞা, লগ এবং রিপোজিটরি থেকে দূরে রাখে।.
স্যান্ডবক্সিং	কোড বা ফাইল অপারেশন করার অনুমতি দেয় এজেন্টকে হোস্ট পরিবেশে সরাসরি অ্যাক্সেস না দিয়ে।.
এন্ড-টু-এন্ড ট্রেসিং	প্রতিটি রান-এ কী ঘটেছে তা দেখায়, যার মধ্যে মডেল কল, টুল কল, টোকেন, লেটেন্সি এবং খরচ অন্তর্ভুক্ত।.

মডেল মডেল কনটেক্সট প্রোটোকল এটি একটি কারণ যে এই স্তরটি আরও গুরুত্বপূর্ণ হয়ে উঠছে। MCP AI অ্যাপ্লিকেশনগুলিকে টুল, রিসোর্স এবং প্রম্পটের সাথে সংযোগ করার একটি আরও সঙ্গতিপূর্ণ উপায় দেয়। সেই সঙ্গতিপূর্ণতা উপকারী, তবে এটি টুল অ্যাক্সেসের জন্য একটি গভর্নেন্স মডেলও প্রয়োজন। হার্নেস সিদ্ধান্ত নেয় কীভাবে সেই টুলগুলি নির্বাচন, অনুমোদন, পর্যবেক্ষণ এবং সীমাবদ্ধ করা হবে।.

এজেন্ট হার্নেস স্ট্যাকে ShareAI কোথায় ফিট করে

ShareAI একটি এজেন্ট হার্নেস নয় এবং এটি আপনার জন্য অ্যাপ্লিকেশন বা এজেন্ট তৈরি করে না। এটি AI মার্কেটপ্লেস এবং API স্তর যা একটি এজেন্ট, প্রোডাক্ট, প্লাগইন, ওয়ার্কফ্লো বা স্ব-হোস্টেড অ্যাপ্লিকেশনের পিছনে বসতে পারে যা মডেল অ্যাক্সেস এবং ব্যবহার দৃশ্যমানতা প্রয়োজন।.

এজেন্ট তৈরি করা দলগুলির জন্য, এটি ShareAI-কে তিনটি ব্যবহারিক উপায়ে উপকারী করে তোলে।.

• মডেল অ্যাক্সেসের জন্য একটি API: প্রতিটি প্রদানকারীকে আলাদাভাবে সংযোগ না করে একটি ইন্টিগ্রেশনের মাধ্যমে ১৫০+ মডেলের সাথে সংযোগ করুন।.
• রাউটিং এবং ফেলওভার: অ্যাপ্লিকেশনটি যখন এই নিয়ন্ত্রণগুলি ব্যবহার করার জন্য ডিজাইন করা হয় তখন মডেল পছন্দ, মূল্য, বিলম্ব, প্রাপ্যতা এবং নির্ভরযোগ্যতার সংকেত দ্বারা অনুরোধগুলি রুট করুন।.
• ব্যবহার দৃশ্যমানতা: মডেল ব্যবহারের পরিমাণ পরিমাপযোগ্য রাখুন যাতে দলগুলি খরচ, ট্রাফিক প্যাটার্ন এবং পণ্যের আচরণ সম্পর্কে যুক্তি করতে পারে।.

নির্মাতারা ShareAI ব্যবহার করতে পারেন যখন এজেন্টটি তাদের মালিকানাধীন অ্যাপ্লিকেশনের অংশ যা ShareAI-এর বাইরে। সেই ক্ষেত্রে, নির্মাতা AI ইনফারেন্স ট্রাফিক ShareAI-এর মাধ্যমে রুট করে, একটি সারচার্জ বা মার্জিন সেট করে, গ্রাহকদের রুট করা ব্যবহারের জন্য ShareAI-কে অর্থ প্রদান করতে দেয় এবং উৎপন্ন আয়ের উপর ভিত্তি করে মাসিক পেমেন্ট গ্রহণ করে। অ্যাপটি ShareAI-এর বাইরে নির্মিত এবং নিয়ন্ত্রিত থাকে।.

প্রোডাকশন এজেন্ট রানগুলিতে কী ট্রেস করবেন

প্রোডাকশন এজেন্টদের অনুরোধ লগের চেয়ে বেশি প্রয়োজন। একটি কার্যকর ট্রেস একটি রান-এর ক্রমানুসারে ধাপগুলি দেখানো উচিত: মডেল কল, টুল কল, অনুমোদন, স্যান্ডবক্স ক্রিয়া, পুনরায় চেষ্টা, টোকেন গণনা, বিলম্ব এবং খরচ। OpenTelemetry ট্রেসগুলিকে প্যারেন্ট-চাইল্ড সম্পর্ক দ্বারা সংযুক্ত স্প্যানগুলির সংগ্রহ হিসাবে বর্ণনা করে, যা এজেন্ট রানগুলির জন্যও একটি কার্যকর মানসিক মডেল: প্রতিটি এজেন্ট ধাপটি বড় কাজের ভিতরে দায়ী হওয়া উচিত।.

এজেন্ট দলগুলির জন্য লক্ষ্যটি সহজ। যখন কিছু ভুল হয়, আপনি উত্তর দিতে সক্ষম হওয়া উচিত: কোন মডেলটি প্রতিক্রিয়া জানিয়েছে, কোন টুলটি কল করা হয়েছে, কোন ডেটা পাস হয়েছে, কে এটি অনুমোদন করেছে, কতগুলি টোকেন ব্যবহার করা হয়েছে, কতক্ষণ সময় লেগেছে এবং এর খরচ কত। OpenTelemetry স্পেসিফিকেশন পরিষেবাগুলির মধ্যে পর্যবেক্ষণ মানক করার জন্য দলগুলির জন্য একটি কার্যকর রেফারেন্স পয়েন্ট।.

সাধারণ AI এজেন্ট হার্নেস ভুল

• এজেন্ট সংজ্ঞায় গোপনীয়তা রাখা: গোপনীয়তাগুলি প্রম্পট, কনফিগ এবং পুনরায় ব্যবহারযোগ্য এজেন্ট টেমপ্লেটের বাইরে পরিচালিত হওয়া উচিত।.
• সমস্ত টুলকে নিরাপদ হিসাবে বিবেচনা করা: রিড-অনলি টুল, রাইট টুল এবং ধ্বংসাত্মক টুলগুলির জন্য বিভিন্ন নিয়ন্ত্রণ প্রয়োজন।.
• প্রতি-ব্যবহারকারী অ্যাট্রিবিউশন এড়িয়ে যাওয়া: ভাগ করা কীগুলি মডেল কল বা টুল অ্যাকশনের কারণ কে তা নিরীক্ষণ করা কঠিন করে তোলে।.
• বিলিং আসা পর্যন্ত খরচ উপেক্ষা করা: এজেন্ট লুপগুলি পুনরাবৃত্তি, টুল ফলাফল এবং দীর্ঘ প্রসঙ্গ অপ্রশাসিত থাকলে দ্রুত টোকেন ব্যবহার বাড়াতে পারে।.
• প্রতিটি দলকে তার নিজস্ব রানটাইম তৈরি করতে দেওয়া: পুনরাবৃত্ত হার্নেস কাজ অসঙ্গত শাসন এবং অসম নির্ভরযোগ্যতা তৈরি করে।.

কখন ShareAI দিয়ে শুরু করবেন

ShareAI দিয়ে শুরু করুন যখন এজেন্ট বা অ্যাপ্লিকেশনকে নমনীয় মডেল অ্যাক্সেসের প্রয়োজন হয় হার্নেস সিদ্ধান্ত সম্পূর্ণভাবে স্থির হওয়ার আগে। আপনি ব্যবহার করতে পারেন প্লেগ্রাউন্ড মডেল আচরণ পরীক্ষা করতে, মার্কেটপ্লেসে মডেল বিকল্পগুলি পর্যালোচনা করতে এবং ব্যবহার করতে পারেন ডকুমেন্টেশন যখন আপনি একটি API একীভূত করতে প্রস্তুত।.

প্রোডাক্ট টিমের জন্য, পরিষ্কার আর্কিটেকচার সাধারণত স্তরযুক্ত হয়। অ্যাপ ব্যবহারকারীর অভিজ্ঞতার মালিক। হার্নেস এজেন্ট রানটাইম আচরণের মালিক। ShareAI AI মডেল অ্যাক্সেস, রাউটিং, মার্কেটপ্লেস সিগন্যাল, বিলিং এবং ব্যবহার দৃশ্যমানতা পরিচালনা করে যেখানে সেই ক্ষমতাগুলি কর্মপ্রবাহে ফিট করে।.

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

AI এজেন্ট হার্নেস কী?

AI এজেন্ট হার্নেস একটি মডেলের চারপাশে রানটাইম স্তর। এটি এজেন্ট লুপ, টুল কল, প্রসঙ্গ, শংসাপত্র, অনুমোদন, স্যান্ডবক্সিং, ট্রেসিং এবং খরচ দৃশ্যমানতা পরিচালনা করে।.

AI এজেন্ট হার্নেস কি এজেন্ট ফ্রেমওয়ার্কের মতো?

না। একটি ফ্রেমওয়ার্ক ডেভেলপারদের এজেন্ট আচরণ সংজ্ঞায়িত করতে সাহায্য করে। একটি হার্নেস সেই আচরণকে প্রোডাকশনে চালায় এবং শাসন করে যেমন অনুমতি, ট্রেস, অনুমোদন এবং রানটাইম সীমার মতো নিয়ন্ত্রণের মাধ্যমে।.

ShareAI AI এজেন্ট হার্নেসে কোথায় ফিট করে?

ShareAI মডেল অ্যাক্সেস, রাউটিং, ফেইলওভার, ব্যবহার দৃশ্যমানতা এবং বিলিংয়ের জন্য AI মার্কেটপ্লেস এবং API স্তর হিসাবে কাজ করে। এজেন্ট বা অ্যাপ্লিকেশনটি ShareAI-এর বাইরে তৈরি করা হয়।.

ShareAI কি এজেন্ট হারনেস প্রতিস্থাপন করতে পারে?

না। ShareAI সম্পূর্ণ এজেন্ট রানটাইম প্রদান করে না। এটি মডেল অ্যাক্সেস এবং রাউটিং স্তর সমর্থন করতে পারে যা একটি এজেন্ট হারনেস বা অ্যাপ্লিকেশন কল করে।.

প্রোডাকশন এজেন্টদের অনুমোদন গেট কেন প্রয়োজন?

অনুমোদন গেট ঝুঁকি কমায় যখন একটি এজেন্ট সংবেদনশীল কাজ করতে পারে, যেমন ডেটা মুছে ফেলা, রিফান্ড প্রদান, কোড ডিপ্লয় করা, রেকর্ড পরিবর্তন করা বা প্রিভিলেজড টুল কল করা।.

এজেন্ট সংজ্ঞায় ক্রেডেনশিয়াল কেন থাকা উচিত নয়?

এজেন্ট সংজ্ঞায় ক্রেডেনশিয়াল রিপোজিটরি, লগ, এক্সপোর্ট বা কপি করা কনফিগের মাধ্যমে ফাঁস হতে পারে। প্রোডাকশন সিস্টেমগুলি ক্রেডেনশিয়ালগুলি পরোক্ষভাবে উল্লেখ করা উচিত এবং অনুমোদিত রানটাইম নিয়ন্ত্রণের মাধ্যমে সেগুলি ইনজেক্ট করা উচিত।.

MCP কীভাবে এজেন্ট হারনেস ডিজাইন পরিবর্তন করে?

MCP টুল এবং প্রসঙ্গ সংযোগগুলিকে আরও মানসম্মত করে তোলে। এটি একটি হারনেস বা গেটওয়ে স্তরের প্রয়োজন বাড়ায় যা নির্ধারণ করে কোন টুলগুলি অনুমোদিত, কীভাবে তারা প্রমাণীকরণ করে এবং কীভাবে কলগুলি অডিট করা হয়।.

এজেন্ট রানগুলিতে দলগুলিকে কী পর্যবেক্ষণ করা উচিত?

দলগুলিকে মডেল কল, টুল কল, অনুমোদন, ত্রুটি, টোকেন ব্যবহার, লেটেন্সি, খরচ, ব্যবহারকারী অ্যাট্রিবিউশন এবং চূড়ান্ত আউটপুট পর্যবেক্ষণ করা উচিত। এই সংকেতগুলি ছাড়া, ব্যর্থতা ডিবাগ করা কঠিন।.

AI এজেন্টদের জন্য মডেল রাউটিং কি উপকারী?

হ্যাঁ। বিভিন্ন এজেন্ট ধাপ বিভিন্ন মডেলের প্রয়োজন হতে পারে। রাউটিং দলগুলিকে খরচ, লেটেন্সি, প্রাপ্যতা এবং গুণমানের ভারসাম্য বজায় রাখতে সাহায্য করতে পারে, প্রতিটি ধাপকে একটি ডিফল্ট মডেলে পাঠানোর পরিবর্তে।.

ShareAI দিয়ে বিল্ডাররা কি এজেন্ট ব্যবহারের মাধ্যমে অর্থ উপার্জন করতে পারে?

হ্যাঁ, যখন বিল্ডার ShareAI-এর বাইরে একটি অ্যাপ্লিকেশন মালিকানাধীন এবং তার AI ইনফারেন্স ট্রাফিক ShareAI-এর মাধ্যমে রাউট করে। বিল্ডার একটি মার্জিন বা সারচার্জ সেট করতে পারে এবং উৎপন্ন ব্যবহারের উপর ভিত্তি করে মাসিক পেআউট পেতে পারে।.

মডেল অ্যাক্সেস পরীক্ষা করার প্রথম ধাপ কী?

ShareAI Playground ব্যবহার করে মডেল পরীক্ষা করুন, তারপর আপনার অ্যাপ্লিকেশন বা এজেন্ট রানটাইম থেকে মডেল কল সংযোগ করার জন্য প্রস্তুত হলে একটি API কী তৈরি করুন।.