এআই এজেন্টদের জন্য জাস্ট-ইন-টাইম প্রসঙ্গ: প্রম্পটগুলো সংক্ষিপ্ত রাখুন

এআই এজেন্টদের জন্য জাস্ট-ইন-টাইম প্রসঙ্গ এটি একটি সহজ ধারণা যা বড় উৎপাদন প্রভাব ফেলে: সক্রিয় প্রম্পটকে হালকা রাখুন, এজেন্ট যা প্রয়োজন হতে পারে তার জন্য হালকা রেফারেন্স বহন করুন, এবং ভারী প্রসঙ্গটি কেবল তখনই লোড করুন যখন একটি ধাপ প্রকৃতপক্ষে এটি প্রয়োজন।.

এই পরিবর্তনটি গুরুত্বপূর্ণ কারণ এজেন্ট রানগুলি লুপ। একটি হ্যান্ডবুক, টুল ক্যাটালগ, ডাটাবেস স্ন্যাপশট, বা দীর্ঘ ফলাফল যা প্রম্পটে থাকে তা একবারের জন্য অর্থ প্রদান করা হয় না। এটি পরিকল্পনা, টুল কল, পুনরায় চেষ্টা, এবং চূড়ান্ত উত্তরের জুড়ে বারবার পাঠানো যেতে পারে। হালকা প্রসঙ্গ মডেলকে মনোযোগী রাখে, খরচ সম্পর্কে যুক্তি করা সহজ করে তোলে, এবং প্রতিটি ধাপকে সঠিক মডেলে রাউট করার জন্য দলগুলিকে একটি পরিষ্কার পথ দেয়।.

জাস্ট-ইন-টাইম প্রসঙ্গের অর্থ কী

জাস্ট-ইন-টাইম প্রসঙ্গ বাল্ক প্রিলোডিংকে একটি ক্যাটালগ দিয়ে প্রতিস্থাপন করে। মডেলটি কমপ্যাক্ট পয়েন্টারগুলি দৃশ্যে রাখে: একটি ফাইল পথ, একটি টুল নাম, একটি দক্ষতার বিবরণ, একটি সংরক্ষিত প্রশ্ন, একটি অনুসন্ধান ফলাফলের হ্যান্ডেল, বা পূর্ববর্তী ধাপের একটি সংক্ষিপ্ত সারাংশ। যখন এজেন্ট এমন একটি কাজের কাছে পৌঁছায় যা পে-লোড প্রয়োজন, তখন রানটাইম নির্দিষ্ট বিষয়বস্তু নিয়ে আসে, এটি ব্যবহার করে, এবং পরে এটি সক্রিয় উইন্ডো থেকে সরিয়ে দেয়।.

সেরা মানসিক মডেলটি একটি ওয়ার্কবেঞ্চ, একটি গুদাম নয়। এজেন্টটি এমন টুল এবং রেফারেন্সগুলি দেখতে চায় যা এটি পরবর্তী ধাপটি বেছে নিতে সাহায্য করে। এটি শুরু থেকেই প্রতিটি ম্যানুয়াল, প্রতিটি লগ লাইন, এবং প্রতিটি সম্ভাব্য স্কিমা প্রম্পটে বসে থাকার প্রয়োজন নেই।.

কী লোড থাকা উচিত

হালকা প্রসঙ্গ মানে একটি খালি প্রম্পট নয়। কিছু তথ্য স্থিতিশীল প্রিফিক্সে থাকা উচিত কারণ এটি সর্বদা প্রাসঙ্গিক এবং পুনরায় আবিষ্কার করা ব্যয়বহুল।.

• মূল নির্দেশাবলী: ভূমিকা, নিরাপত্তা সীমাবদ্ধতা, আউটপুট ফরম্যাট, এবং ব্যবহারকারীর কাজ।.
• প্রয়োজনীয় টুল পৃষ্ঠ: টুলগুলির ছোট সেট যা এজেন্টকে বেশিরভাগ রানগুলির জন্য জানতে হবে।.
• সাম্প্রতিক অবস্থা: ইতিমধ্যে গৃহীত সিদ্ধান্ত, খোলা প্রশ্ন, এবং বর্তমান কাজের সীমানা।.
• অ্যাক্সেস নিয়ম: কোন ডেটা, সিস্টেম এবং কার্যক্রম অনুমোদিত।.
• রাউটিং নিয়ম: কখন অ্যাপ্লিকেশন একটি দ্রুত মডেল, একটি সস্তা মডেল, বা একটি শক্তিশালী যুক্তি মডেল ব্যবহার করা উচিত।.

বাকিগুলো তাদের স্থান অর্জন করা উচিত। সম্পূর্ণ নীতি নথি, ভারী API ফলাফল, দীর্ঘ ট্রান্সক্রিপ্ট, বড় টেবিল এবং খুব কম ব্যবহৃত টুল নির্দেশনা পুনরুদ্ধারযোগ্য পে-লোড হিসাবে পরিচালনা করা ভালো।.

যেখানে টোকেন অপচয় সাধারণত শুরু হয়

টোকেন অপচয় প্রায়শই একটি যুক্তিসঙ্গত শর্টকাট দিয়ে শুরু হয়: “এখনই লোড করুন যাতে মডেলের কাছে সবকিছু থাকে।” এটি ছোট, এক-টার্ন কাজের জন্য কাজ করে। এটি এজেন্ট ওয়ার্কফ্লোতে ব্যয়বহুল হয়ে যায় কারণ প্রতিটি লুপ ধাপে একই স্থায়ী প্রসঙ্গ টেনে নিয়ে যায়।.

সাধারণ উদাহরণগুলির মধ্যে রয়েছে সম্পূর্ণ গ্রাহক ইতিহাস প্রিলোড করা যখন এজেন্টের শুধুমাত্র বর্তমান টিকিটের প্রয়োজন হয়, প্রতিটি টুল ফলাফল পরবর্তী প্রম্পটে পেস্ট করা, অপ্রয়োজনীয় টুল বিবরণ দৃশ্যমান রাখা, বা একটি কাজের জন্য একটি এন্ডপয়েন্ট প্রয়োজন হলে সমস্ত ডকুমেন্টেশন পাঠানো। খরচ শুধুমাত্র টোকেন নয়। অপ্রাসঙ্গিক প্রসঙ্গ প্রম্পটের সেই অংশগুলির সাথে প্রতিযোগিতা করে যা আসলে গুরুত্বপূর্ণ।.

JIT প্রসঙ্গকে মডেল রাউটিংয়ের সাথে জোড়া দিন

জাস্ট-ইন-টাইম প্রসঙ্গ এবং মডেল রাউটিং একই উৎপাদন সমস্যার বিভিন্ন দিক সমাধান করে। JIT প্রসঙ্গ সিদ্ধান্ত নেয় কী প্রম্পটে প্রবেশ করবে। রাউটিং সিদ্ধান্ত নেয় কোন মডেল ধাপটি পরিচালনা করবে।.

একটি লীন প্রম্পট রাউটিংকে সহজ করে। যদি একটি ধাপে শুধুমাত্র একটি ছোট লুকআপ এবং একটি কাঠামোগত উত্তর প্রয়োজন হয়, তবে এটি একটি প্রিমিয়াম যুক্তি মডেলের প্রয়োজন নাও হতে পারে। যদি একটি পরবর্তী ধাপে একটি জটিল চুক্তি, কোডবেস স্লাইস, বা বহু-নথি তুলনা লোড হয়, রাউটার শুধুমাত্র সেই ধাপের জন্য একটি শক্তিশালী মডেলে উন্নীত করতে পারে। অ্যাপ্লিকেশন প্রতিটি অনুরোধকে সবচেয়ে কঠিন অনুরোধ হিসাবে বিবেচনা করা এড়িয়ে যায়।.

নির্মাতাদের জন্য, এটি যেখানে প্রম্পট ডিজাইন পণ্য অর্থনীতিতে পরিণত হয়। একটি AI বৈশিষ্ট্যের খরচ নির্ধারিত হয় ফিচারটি কতটা প্রসঙ্গ পাঠায়, এজেন্ট লুপগুলি কতবার এটি পুনরাবৃত্তি করে, কোন মডেল প্রতিটি ধাপ পরিচালনা করে, এবং যখন পছন্দসই রুট অনুপলব্ধ থাকে তখন ফেইলওভার কীভাবে আচরণ করে।.

একটি ব্যবহারিক JIT প্রসঙ্গ চেকলিস্ট

• প্রতিটি এজেন্ট রান একটি কমপ্যাক্ট, স্থিতিশীল নির্দেশনা প্রিফিক্স দিয়ে শুরু করুন।.
• বড় সম্পদগুলিকে স্পষ্ট নাম, মালিক, আকার এবং সারাংশ সহ হ্যান্ডেল হিসাবে উপস্থাপন করুন।.
• টুল বিবরণ সংক্ষিপ্ত এবং কাজ-নির্দিষ্ট রাখুন।.
• ভারী টুলের ফলাফলগুলি সরিয়ে দিন এবং প্রথমে সংক্ষিপ্ত প্রিভিউ ফেরত দিন।.
• কেবল তখনই উৎস ডেটা আনুন যখন একটি ধাপে এটি প্রয়োজন।.
• সম্পন্ন কাজের সংক্ষিপ্তসার তৈরি করুন এটি পুরানো প্রম্পট ইতিহাস হওয়ার আগে।.
• ইনপুট টোকেন, আউটপুট টোকেন, পুনরায় চেষ্টা এবং প্রতিটি ওয়ার্কফ্লোর রুট পরিবর্তনগুলি ট্র্যাক করুন।.
• একটি ধাপ কখন একটি শক্তিশালী মডেলে উন্নীত হওয়া উচিত তা সংজ্ঞায়িত করুন।.
• প্রতিটি দলকে কনটেক্সট নিয়মগুলি নিজে তৈরি করতে বাধ্য করার পরিবর্তে ব্যবহারকারীদের অনুমোদিত পথ দিন।.
• কনটেক্সট পে-লোডগুলি রিলিজ QA-এর অংশ হিসাবে পর্যালোচনা করুন, কেবলমাত্র খরচ বেড়ে যাওয়ার পরে নয়।.

যেখানে ShareAI ফিট করে

ShareAI হল একটি মানুষ-চালিত AI মার্কেটপ্লেস এবং API। নির্মাতারা একটি API ব্যবহার করে ১৫০+ মডেলে অ্যাক্সেস পান, মডেল বিকল্পগুলি তুলনা করেন, অনুরোধগুলি রুট করেন, ফেইলওভার ব্যবহার করেন এবং প্রতি টোকেনের জন্য অর্থ প্রদান করেন। এটি এমন দলগুলির জন্য একটি কার্যকর স্তর যা চায় অ্যাপ্লিকেশনটি ইচ্ছাকৃতভাবে মডেল নির্বাচন করুক, একটি মডেল পথের চারপাশে প্রতিটি ওয়ার্কফ্লো হার্ডকোড করার পরিবর্তে।.

ShareAI একটি অ্যাপ নির্মাতা বা এজেন্ট ফ্রেমওয়ার্ক নয়। নির্মাতা পণ্য অভিজ্ঞতা, কনটেক্সট কৌশল, ডেটা নীতি এবং এজেন্ট ডিজাইনের মালিক। ShareAI সেই অভিজ্ঞতার পিছনে মডেল অ্যাক্সেস স্তরে সহায়তা করে: মডেল নির্বাচন, মার্কেটপ্লেস দৃশ্যমানতা, রাউটিং, ফেইলওভার এবং ব্যবহার-ভিত্তিক অর্থনীতি।.

এজেন্ট পণ্যগুলির জন্য, বাস্তবিক পদক্ষেপ হল মাপা রুটের সাথে লিন কনটেক্সট জোড়া দেওয়া। প্রম্প্টগুলি ছোট রাখুন, প্রতিটি ধাপটি উপযুক্ত মডেলে পাঠান এবং AI ব্যবহারের দৃশ্যমানতা যথেষ্ট রাখুন যাতে মূল্য নির্ধারণ, নির্ভরযোগ্যতা এবং গ্রাহকের অভিজ্ঞতা একসাথে উন্নত হতে পারে। শেয়ারএআই এপিআই এবং উপলব্ধ মডেলগুলির তুলনা করুন ShareAI মডেল.

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

AI এজেন্টদের জন্য জাস্ট-ইন-টাইম কনটেক্সট কী?

এটি একটি কনটেক্সট কৌশল যেখানে একটি এজেন্ট প্রম্প্টে কমপ্যাক্ট রেফারেন্স রাখে এবং কেবলমাত্র একটি কাজের ধাপে প্রয়োজন হলে বড় ফাইল, টুল আউটপুট, নির্দেশনা বা রেকর্ড লোড করে।.

JIT কনটেক্সট ঐতিহ্যবাহী RAG থেকে কীভাবে আলাদা?

ঐতিহ্যবাহী রিট্রিভাল প্রায়ই মডেল উত্তর দেওয়ার আগে সম্ভাব্য প্রাসঙ্গিক অংশগুলি লোড করে। JIT কনটেক্সট এজেন্টকে রান চলাকালীন নির্দিষ্ট পে-লোড আবিষ্কার এবং আনতে দেয়, যা কার্যটি একাধিক ধাপে প্রসারিত হলে কার্যকর।.

JIT প্রসঙ্গ কি AI খরচ কমায়?

এটি পারে। এজেন্ট লুপগুলি সক্রিয় প্রসঙ্গটি অনেকবার পুনরায় পাঠায়, তাই অপ্রয়োজনীয় পে-লোড সরিয়ে ফেলা পুনরাবৃত্ত ইনপুট টোকেন কমাতে পারে। প্রকৃত সঞ্চয় নির্ভর করে কর্মপ্রবাহের দৈর্ঘ্য, মডেল পছন্দ, পুনরায় চেষ্টা এবং আউটপুট আকারের উপর।.

JIT প্রসঙ্গ কি মডেলের গুণমান উন্নত করতে পারে?

প্রায়শই, হ্যাঁ। একটি পরিষ্কার প্রম্পট গুরুত্বপূর্ণ নির্দেশনা এবং নতুন কাজের ডেটাকে আরও বেশি প্রাসঙ্গিক করে তোলে। এটি অপ্রাসঙ্গিক প্রসঙ্গ মডেলকে বিভ্রান্ত করার সম্ভাবনাও কমায়।.

ঠিক সময়ে কী লোড করা উচিত নয়?

মূল নির্দেশনা, নিরাপত্তা নিয়ম, প্রয়োজনীয় টুলের বিবরণ, অ্যাক্সেস সীমা এবং বর্তমান কাজের অবস্থা সাধারণত স্থিতিশীল প্রম্পটে থাকা উচিত কারণ এজেন্টের সেগুলি পুরো রান জুড়ে প্রয়োজন।.

JIT প্রসঙ্গ মডেল রাউটিংকে কীভাবে প্রভাবিত করে?

এটি রাউটিংকে আরও সুনির্দিষ্ট করে তোলে। সহজ ধাপগুলি সস্তা বা দ্রুত মডেল ব্যবহার করতে পারে, যখন জটিল প্রসঙ্গ লোড করা ধাপগুলি শুধুমাত্র প্রয়োজন হলে শক্তিশালী মডেলে রাউট করতে পারে।.

JIT প্রসঙ্গ কি গ্রাহক সহায়তা এজেন্টদের জন্য উপযোগী?

হ্যাঁ। একটি সহায়তা এজেন্ট টিকিট, নীতির নির্দেশিকা এবং সাম্প্রতিক কথোপকথনের অবস্থা দিয়ে শুরু করতে পারে, তারপর সঠিক গ্রাহকের রেকর্ড বা নীতির অংশটি শুধুমাত্র কর্মপ্রবাহে প্রয়োজন হলে আনতে পারে।.

JIT প্রসঙ্গ কি কোডিং এজেন্টদের জন্য উপযোগী?

হ্যাঁ। কোডিং এজেন্টরা প্রকল্পের নির্দেশনা এবং ফাইলের রেফারেন্স দৃশ্যমান রাখতে পারে, তারপর নির্দিষ্ট ফাইল, টেস্ট বা লগ শুধুমাত্র একটি ধাপে প্রয়োজন হলে পড়তে পারে, পুরো রিপোজিটরি প্রিলোড করার পরিবর্তে।.

ShareAI কি আমার এজেন্ট প্রসঙ্গ পরিচালনা করে?

না। বিল্ডার অ্যাপ্লিকেশন লজিক, প্রম্পট, রিট্রিভাল এবং প্রসঙ্গ কৌশল নিয়ন্ত্রণ করে। ShareAI মডেল মার্কেটপ্লেস এবং API স্তর প্রদান করে মডেল অ্যাক্সেস, রাউটিং, ফেলওভার এবং পে-পর-টোকেন ব্যবহারের জন্য।.

JIT প্রসঙ্গ ব্যবহারকারী এজেন্ট পণ্যগুলির জন্য ShareAI কখন একটি ভালো পছন্দ?

যখন একজন নির্মাতা অনেক মডেলের জন্য একটি API, বিভিন্ন এজেন্ট ধাপকে বিভিন্ন মডেল বিকল্পে রাউট করার ক্ষমতা এবং প্রকৃত টোকেন ব্যবহারের সাথে পরিষ্কারভাবে মানানসই অর্থনীতি চান, তখন ShareAI একটি ভালো পছন্দ।.