কোডিং-এজেন্ট খরচ সাধারণত শুধুমাত্র সেই উত্তর নয় যা ডেভেলপার পড়ে। একটি মডেল একটি ফাইল সম্পাদনা করার আগে, একটি ফাংশন ব্যাখ্যা করার আগে, বা একটি রিফ্যাক্টর পরিকল্পনা করার আগে, এজেন্ট সিস্টেম নির্দেশনা, রিপোজিটরি প্রসঙ্গ, টুল স্কিমা, নিরাপত্তা নিয়ম, কথোপকথনের ইতিহাস, MCP টুল সংজ্ঞা, এবং কাজ-নির্দিষ্ট কাঠামো পাঠাতে পারে।
সেই লুকানো প্রসঙ্গ হল কোডিং এজেন্ট টোকেন ওভারহেড। এটি সেই বেসলাইন টোকেন ব্যয় যা একটি এজেন্টকে যথেষ্ট সক্ষম করে তুলতে প্রয়োজন। যেসব দল শুধুমাত্র দৃশ্যমান প্রম্পট গণনা করে তারা এআই ডেভেলপমেন্ট ওয়ার্কফ্লোর খরচকে কম মূল্যায়ন করবে, বিশেষত যখন এজেন্টগুলি CI, ব্যাকগ্রাউন্ড কাজ, সাপোর্ট টুলিং, বা গ্রাহক-মুখী ডেভেলপার পণ্যগুলিতে চালানো হয়।
কোডিং এজেন্ট টোকেন ওভারহেড হিসেবে কী গণ্য হয়?
টোকেন ওভারহেডের মধ্যে প্রতিটি টোকেন অন্তর্ভুক্ত যা মডেলকে কার্যকর কাজ করার আগে প্রক্রিয়া করতে হয়। কোডিং এজেন্টগুলিতে, প্রধান উৎসগুলি সাধারণত:
- সিস্টেম নির্দেশনা: এজেন্টের অপারেটিং নিয়ম, নিরাপত্তার সীমানা, ফরম্যাটিং প্রত্যাশা, এবং টুল-ব্যবহারের নীতি।
- রিপোজিটরি নির্দেশনা: ফাইল যেমন প্রকল্প নির্দেশিকা, কোডিং মানদণ্ড, টেস্ট কমান্ড, আর্কিটেকচারাল নোট, এবং স্থানীয় রীতিনীতি।
- টুল স্কিমা: JSON স্কিমা, বর্ণনা, এবং শেল কমান্ড, ফাইল সম্পাদনা, অনুসন্ধান, ব্রাউজার অ্যাক্সেস, ইস্যু ট্র্যাকার, ডিপ্লয়মেন্ট টুল, এবং MCP সার্ভারের জন্য প্যারামিটার।
- কথোপকথনের ইতিহাস: পূর্ববর্তী পালা, এজেন্ট সারাংশ, টুল আউটপুট, এবং মধ্যবর্তী পরিকল্পনা।
- সাবএজেন্ট কল: পরিকল্পনা, পর্যালোচনা, অনুসন্ধান, বা ডিবাগিং কাজ যা অতিরিক্ত মডেল অনুরোধ তৈরি করে।
- পুনরায় চেষ্টা এবং মেরামত লুপ: বিকৃত আউটপুট, ব্যর্থ টুল, পুরনো প্রসঙ্গ, বা অস্পষ্ট নির্দেশনার কারণে অতিরিক্ত কল।
এর কোনোটিই স্বয়ংক্রিয়ভাবে অপচয় নয়। সমৃদ্ধ প্রসঙ্গ একটি এজেন্টকে আরও ভালো করতে পারে। সমস্যা শুরু হয় যখন দলগুলো প্রসঙ্গ যোগ করে কিন্তু এটি সম্পন্ন করার হার উন্নত করে কিনা, পুনরায় কাজ কমায় কিনা, বা কেবল প্রতিটি অনুরোধকে ফুলিয়ে তোলে কিনা তা পরিমাপ করে না।
ক্লড কোড, ওপেনকোড, এবং প্রসঙ্গের বিনিময়।
কোডিং এজেন্টরা একটি বর্ণালীর উপর অবস্থান করে। ক্লড কোড একটি এজেন্টিক কোডিং টুল যা টার্মিনাল, আইডিই এবং গিটহাব ওয়ার্কফ্লোতে কাজ করতে পারে। ওপেনকোড একটি ওপেন-সোর্স কোডিং এজেন্ট যা টার্মিনাল, ডেস্কটপ এবং আইডিই পৃষ্ঠার মাধ্যমে উপলব্ধ।
উপকারী তুলনা শুধুমাত্র কোনটি কম টোকেন পাঠায় তা নয়। আরও ভালো প্রশ্ন হল প্রতিটি এজেন্ট কীসের জন্য টোকেন ব্যয় করে, সেই টোকেনগুলি কাজের সাফল্য উন্নত করে কিনা, এবং আপনার দল বেসলাইন নিয়ন্ত্রণ করতে পারে কিনা। একটি বড় নির্দেশনা এবং টুল পৃষ্ঠ জটিল কাজগুলিতে সহায়ক হতে পারে। একটি ছোট পৃষ্ঠ সংকীর্ণ কাজের জন্য সস্তা এবং যুক্তিযুক্ত হতে পারে।
টুল স্কিমাগুলি বিলের অংশ।
টুলগুলি কোডিং এজেন্টদের শক্তিশালী করে তোলে, তবে প্রতিটি উপলব্ধ টুল অনুরোধে স্কিমা টেক্সট এবং বিবরণ যোগ করতে পারে। অ্যানথ্রপিকের টুল-ব্যবহারের ডকুমেন্টেশন টুলগুলির জন্য স্কিমা এবং বিবরণ সংজ্ঞায়িত করার উপর জোর দেয়, এবং এমসিপি সার্ভারগুলি এআই অ্যাপ্লিকেশনগুলিতে টুলগুলি উন্মোচন করার পদ্ধতিকে আনুষ্ঠানিক করে। এমসিপি টুল স্পেসিফিকেশন। টুলের নাম, মেটাডেটা, এবং ইনপুট স্কিমাগুলি বর্ণনা করে যা মডেলগুলি আহ্বান করতে পারে।
এর অর্থ হল প্রতিটি সর্বদা-চালু টুল তার স্থান অর্জন করা উচিত। যদি একটি কোড-পর্যালোচনা কাজ কখনও পরিকাঠামো স্থাপন না করে, তবে স্থাপনার টুলগুলি লোড করা উচিত নয়। যদি একটি ডকুমেন্টেশন কাজ শুধুমাত্র পড়ার অ্যাক্সেস প্রয়োজন হয়, তবে লেখার টুলগুলি এজেন্ট প্রোফাইলের বাইরে থাকা উচিত। ছোট টুল পৃষ্ঠগুলি একই সাথে নিরাপত্তা এবং খরচ উন্নত করতে পারে।
সম্পূর্ণ এজেন্ট অনুরোধ পরিমাপ করুন।
কোডিং এজেন্ট টোকেন ওভারহেড নিয়ন্ত্রণ করতে, শুধুমাত্র ডেভেলপারের প্রম্পট নয়, সম্পূর্ণ অনুরোধ পথ পরিমাপ করুন। ন্যূনতম, ট্র্যাক করুন:
- ইনপুট টোকেন, আউটপুট টোকেন, ক্যাশড ইনপুট টোকেন, এবং নতুন ইনপুট টোকেন।
- কোন নির্দেশনা এবং ফাইলগুলো অন্তর্ভুক্ত ছিল
- কোন টুলগুলো প্রকাশিত হয়েছিল এবং কোন টুলগুলো প্রকৃতপক্ষে ব্যবহৃত হয়েছিল
- প্রতিটি ধাপের জন্য নির্বাচিত মডেল
- এজেন্ট মোড, যেমন পরিকল্পনা, সম্পাদনা, পর্যালোচনা, বা ডিবাগিং
- সাবএজেন্ট সংখ্যা এবং পুনরায় চেষ্টা সংখ্যা
- সম্পন্ন কাজের ফলাফল, শুধুমাত্র সফল API প্রতিক্রিয়া নয়
একবার এই ক্ষেত্রগুলো দৃশ্যমান হলে, দলটি আরও ভালো প্রশ্ন করতে পারবে। কোন নির্দেশনাগুলো প্রতিবার পড়া হয় কিন্তু খুব কমই গুরুত্বপূর্ণ? কোন টুল প্রোফাইলগুলো খুব বিস্তৃত? কোন এজেন্ট মোডগুলোর জন্য একটি ফ্রন্টিয়ার মডেল প্রয়োজন, এবং কোনগুলো দ্রুত বা কম খরচের মডেলে চালানো যেতে পারে?
যেখানে প্রদানকারী এটি সমর্থন করে সেখানে ক্যাশিং ব্যবহার করুন
প্রম্পট ক্যাশিং পুনরাবৃত্ত প্রসঙ্গের খরচ এবং বিলম্ব কমাতে পারে যখন প্রদানকারী এটি সমর্থন করে। Anthropic এর প্রম্পট ক্যাশিং ডকুমেন্টেশন ব্যাখ্যা করে যে টুল, সিস্টেম নির্দেশনা এবং পুনর্ব্যবহারযোগ্য প্রসঙ্গের মতো স্থির প্রিফিক্সগুলো ক্যাশ করা যেতে পারে, যেখানে ক্যাশ হিটগুলো সমর্থিত মডেলগুলোর তাজা ইনপুট টোকেনের তুলনায় ভিন্নভাবে মূল্যায়িত হয়।
ক্যাশিং সবচেয়ে উপকারী যখন স্থিতিশীল প্রিফিক্স প্রকৃতপক্ষে স্থিতিশীল থাকে। যদি এজেন্ট প্রতিটি টার্নে প্রম্পটের প্রথম অংশটি পুনর্লিখন করে, তবে এটি ক্যাশ সুবিধাগুলি মিস করতে পারে। স্থিতিশীল টুল সংজ্ঞা এবং স্থায়ী নির্দেশনাগুলো অস্থির কাজের বিবরণের আগে রাখুন এবং প্রকল্প নির্দেশনাগুলো যথেষ্ট সংক্ষিপ্ত রাখুন যাতে এটি কার্যকর থাকে।
অভ্যাস নয়, কাজ অনুযায়ী কোডিং কাজ রুট করুন
প্রতিটি কোডিং-এজেন্ট ধাপে একই মডেলের প্রয়োজন হয় না। একটি পরিকল্পনা পাস, grep-এর মতো কোড অনুসন্ধান, চেঞ্জলগ খসড়া, সাধারণ ইউনিট-টেস্ট আপডেট, গভীর স্থাপত্য পুনর্গঠন, এবং নিরাপত্তা-সংবেদনশীল পর্যালোচনার বিভিন্ন প্রয়োজনীয়তা রয়েছে।
ShareAI একটি একক API এর মাধ্যমে উন্নয়ন দলগুলোকে ১৫০+ মডেলের অ্যাক্সেস দেয়, স্মার্ট রাউটিং, ফলোব্যাক, মার্কেটপ্লেস সিগন্যাল এবং পে-পর-টোকেন অ্যাক্সেস সহ। প্রতিটি এজেন্ট ধাপকে একটি প্রদানকারী এবং একটি মডেলের সাথে সংযুক্ত করার পরিবর্তে, দলগুলো শেয়ারএআই এপিআই মডেল পছন্দকে নমনীয় রাখতে পারে।
নির্মাতারা যখন গ্রাহকদের জন্য কোডিং এজেন্ট বা ডেভেলপার টুল পাঠান, তখন বাণিজ্যিক স্তরটিও গুরুত্বপূর্ণ। ShareAI নির্মাতা কনসোল অ্যাপ মালিকদের বাহ্যিক অ্যাপ্লিকেশন সংযোগ করতে, একটি AI মার্জিন বা সারচার্জ সেট করতে এবং গ্রাহকদের সরাসরি ShareAI-কে ব্যবহারের জন্য অর্থ প্রদান করতে দেয়। এটি লুকানো টোকেন ওভারহেডকে একটি দৃশ্যমান পণ্যের খরচে রূপান্তর করা সহজ করে তোলে, যা একটি অপ্রত্যাশিত মার্জিন ক্ষতির পরিবর্তে।
একটি ব্যবহারিক ওভারহেড হ্রাস চেকলিস্ট
- প্রতিটি এজেন্ট ধাপের জন্য সম্পূর্ণ ইনপুট এবং আউটপুট টোকেন ব্যবহারের লগ রাখুন।
- পরিকল্পনা, সম্পাদনা, পর্যালোচনা এবং ডকুমেন্টেশন মোড আলাদা করুন।
- প্রতিটি মোডের প্রয়োজনীয় টুলগুলি শুধুমাত্র লোড করুন।
- রিপোজিটরি নির্দেশাবলী সংক্ষিপ্ত, নির্দিষ্ট এবং বর্তমান রাখুন।
- পুরানো উদাহরণ এবং স্থায়ী প্রম্পট থেকে নকল নীতি পাঠ্য সরান।
- যেখানে সমর্থিত, স্থিতিশীল প্রিফিক্সের জন্য প্রম্পট ক্যাশিং ব্যবহার করুন।
- নিয়মিত কাজের জন্য সাবএজেন্ট ফ্যান-আউট এবং পুনরায় চেষ্টা সীমাবদ্ধ করুন।
- যখন গুণমান বজায় থাকে, তখন নিম্ন-ঝুঁকিপূর্ণ ধাপগুলি নিম্ন-খরচের মডেলে রুট করুন।
- যেখানে তারা সম্পন্ন কাজের গুণমান উন্নত করে, সেই কাজগুলির জন্য ফ্রন্টিয়ার মডেল সংরক্ষণ করুন।
- রিপোজিটরি, দল, ভাড়াটে এবং গ্রাহক-মুখী বৈশিষ্ট্য অনুসারে টোকেন খরচ পর্যালোচনা করুন।
লক্ষ্য হল এজেন্টকে দরকারী প্রসঙ্গ থেকে বঞ্চিত করা নয়। লক্ষ্য হল প্রতিটি পুনরাবৃত্ত টোকেনকে নিজেকে ন্যায্যতা প্রমাণ করতে বাধ্য করা। কোডিং এজেন্টগুলি আরও মূল্যবান হয়ে ওঠে যখন তাদের প্রসঙ্গ ইচ্ছাকৃত হয়, তাদের টুলগুলি নির্ধারিত হয় এবং তাদের মডেল পছন্দ কাজের সাথে পরিবর্তিত হয়।
অন্বেষণ করুন ShareAI-এ AI মডেলগুলি অথবা থেকে রুট চেষ্টা করুন শেয়ারAI প্লেগ্রাউন্ড.
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
কোডিং এজেন্ট টোকেন ওভারহেড কী?
কোডিং এজেন্ট টোকেন ওভারহেড হল ইনপুট প্রসঙ্গ যা একটি এজেন্ট উত্তর দেওয়ার বা কোড সম্পাদনা করার আগে পাঠায়, যার মধ্যে রয়েছে সিস্টেম প্রম্পট, রিপোজিটরি নির্দেশনা, টুল স্কিমা, কথোপকথনের ইতিহাস, MCP টুল সংজ্ঞা এবং পুনরায় চেষ্টা প্রসঙ্গ।
কেন কোডিং এজেন্ট এত টোকেন ব্যবহার করতে পারে?
কোডিং এজেন্টদের রিপোজিটরি বুঝতে, স্থানীয় নিয়ম অনুসরণ করতে, টুলগুলি নিরাপদে ব্যবহার করতে এবং কাজের ইতিহাস সংরক্ষণ করতে যথেষ্ট প্রসঙ্গের প্রয়োজন। যদি সেই প্রসঙ্গটি খুব বিস্তৃত বা সর্বদা লোড করা থাকে, তবে এটি প্রতিটি অনুরোধের জন্য একটি উচ্চ প্রাথমিক খরচ তৈরি করতে পারে।
টুল স্কিমাগুলি কি ইনপুট টোকেন হিসাবে গণনা করা হয়?
অনেক টুল-ব্যবহার সেটআপে, মডেলটি টুল নাম, বিবরণ এবং স্কিমাগুলি অনুরোধ প্রসঙ্গের অংশ হিসাবে গ্রহণ করে। সেই সংজ্ঞাগুলি ইনপুট টোকেন ব্যবহারে অবদান রাখতে পারে এমনকি যদি সেই টুলটি সেই টার্নে ব্যবহার না করা হয়।
একটি নিম্ন-ওভারহেড কোডিং এজেন্ট কি সর্বদা ভালো?
না। নিম্ন ওভারহেড শুধুমাত্র তখনই উপকারী যদি কাজের গুণমান বজায় থাকে। কিছু জটিল কোডিং কাজ সমৃদ্ধ নির্দেশনা এবং টুল থেকে উপকৃত হয়। সেরা সেটআপটি কাজ-নির্দিষ্ট: রুটিন কাজের জন্য লীন এবং কঠিন বা ঝুঁকিপূর্ণ কাজের জন্য সমৃদ্ধ।
প্রম্পট ক্যাশিং কীভাবে কোডিং-এজেন্ট খরচ কমাতে পারে?
প্রম্পট ক্যাশিং সমর্থিত প্রদানকারীদের উপর পুনরাবৃত্ত স্থিতিশীল প্রসঙ্গকে সস্তা এবং দ্রুত করতে পারে। এটি সবচেয়ে ভালো কাজ করে যখন টুল সংজ্ঞা, সিস্টেম নির্দেশনা এবং অন্যান্য স্থিতিশীল প্রম্পট প্রিফিক্সগুলি অনুরোধগুলির মধ্যে সামঞ্জস্যপূর্ণ থাকে।
ওভারহেড কমাতে প্রথমে কী সরানো উচিত?
পুরানো রিপোজিটরি নির্দেশনা, অপ্রয়োজনীয় টুল, নীতির টেক্সটের প্রতিলিপি, অত্যধিক বিস্তারিত উদাহরণ এবং এজেন্ট মোডগুলি সরিয়ে শুরু করুন যা বিস্তৃত লেখার অনুমতি প্রকাশ করে যখন শুধুমাত্র রিড-অনলি অ্যাক্সেস যথেষ্ট হবে।
মডেল রাউটিং কীভাবে কোডিং এজেন্টদের সাহায্য করে?
মডেল রাউটিং দলগুলোকে বিভিন্ন ধাপে বিভিন্ন মডেল বেছে নেওয়ার সুযোগ দেয়। সাধারণ এক্সট্রাকশন, ফরম্যাটিং এবং পরিকল্পনা কাজগুলো জটিল ডিবাগিং, আর্কিটেকচার বা নিরাপত্তা-সংবেদনশীল পর্যালোচনার মতো একই মডেল প্রয়োজন নাও হতে পারে।
ShareAI কি কোডিং এজেন্টের সাথে ব্যবহার করা যেতে পারে?
হ্যাঁ, যখন কোডিং-এজেন্ট ওয়ার্কফ্লো বা অ্যাপ্লিকেশন API-এর মাধ্যমে মডেল অনুরোধ রাউট করতে পারে। ShareAI অনেক মডেলের জন্য একটি API প্রদান করে, যা দলগুলোকে প্রতিটি প্রদানকারী আলাদাভাবে সংযোগ না করেই মডেল পছন্দ পরীক্ষা এবং পরিবর্তন করতে সাহায্য করে।
এটি Builders-এর জন্য কীভাবে আলাদা?
Builders যারা কোডিং এজেন্ট বা ডেভেলপার টুল সরবরাহ করেন তাদের টোকেন ওভারহেডকে একটি মূল্য নির্ধারণ মডেলে রূপান্তর করতে হয়। ShareAI-এর Builder ফ্লো গ্রাহক-প্রদত্ত ব্যবহার, মার্জিন বা সারচার্জ এবং অ্যাপ মালিকের জন্য মাসিক পেআউট সমর্থন করে।
অর্থ সাশ্রয়ের জন্য সাবএজেন্টগুলো নিষ্ক্রিয় করা উচিত কি?
স্বয়ংক্রিয়ভাবে নয়। সাবএজেন্টগুলো কঠিন কাজ উন্নত করতে পারে, তবে সেগুলো সীমাবদ্ধ, পরিমাপযোগ্য এবং এমন কাজের জন্য সংরক্ষিত হওয়া উচিত যেখানে ডেলিগেশন চূড়ান্ত ফলাফলকে যথেষ্ট উন্নত করে অতিরিক্ত মডেল কলের যৌক্তিকতা নিশ্চিত করে।
কোডিং-এজেন্ট ব্যয়ের জন্য সবচেয়ে গুরুত্বপূর্ণ মেট্রিক কী?
সম্পন্ন কাজের প্রতি খরচ ট্র্যাক করুন, শুধুমাত্র প্রতিক্রিয়ার প্রতি খরচ নয়। একটি সস্তা অনুরোধ যা পুনরায় কাজের কারণ হয় তা একটি বড় অনুরোধের চেয়ে বেশি ব্যয়বহুল হতে পারে যা কাজটি সঠিকভাবে সম্পন্ন করে।