টেনসরব্লক ফোর্জ বিকল্প: রাউটিং, কী এবং অ্যাপ রাজস্ব

পর্যালোচনা করা হয়েছে ২২ অক্টোবর ২০২৬। ShareAI টিম দ্বারা লিখিত। আমরা এখানে তুলনা করা একটি পরিষেবা পরিচালনা করি। এই গাইডটি প্রকৃত স্ক্রিনশট, বর্তমান প্রাথমিক রেফারেন্স এবং একটি পিনড ফোর্জ সোর্স ইন্সপেকশন ব্যবহার করে। এটি একটি প্রস্তাবিত মাইগ্রেশন ওয়ার্কশীট অন্তর্ভুক্ত করে; কোনো ব্যক্তিগত ফোর্জ ডিপ্লয়মেন্ট, স্বাধীন নিরাপত্তা অডিট, প্রদত্ত ইনফারেন্স বেঞ্চমার্ক বা গ্রাহক মাইগ্রেশন সম্পন্ন করা হয়নি।

টেনসরব্লক ফোর্জ বিকল্পগুলির জন্য, আপনি পরিচালিত গেটওয়ের জন্য LiteLLM এবং Bifrost মূল্যায়ন করুন, API গেটওয়ে/কন্ট্রোল লেয়ারের জন্য Kong এবং Apache APISIX, এবং মডেল অ্যাক্সেস পরিচালনার জন্য OpenRouter। সমর্থিত ইনফারেন্স, অনুমোদিত অ্যাপ AI সারচার্জ বা যোগ্য মালিকানাধীন ক্ষমতা প্রধান প্রয়োজন হলে ShareAI প্রাসঙ্গিক। অ্যাপ্লিকেশন URL পরিবর্তনের আগে ক্রেডেনশিয়াল কাস্টডি, এন্ডপয়েন্ট আচরণ এবং বাণিজ্যিক দায়িত্বগুলি তুলনা করুন।

হোস্ট করা ফোর্জ পরিষেবাকে সোর্স ডিপ্লয়মেন্ট থেকে আলাদা করুন।

ফোর্জ পরিষেবা একটি OpenAI-স্টাইল ইন্টারফেস এবং একটি প্রদানকারী/মডেল নামকরণ উদাহরণ অ্যাকাউন্ট সাইন-ইনের পাশাপাশি উপস্থাপন করে। রিপোজিটরি README স্ব-হোস্টেড মিডলওয়্যার, প্রদানকারী অ্যাডাপ্টার, মডেল এলিয়াস এবং কী ব্যবস্থাপনা বর্ণনা করে। একটি পাবলিক সাইন-ইন পৃষ্ঠা এবং একটি সোর্স রিপোজিটরি আলাদা প্রমাণ: কোনোটিই একটি ব্যক্তিগত হোস্ট করা অ্যাকাউন্টে চলমান সঠিক রিভিশন বা কনফিগারেশন প্রমাণ করে না।

প্রকৃত ডিপ্লয়মেন্ট রিভিশন, নির্ভরতা, ডাটাবেস, অ্যাডাপ্টার এবং কনফিগারেশন পিন করুন। এই পর্যালোচনা পাবলিক কমিট db6c9f5f0ba6 পরিদর্শন করেছে, হোস্ট করা পরিষেবা সেই রিভিশন চালাচ্ছে বলে ধরে নেওয়ার পরিবর্তে। বিকল্প নির্বাচন করার সময় প্রদানকারী অ্যাকাউন্ট মালিকানা এবং অ্যাপ্লিকেশন চুক্তি সংরক্ষণ করুন। বিদ্যমান রুট প্রয়োজনীয়তা পূরণ করলে ফোর্জ রাখা উপযুক্ত হতে পারে।

লাইসেন্স খরচ তুলনা করার আগে প্রকৃত বাণিজ্যিক শর্তগুলি পড়ুন।

পর্যালোচিত কমিটের লাইসেন্স Apache 2.0 এবং অতিরিক্ত শর্তাবলী উল্লেখ করে। এই শর্তাবলী নির্দিষ্ট ক্যাটাগরির জন্য পূর্ব লিখিত বাণিজ্যিক অনুমোদন প্রয়োজন, যার মধ্যে রয়েছে বাণিজ্যিক পরিবর্তন/ডেরিভেটিভ কাজ, এন্টারপ্রাইজ ডিপ্লয়মেন্ট, পাবলিক ক্লাউড-ভিত্তিক পরিষেবা এবং বাণিজ্যিক হার্ডওয়্যার বিতরণ। এই ফাইলটিকে সীমাহীন Apache 2.0 বাণিজ্যিক ব্যবহারের সংক্ষিপ্তসার করবেন না বা অনুমান করবেন না যে সোর্স অ্যাভেলেবিলিটি মানে কোনো বাণিজ্যিক চুক্তি প্রয়োজন নেই।

আপনার পরিকল্পিত ডিপ্লয়মেন্টের জন্য প্রযোজ্য প্রকৃত সংস্করণ এবং শর্তাবলী রেকর্ড করুন। সফটওয়্যার অনুমোদন, প্রদত্ত সহায়তা, অবকাঠামো এবং ইনফারেন্স-প্রোভাইডার চার্জ আলাদাভাবে বিবেচনা করুন। একটি প্রতিযোগী গেটওয়ের মূল লাইসেন্স স্বয়ংক্রিয়ভাবে তার এন্টারপ্রাইজ নিয়ন্ত্রণ বা পরিচালিত প্ল্যাটফর্ম অন্তর্ভুক্ত করে না। এই নিবন্ধটি প্রকাশিত ফাইলটি বর্ণনা করে; এটি আপনার বিদ্যমান চুক্তি বা আপনি প্রাপ্ত কোনো ভিন্ন অনুমোদন প্রতিষ্ঠা করে না।

পাঁচটি বিকল্প এক নজরে

একটি প্রতিনিধিত্বমূলক অ্যাপ্লিকেশন অপারেশন ব্যবহার করুন এর প্রকৃত মডেল, পে-লোড, কলার এবং ব্যর্থতার শর্তাবলী সহ। ডিপ্লয়মেন্ট নিয়ন্ত্রণ, প্রোভাইডার অ্যাক্সেস এবং বৈশিষ্ট্যের স্কোপ বাণিজ্যিক ওয়ার্কফ্লো থেকে আলাদাভাবে তুলনা করুন। একটি রাউটার, একটি ইনফারেন্স রানটাইম এবং একটি কাস্টমার-পেমেন্ট প্রোগ্রাম একসাথে কাজ করতে পারে যখন বিভিন্ন মালিকানার অধীনে থাকে।

পাঁচটি বিকল্প: শক্তি, সীমাবদ্ধতা এবং উপযুক্ততা

LiteLLM: গেটওয়ে নিজেই পরিচালনা করুন

সেরা জন্য: ইঞ্জিনিয়ারিং দল যারা তাদের নিজস্ব গেটওয়ে প্রদানকারী অ্যাকাউন্ট এবং সমর্থিত স্ব-হোস্টেড মডেল এন্ডপয়েন্টের সামনে চালাতে চায়। ওপেন-সোর্স প্রক্সি একটি OpenAI-স্টাইল ইন্টারফেস, ভার্চুয়াল কী, খরচ ট্র্যাকিং এবং রাউটিং কনফিগারেশন প্রদান করে।

সুবিধা: প্রক্সি স্থাপন এবং অবকাঠামোর উপর নিয়ন্ত্রণ; কনফিগারযোগ্য বাজেট এবং প্রদানকারী রাউটিং। LiteLLM কাস্টম মূল্য নির্ধারণ এবং ফি মার্জিনও ডকুমেন্ট করে, তাই কনফিগারযোগ্য মডেল-খরচ মার্কআপ শুধুমাত্র ShareAI-এর জন্য অনন্য নয়।

অসুবিধা: অপারেটর আপগ্রেড, প্রাপ্যতা, স্টোরেজ এবং ডাউনস্ট্রিম প্রদানকারী কনফিগারেশনের মালিক। একটি প্রক্সি দ্বারা রেকর্ড করা মার্জিন একটি পরিচালিত গ্রাহক-পেমেন্ট এবং বিল্ডার-নিষ্পত্তি প্রোগ্রামের থেকে আলাদা দায়িত্ব। বাণিজ্যিক বৈশিষ্ট্যগুলো আলাদাভাবে পর্যালোচনা করুন।

মূল্য নির্ধারণ এবং স্থাপন: ওপেন-সোর্স কোর হোস্টিং, অপারেশন বা ইনফারেন্স খরচ দূর করে না। আপনার স্থাপনার প্রয়োজনীয়তার সাথে গেটওয়ে ডকুমেন্টেশন এবং কাস্টম মূল্য নির্ধারণ রেফারেন্স যাচাই করুন।

Bifrost: আরেকটি গেটওয়ে যা আপনি পরিচালনা করতে পারেন

সেরা উপযুক্ত: দলগুলির জন্য যারা তাদের নিয়ন্ত্রণে একটি গেটওয়ে রাখতে চায় এবং একটি ভিন্ন ইমপ্লিমেন্টেশন এবং অপারেটিং মডেল মূল্যায়ন করতে চায়। এই অংশটি Maxim AI-এর Bifrost সম্পর্কিত, একই নামের সাথে সম্পর্কিত প্রকল্প নয়।

সুবিধা: এর গেটওয়ে একটি বাইনারি বা কন্টেইনার হিসাবে চালানো যেতে পারে, প্রোভাইডার কনফিগারেশন, ভার্চুয়াল কী এবং অপারেশনাল ভিজিবিলিটির সাথে। একটি স্ব-পরিচালিত বিকল্প আপনাকে গেটওয়ে প্রক্রিয়াটি তুলনা করতে দেয় যখন আপনার বিদ্যমান প্রোভাইডার সম্পর্কগুলি বজায় রাখে। দেখুন অফিশিয়াল সেটআপ গাইড।

অসুবিধা: আপনার দল এখনও একটি চলমান পরিষেবা, সুরক্ষিত কনফিগারেশন এবং আপস্ট্রিম অ্যাক্সেসের মালিক। এন্টারপ্রাইজ সক্ষমতাগুলি তাদের নিজস্ব পর্যালোচনা প্রয়োজন। প্রকাশিত ভেন্ডর থ্রুপুট এবং লেটেন্সি পরিসংখ্যান একটি টেস্ট এনভায়রনমেন্টের উপর নির্ভর করে; এগুলি নিশ্চিত করে না যে আপনার সম্পূর্ণ অ্যাপ্লিকেশন একটি মাইগ্রেশনের পরে দ্রুত হয়ে যাবে।

মূল্য নির্ধারণ এবং ডেপ্লয়মেন্ট: ওপেন-সোর্স গেটওয়েকে সাপোর্ট এবং এন্টারপ্রাইজ শর্তাবলী থেকে আলাদা করুন, তারপর অবকাঠামো এবং প্রোভাইডার ব্যবহারের জন্য বাজেট তৈরি করুন। সঞ্চয় অনুমান করার আগে আপনার নিজস্ব প্রতিনিধিত্বমূলক ট্রাফিক রিপ্লে এবং ত্রুটি পরীক্ষা চালান। এই নিবন্ধটি Bifrost বনাম LiteLLM পারফরম্যান্সের কোনো স্বাধীন দাবি করে না।

Kong: নিয়ন্ত্রণ প্লেন এবং গেটওয়ে একসাথে নির্বাচন করুন

সেরা উপযুক্ত: দল যারা পরিচালিত এবং মালিকানাধীন অবকাঠামোর মধ্যে API গেটওয়ে/প্ল্যাটফর্ম পদ্ধতির তুলনা করছে। গেটওয়ে রেফারেন্স পরিষেবা, রুট, গ্রাহক, প্লাগইন এবং নিয়ন্ত্রণ/ডেটা-প্লেন কনফিগারেশন আলাদা করে।

সুবিধা: ডিপ্লয়মেন্টের পছন্দ এবং প্রসারণযোগ্য গেটওয়ে কনফিগারেশন একটি নির্দিষ্ট অপারেটিং মডেল প্রদান করে যা বর্তমান API সম্পদের সাথে মানচিত্র করা যায়। সংশ্লিষ্ট AI গেটওয়ে স্কোপ এর মধ্যে AI ট্রাফিক পর্যালোচনা করা যেতে পারে।

অসুবিধা এবং খরচ পরীক্ষা: প্রকৃত ডিপ্লয়মেন্ট এবং লাইসেন্সকৃত সক্ষমতাগুলি নির্বাচন করুন। পোর্টাল, গ্রাহক জীবনচক্র, কাস্টম নীতি এবং অপারেশনগুলিকে এখনও পৃথকভাবে মানচিত্র করতে হবে; একটি কার্যকর রুট সম্পূর্ণ মাইগ্রেশন নয়। প্রয়োজনীয় নিয়ন্ত্রণ/ডেটা প্লেন, প্লাগইন, সমর্থন এবং মালিকানাধীন রানটাইমের বাজেট তৈরি করুন, প্রতিটি এন্টারপ্রাইজ সক্ষমতা বিনামূল্যে বলে ধরে নেওয়ার পরিবর্তে।

Apache APISIX: API গেটওয়ে এবং AI প্লাগইন একসাথে তুলনা করুন।

সেরা জন্য: দল যারা একটি API গেটওয়ে পরিচালনা করতে চায় এবং সেই প্ল্যাটফর্মের মধ্যে AI রাউটিং মূল্যায়ন করতে চায়। Apache APISIX ai-proxy-multi প্লাগইন সমর্থিত মডেল/প্রদানকারী অনুরোধ ফরম্যাট এবং একাধিক আপস্ট্রিম ইনস্ট্যান্সের জন্য নথিভুক্ত করে।

পেশাদার: প্লাগইন রেফারেন্সে লোড ব্যালেন্সিং, পুনরায় চেষ্টা, ফ্যালব্যাক এবং স্বাস্থ্য-পরীক্ষার সেটিংস অন্তর্ভুক্ত রয়েছে, লগিং ইন্টিগ্রেশনের জন্য অনুরোধের তথ্য উপলব্ধ। চারপাশের গেটওয়ে ডকুমেন্টেশন API ধারণাগুলি কভার করে যেগুলির নিজস্ব Kong-এর সাথে তুলনা প্রয়োজন।

কনস: একটি উপলব্ধ প্লাগইন নাম অভিন্ন নীতি সেমান্টিক্স, নেটিভ প্রোটোকল সমর্থন বা কনফিগারেশন আচরণের প্রমাণ নয়। প্রকৃত APISIX রিলিজ এবং প্রয়োজনীয় প্লাগইন পিন করুন; শংসাপত্র, নীতি ক্রম, স্ট্রিমিং, ত্রুটি পরিচালনা এবং ব্যর্থতার অধীনে প্রমাণ যাচাই করুন। বাণিজ্যিক সমর্থন এবং পরিচালিত অফারগুলি Apache প্রকল্প থেকে পৃথক।

মূল্য এবং স্থাপন: গেটওয়ের হোস্টিং, কনফিগারেশন/অবস্থা, আপডেট, পর্যবেক্ষণ এবং ঘটনা প্রতিক্রিয়া, প্লাস আপস্ট্রিম ইনফারেন্সের জন্য অ্যাকাউন্ট করুন। একটি ওপেন-সোর্স লাইসেন্সের মূল্য একটি পরিচালিত পরিষেবার মোটের সাথে তুলনা করবেন না এবং পার্থক্যটি নিশ্চিত সঞ্চয় বলবেন না।

OpenRouter: প্রক্সি পরিচালনার পরিবর্তে ম্যানেজড অ্যাক্সেস কিনুন

সেরা উপযুক্ত: অ্যাপ্লিকেশনগুলির জন্য যা প্রধানত একটি ম্যানেজড অ্যাকাউন্টের মাধ্যমে মডেল এবং প্রোভাইডারগুলির একটি হোস্টেড নির্বাচন প্রয়োজন। এটি অপারেটিং দায়িত্বে একটি বাস্তবিক পরিবর্তন যখন রাউটিং পরিষেবা চালানো পণ্যের জন্য সামান্য মূল্য যোগ করে।

সুবিধা: অ্যাকাউন্ট ফান্ডিং, ক্যাটালগ অ্যাক্সেস এবং প্রোভাইডার রাউটিং একটি পরিষেবা হিসাবে পরিচালিত হয়। অ্যাপ্লিকেশনটি পরিচিত HTTP অনুরোধ প্যাটার্নগুলি ব্যবহার করতে পারে যখন দল উপলব্ধ প্রোভাইডারগুলি মূল্যায়ন করে, অন্য একটি প্রক্সি ডেপ্লয়মেন্ট বজায় না রেখে।

অসুবিধা: আপনি OpenRouter-এর রাউটিং পরিষেবা পরিচালনা করেন না। মডেল সমর্থন, প্রদানকারীর আচরণ, BYOK ফি এবং ব্যক্তিগত ডিপ্লয়মেন্টের জন্য আলাদা যাচাই প্রয়োজন। এর Enterprise Private Endpoints বিদ্যমান, যেখানে সমর্থিত-প্রদানকারী এবং ক্যাটালগ-মডেল শর্তাবলী প্রযোজ্য; এটি বলতে যে এটি একটি ব্যক্তিগত ডিপ্লয়মেন্ট সংযোগ করতে পারে না, তা সঠিক হবে না।

মূল্য নির্ধারণ এবং ডিপ্লয়মেন্ট: বর্তমান অ্যাকাউন্ট ফান্ডিং এবং BYOK শর্তাবলী ইনফারেন্স রেটের পাশাপাশি পর্যালোচনা করুন। স্ট্যান্ডার্ড বর্তমানে ক্রেডিট ক্রয়ের উপর ৫.৫% যোগ করে; এটি একটি ফান্ডিং ফি, যা প্রতিটি প্রদানকারীর বিজ্ঞাপিত টোকেন রেটের উপর সমান শতাংশ যোগ নয়। OpenRouter বিকল্প গাইড মালিকানা এবং আয়ের প্রশ্নগুলির পার্থক্য ব্যাখ্যা করে।

প্রোভাইডার সিক্রেটস, গেটওয়ে কী এবং লগইন টোকেন আলাদা করুন

পর্যালোচিত সিকিউরিটি ইমপ্লিমেন্টেশন প্রোভাইডার ক্রেডেনশিয়াল এনক্রিপ্ট/ডিক্রিপ্ট করতে Fernet ব্যবহার করে। এটি ENCRYPTION_KEY থেকে রানটাইম এনক্রিপশন মান এবং SECRET_KEY থেকে JWT সাইনিং মান পড়ে। README অতিরিক্ত উদাহরণ নাম অন্তর্ভুক্ত করে, তাই আপনার নির্বাচিত সংস্করণ দ্বারা ব্যবহৃত প্রকৃত কোড/কনফিগারেশন যোগ্যতা নির্ধারণ করুন। একটি অপ্রয়োজনীয় ভেরিয়েবল লাইভ ডিপ্লয়মেন্ট রক্ষা করে বলে অনুমান করবেন না।

এনক্রিপশন কোডটি ENCRYPTION_KEY অনুপস্থিত থাকলে একটি কী তৈরি করে। অপারেশনাল ইনফারেন্স: সেই প্রক্রিয়া-উত্পন্ন মানের উপর নির্ভর করা পূর্বে সংরক্ষিত শংসাপত্রগুলি ডিক্রিপ্ট করতে একটি ভিন্ন প্রক্রিয়া বা পুনরায় চালু হওয়া ইনস্ট্যান্সকে বাধা দিতে পারে। একটি সুরক্ষিত, স্থায়ী কনফিগারেশন প্রদান করুন এবং রেপ্লিকা/রিস্টার্ট এবং পুনরুদ্ধার আচরণ যাচাই করুন। এই ইনফারেন্সটি স্ট্যাটিক কোড পরিদর্শন থেকে এসেছে, একটি ডিপ্লয় করা Forge অ্যাকাউন্টের বিরুদ্ধে পুনরুত্পাদিত আউটেজ থেকে নয়।

প্রদানকারী সাইফারটেক্সট এবং একটি Forge কলার শংসাপত্র ভিন্ন বস্তু। প্রদানকারী মডেল-এ encrypted_api_key রয়েছে; Forge কী মডেল-এ একটি পৃথক key স্ট্রিং এবং প্রদানকারী-স্কোপ অ্যাসোসিয়েশন রয়েছে। একটি প্রদানকারী-কী এনক্রিপশন বিবৃতিকে প্রসারিত করে দাবি করবেন না যে প্রতিটি শংসাপত্র, ক্যাশে, ডাটাবেস ক্ষেত্র বা রেকর্ড একইভাবে এনক্রিপ্ট বা হ্যাশ করা হয়েছে।

কীগুলি আপস্ট্রিম প্রদানকারীকে কল করা উপাদান দ্বারা ব্যবহারযোগ্য হতে হবে। রানটাইম অ্যাক্সেস, সুরক্ষিত কনফিগারেশন, ব্যাকআপ, ক্যাশে এবং লগগুলি তাই ডাটাবেস ক্ষেত্রের পাশাপাশি কাস্টডি পর্যালোচনার অন্তর্ভুক্ত। সোর্স পরিদর্শন সুরক্ষিত মেমরি মুছে ফেলা, হার্ডওয়্যার-এনক্লেভ সীমানা, রিমোট অ্যাটেস্টেশন বা স্বাধীন নিরাপত্তা সার্টিফিকেশন প্রতিষ্ঠা করে না। প্রতিটি প্রার্থী, যার মধ্যে ShareAI অন্তর্ভুক্ত রয়েছে, একই প্রমাণ মান প্রয়োগ করুন।

প্রদানকারী স্কোপ, উপনাম এবং এন্ডপয়েন্ট আচরণ স্পষ্টভাবে ম্যাপ করুন।

কী-পরিচালনার রুট এবং অনুরোধ প্রমাণীকরণ মালিকানা, সক্রিয়/মুছে ফেলা-কী এবং প্রদানকারী-স্কোপ যুক্তি ধারণ করে। মাইগ্রেশনের সময়, প্রতিটি কলার কী কে মালিক এবং এটি কোন আপস্ট্রিম শংসাপত্রে পৌঁছাতে পারে তা ধরে রাখুন। অনুমোদিত এবং অস্বীকৃত কেসগুলি প্রমাণ করুন, যার মধ্যে একটি স্কোপ পরিবর্তন এবং কী পুনর্জন্ম অন্তর্ভুক্ত রয়েছে। একটি সফল লগইন একটি নির্দিষ্ট প্রদানকারীকে আহ্বান করার অনুমতি থেকে একটি ভিন্ন চেক।

একটি কাস্টম বেস URL শুধুমাত্র ShareAI-এর জন্য নয়। Forge-এর প্রোভাইডার মডেল সেই ক্ষেত্রটি অন্তর্ভুক্ত করে, এবং অ্যাডাপ্টার ফ্যাক্টরি একটি কাস্টমাইজড OpenAI-স্টাইল অ্যাডাপ্টার পথ প্রোভাইডার-নির্দিষ্ট অ্যাডাপ্টারগুলির পাশাপাশি ধারণ করে। প্রকৃত URL, মডেল ম্যাপিং, প্রমাণীকরণ, নেটওয়ার্ক অ্যাক্সেস এবং সমর্থিত এন্ডপয়েন্ট যোগ্য করুন; একটি কনফিগারযোগ্য ক্ষেত্র স্বেচ্ছাচারী প্রোটোকল বা মডেল সামঞ্জস্য প্রতিষ্ঠা করে না।

প্রোভাইডার সার্ভিস বিভিন্ন এন্ডপয়েন্ট প্রকার এবং ব্যবহার পথ পরিচালনা করে। এর পর্যালোচিত ইমেজ-জেনারেশন/এডিট পথ স্পষ্টভাবে প্রোভাইডার সমর্থন সীমিত করে, যখন কমপ্লিশন, রেসপন্স এবং এমবেডিং কলগুলির জন্য পৃথক অ্যাডাপ্টার কাজ রয়েছে। একটি সফল Chat Completions অনুরোধ সমস্ত অ্যাডাপ্টার জুড়ে অভিন্ন রেসপন্স, ইমেজ, এমবেডিং, টুল-কল বা স্ট্রিমিং আচরণ প্রতিষ্ঠা করে না।

গেটওয়ে ক্রেডেনশিয়াল, প্রোভাইডার ক্রেডেনশিয়াল এবং মডেল এলিয়াসগুলি মাইগ্রেশন ম্যানিফেস্টে পৃথক রাখুন। একটি প্রোভাইডার-প্রিফিক্সড মডেল আইডেন্টিফায়ার, একটি এলিয়াস এবং আপস্ট্রিম ডিপ্লয়মেন্ট নাম বিভিন্ন বস্তুকে নির্দেশ করতে পারে। অনুরোধকৃত নাম এবং কার্যকর গন্তব্য রেকর্ড করুন যাতে একটি আপাতদৃষ্টিতে ক্ষতিকারক রিনেম নীরবে একটি ওয়ার্কলোডকে একটি ভিন্ন মডেল বা অ্যাকাউন্টে সরিয়ে না দেয়।

একটি মূল ক্রেডেনশিয়াল এবং গন্তব্য গ্রহণ ওয়ার্কশীট

• বর্তমান রিভিশন, লাইসেন্স গ্রান্ট, কলার কী, প্রোভাইডার ক্রেডেনশিয়াল, স্কোপ, এলিয়াস এবং প্রয়োজনীয় এন্ডপয়েন্টগুলির তালিকা তৈরি করুন। উৎস, এনক্রিপ্টেড ডেটা, এনক্রিপশন কনফিগারেশন এবং বর্তমান সার্ভিং রুট সংরক্ষণ করুন।
• প্রার্থীর বিরুদ্ধে একটি অ-গুরুত্বপূর্ণ অপারেশন অনুশীলন করুন। স্বাভাবিক আউটপুট, একটি ভুল/প্রত্যাখ্যাত কলার এবং একটি অগ্রহণযোগ্য আপস্ট্রিম গন্তব্য পরীক্ষা করুন ট্রাফিক বাড়ানোর আগে।
• বাস্তব স্ট্রিম/টুল/ত্রুটি কেস এবং অনুমোদিত পুনরায় চেষ্টা/ফোলব্যাক পথ অনুশীলন করুন। চূড়ান্ত অ্যাপ্লিকেশন ফলাফল, সম্পূর্ণ পার্শ্বপ্রতিক্রিয়া এবং যৌক্তিক অপারেশনের জন্য একটি সংরক্ষিত রেকর্ড নিশ্চিত করুন।
• পুনরায় চালু করা, প্রতিলিপি এবং পুনরুদ্ধারের আচরণ যাচাই করুন সংরক্ষিত অবস্থার জন্য। একটি সীমিত দলকে একটি বিপরীতমুখী রুট পরিবর্তনের মাধ্যমে সরান; মূল প্রমাণ এবং বকেয়া হিসাব সংরক্ষণ করুন যতক্ষণ না পুনর্মিলন সম্পন্ন হয়।

একটি অ্যাডাপ্টার তালিকা, একটি গ্রহণযোগ্য কনফিগারেশন আমদানি এবং একটি ব্যবস্থাপনা স্থিতিকে মধ্যবর্তী পর্যবেক্ষণ হিসাবে বিবেচনা করুন। এগুলি রানটাইম অ্যাক্সেস বিচ্ছিন্নতা, স্ট্রিম সম্পূর্ণতা, ভাগ করা কোটার আচরণ বা পুনরুদ্ধার প্রমাণ করে না। ওয়ার্কশীটটি ইচ্ছাকৃতভাবে নামকরণ করে যা পর্যবেক্ষণ করতে হবে, এটি দাবি করে না যে এই পর্যালোচনা প্রতিটি গেটওয়ে স্থাপন করেছে বা প্রতিটি প্রদানকারী পরীক্ষা করেছে।

ব্যর্থতার আচরণ, ব্যবহার এবং সম্পূর্ণ প্রক্রিয়াকরণ পথ সংজ্ঞায়িত করুন।

পর্যালোচিত প্রদানকারী-সার্ভিস কোডে সাধারণ প্রতিক্রিয়া এবং স্ট্রিমগুলির জন্য ব্যবহার ট্র্যাকিং পথ রয়েছে। শুধুমাত্র পুরানো রোডম্যাপ টেক্সটে অ্যানালিটিক্স কাজের তালিকা থাকার কারণে Forge-কে ব্যবহার রেকর্ডের অভাব হিসাবে বর্ণনা করবেন না। বিপরীতভাবে, একটি ব্যবহার কোড পথ প্রমাণ নয় যে প্রতিটি বাধাগ্রস্ত স্ট্রিম, প্রদানকারী স্কিমা বা হিসাব রেকর্ড আপনার স্থাপনার মধ্যে যোগ্য হয়েছে।

একটি টাইমআউট, একটি রেট সীমা, একটি আপস্ট্রিম প্রমাণীকরণ ব্যর্থতা, একটি আংশিক স্ট্রিম এবং একটি টুল অ্যাকশন যা ইতিমধ্যে সম্পন্ন হয়েছে পরীক্ষা করুন। কোন ব্যর্থতা অন্য প্রচেষ্টা ট্রিগার করতে পারে এবং কোন গন্তব্য অনুমোদিত তা সংজ্ঞায়িত করুন। যৌক্তিক অপারেশন পরিচয় সংরক্ষণ করুন এবং অনুমোদিত প্রচেষ্টার সংখ্যা গণনা করুন। একটি দ্বিতীয় মডেল অতিরিক্ত চার্জ বা ডুপ্লিকেট পার্শ্বপ্রতিক্রিয়া তৈরি করতে পারে এমনকি যদি অ্যাপ্লিকেশন শুধুমাত্র একটি চূড়ান্ত উত্তর পায়।

অবস্থান প্রয়োজনীয়তার জন্য, অ্যাপ্লিকেশন, গেটওয়ে, কনফিগার করা আপস্ট্রিম মডেল হোস্ট, ক্যাশে, লগ এবং প্রতিটি ফলোব্যাক ট্রেস করুন। প্রক্সি স্ব-হোস্টিং একটি বাহ্যিক প্রদানকারীর ইনফারেন্সকে আপনার অবকাঠামোর ভিতরে রাখে না। তদ্ব্যতীত, একটি হোস্টেড গেটওয়ের পাবলিক প্রদানকারী ক্যাটালগ একটি ব্যক্তিগত অনুরোধের জন্য সঠিক রুট প্রতিষ্ঠা করে না। যেখানে একটি আঞ্চলিক প্রক্রিয়াকরণ প্রয়োজনীয়তা প্রমাণের প্রয়োজন, European AI routing worksheet ব্যবহার করুন।

একই গ্রহণযোগ্য কাজের জন্য মোট খরচ তুলনা করুন: সফটওয়্যার অধিকার, গেটওয়ে অপারেশন, ডাটাবেস/ক্যাশে এবং পুনরুদ্ধার, তদন্ত রেকর্ড, প্রদানকারী ব্যবহার এবং মাইগ্রেশন ওভারল্যাপ। একটি বিক্রেতার গেটওয়ে-শুধুমাত্র বেঞ্চমার্ক থেকে পরিমাপ করা অ্যাপ্লিকেশন লেটেন্সি আলাদা করুন। এই গাইডটি একটি নিশ্চিত সঞ্চয়, নিরাপত্তা সুবিধা বা দ্রুততম প্রার্থী প্রতিষ্ঠা করে না।

অনুমোদিত অ্যাপ সারচার্জ এবং যোগ্য মালিকানাধীন ক্ষমতার জন্য ShareAI।

সেরা জন্য: একটি অ্যাপ্লিকেশন যা সমর্থিত AI ইনফারেন্স, একটি অনুমোদিত অ্যাপ AI সারচার্জ বা একটি যোগ্য মালিকানাধীন ইনফারেন্স-সার্ভিস রুট প্রয়োজন। ShareAI তার রাউটিং, ব্যবহার, গ্রাহক-পরিশোধ এবং আরোপিত রাজস্ব কর্মপ্রবাহ প্রদান করে। আপনার অ্যাপটি অন্য কোথাও তৈরি এবং হোস্ট করা হয়েছে; এর অ্যাপ্লিকেশন অনুমতি এবং ব্যবসায়িক-ডেটা দায়িত্বগুলি স্পষ্ট রাখুন।

সুবিধাসমূহ: একটি যোগ্য অনুমোদিত অ্যাপ গ্রাহকের অনুমোদনের পরে রাউট করা AI ব্যবহারে সারচার্জ কনফিগার করতে পারে, যা ShareAI-তে পেমেন্ট এবং Builder আয়ের জন্য বরাদ্দ করা হয়। অ্যাপ্লিকেশন অনবোর্ডিং শুধুমাত্র একটি প্রক্সির ভিতরে কাস্টম মার্কআপ রেকর্ড করার থেকে আলাদা। অসুবিধাসমূহ এবং খরচ যাচাই: প্রোগ্রামের যোগ্যতা, সমর্থিত মডেল এবং প্রকৃত প্রসেসিং পথ যোগ্যতা প্রয়োজন।

কোম্পানি Builders-দের যাচাই এবং পেমেন্টের আগে ৪৫ দিনের পর্যালোচনা প্রয়োজন; ব্যক্তিরা বর্তমানে নগদ অর্থের পরিবর্তে ইনফারেন্স মান পান। অনুমানিকভাবে, $১,০০০ ইনফারেন্স এবং ১৫% সারচার্জ $১,১৫০ চার্জ এবং $১৫০ মোট সারচার্জ প্রদান করে, ফি বা সমন্বয়ের আগে। মোট রাজস্ব নিশ্চিত লাভ বা তাৎক্ষণিক নিষ্পত্তি নয়।

ইনফারেন্স-সার্ভিস অনবোর্ডিং আপনার সমর্থিত এন্ডপয়েন্ট/ইনফ্রাস্ট্রাকচার অন্তর্ভুক্ত করতে পারে, যখন যোগ্য Prosumer/Provider অংশগ্রহণ প্রযোজ্য মডেল, হার্ডওয়্যার, অধিকার এবং প্রোগ্রাম শর্তাবলীর অধীনে মালিকানাধীন ক্ষমতা অবদান রাখতে পারে। Builder অ্যাপ্লিকেশন রাজস্ব, Provider কম্পিউট এবং Creator মডেল অধিকার পৃথক থাকে। সংযোগ ট্রাফিক, পুরস্কার, স্বেচ্ছাচারী এন্ডপয়েন্ট সমর্থন বা স্বয়ংক্রিয় ব্যাকআপ নিশ্চিত করে না।

আপনার ব্যাকএন্ডের জন্য একটি নির্ধারিত ShareAI অনুরোধ।

আপনার অ্যাকাউন্টে প্রকৃতভাবে প্রস্তাবিত একটি মডেল নির্বাচন করুন এবং কী সার্ভার-সাইডে রাখুন। নেটিভ cURL/JavaScript ব্লক ShareAI-এর বাস্তবায়িত Chat Completions রুট ব্যবহার করে। এটি একটি সিনট্যাক্স-চেকড স্ট্যান্ডঅ্যালোন অনুরোধ, ক্রেডেনশিয়াল-স্টোর মাইগ্রেশন, Forge উপনাম সমতার প্রমাণ বা প্রদত্ত ইনফারেন্স ফলাফল নয়।

curl --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"YOUR_AVAILABLE_MODEL","messages":[{"role":"user","content":"Reply with one short greeting."}],"stream":false}'

const response = await fetch("https://api.shareai.now/api/v1/chat/completions", {
  method: "POST",
  headers: {
    Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    model: process.env.SHAREAI_MODEL,
    messages: [{ role: "user", content: "Reply with one short greeting." }],
    stream: false,
  }),
});
if (!response.ok) throw new Error(`Inference failed: ${response.status}`);
console.log(await response.json());

সমর্থিত আচরণের জন্য বর্তমান ShareAI ডকুমেন্টেশন পরামর্শ করুন। মূল provider/scope ম্যানিফেস্ট রাখুন এবং পুরো অনুরোধ/ফলাফল/প্রমাণ পথ যোগ্যতা অর্জন করুন। Bifrost তুলনা এবং APISIX তুলনা পার্শ্ববর্তী অপারেটিং এবং নীতিগত সিদ্ধান্তগুলি কভার করে।

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ক্রেডেনশিয়াল কাস্টডি এবং AI বাণিজ্যিক প্রবাহ স্পষ্টভাবে নির্বাচন করুন।

পরিকল্পিত caller scope, provider destination, সম্পূর্ণ ফলাফল এবং পুনরুদ্ধারযোগ্য state সহ একটি অপারেশন অনুশীলন করুন। অনুমোদিত অ্যাপ AI-surcharge workflow-এর জন্য, ShareAI Builder খুলুন। যোগ্য owned capacity-এর জন্য, AI Prosumer অন্বেষণ করুন। প্রয়োজনীয় আচরণ পাস না হওয়া পর্যন্ত মূল রুট এবং প্রমাণ সংরক্ষণ করুন।