শেয়ারএআই স্বয়ংক্রিয় ব্যর্থতা: একই-মডেল রাউটিং + শূন্য-ডাউনটাইম এআই-এর জন্য BYOI

1. যখন একটি AI প্রদানকারী সমস্যায় পড়ে, আপনার ব্যবহারকারীদের সমস্যায় পড়া উচিত নয়।. 2. ShareAI স্বয়ংক্রিয় ফেইলওভার 3. অনুরোধগুলি প্রবাহিত রাখে একই মডেলে 4. একাধিক প্রদানকারীর মধ্যে রাউটিং করে—যাতে অভিজ্ঞতা সঙ্গত থাকে এবং আপনাকে জরুরি প্যাচ পাঠাতে না হয়। আপনি এছাড়াও 5. আপনার ডিফল্ট বা একটি ব্যক্তিগত ফেইলব্যাক স্তর হিসাবে ব্যক্তিগত এন্ডপয়েন্ট চালাতে পারেন। BYOI (আপনার নিজস্ব অবকাঠামো আনুন) 6. কেন আউটেজ ক্ষতি করে (এবং কেন একক-প্রদানকারী = একক ব্যর্থতার পয়েন্ট).

7. বাস্তব ঘটনা প্যাটার্ন

8. আউটেজগুলি খুব কমই

9. সবকিছু 10. বন্ধ করে দেয়। প্রায়শই এটি মডেল-নির্দিষ্ট সমস্যাগুলি, রেট-লিমিট বিস্ফোরণ, আঞ্চলিক ব্রাউনআউট, বা রক্ষণাবেক্ষণ উইন্ডো হয়। যদি আপনার স্ট্যাক একটি একক API-তে সংযুক্ত থাকে, তাহলে এগুলি ব্যবহারকারী-দৃশ্যমান বাগ হয়ে যায়। 11. "পুনরায় চেষ্টা করুন এবং প্রার্থনা করুন" এর লুকানো খরচ.

12. রাউটিং ছাড়া পুনরায় চেষ্টা শুধু লেটেন্সি বাড়ায়, কোটাগুলি শেষ করে এবং পরিত্যাগ বৃদ্ধি করে। ব্যবসায়িক খরচ SLA, চর্ন এবং সাপোর্ট লোডে দেখা যায়।“

13. ShareAI-এর সাথে "একই-মডেল ফেইলওভার" এর অর্থ কী.

14. মডেল-সমতুল্য রাউটিং

মডেল-সমমান রাউটিং

যদি মডেল-এক্স প্রদানকারী A-তে ব্যর্থ হতে শুরু করলে, ShareAI রুট করে একই মডেল (অথবা সবচেয়ে কাছাকাছি সমতুল্য) প্রদানকারী B-তে—আচরণ সঙ্গত রাখতে গার্ডরেল সহ। এটি ডাউনটাইমকে রাউটিং সিদ্ধান্তে, রূপান্তর করে, পণ্য বিভ্রাট নয়।.

শেষ ব্যবহারকারী এবং পণ্য কোডের জন্য অদৃশ্য

আপনার ইন্টিগ্রেশন একটি একক এন্ডপয়েন্ট কল করে। ফেইলওভার ঘটে কন্ট্রোল প্লেনে—কোন ফিচার ফ্ল্যাগ নেই, কোন জরুরি পুনঃপ্রয়োগ নেই আপনার অ্যাপের জন্য।.

আপনার লক্ষ্য অনুযায়ী নীতির নিয়ন্ত্রণ

প্রতি-এন্ডপয়েন্ট নীতি সেট করুন যেমন লেটেন্সি পছন্দ করুন, খরচ পছন্দ করুন, অথবা কঠোর প্রদানকারী ক্রম. আপনি সিদ্ধান্ত নিন কতটা আক্রমণাত্মকভাবে ব্যর্থ হবে—এবং কার কাছে।.

প্রোডাকশনে ShareAI ব্যবহারের দুটি উপায়

ডিফল্ট অর্কেস্ট্রেশন স্তর (সর্বদা-চালু মাল্টি-প্রোভাইডার)

প্রতিটি অনুরোধ ShareAI এর মাধ্যমে পাঠান। আপনি স্বাস্থ্য পরীক্ষা, একই-মডেল রাউটিং, এবং প্রোভাইডার A/B টেস্টিং বক্স থেকে পাবেন। অন্বেষণ করুন মডেল মার্কেটপ্লেসে আপনার প্রাইমারি এবং ব্যাকআপ নির্বাচন করতে: মডেল ব্রাউজ করুন

ড্রপ-ইন সেফটি নেট (শুধুমাত্র ঘটনা)

আপনার বর্তমান SDKs রাখুন, কিন্তু ShareAI কে ব্যাকআপ পথ হিসেবে সংযুক্ত করুন. যখন আপনার প্রাইমারি ব্যর্থ হয়, ব্যবহারকারীর দৃশ্যমান ব্যাঘাত ছাড়াই স্বয়ংক্রিয়ভাবে ShareAI এ ট্রাফিক পরিবর্তন করুন।.

প্রতি-ফিচার রাউটিং

উদাহরণ: চ্যাট ডিফল্টভাবে প্রোভাইডার X ব্যবহার করে; এমবেডিংস প্রোভাইডার Y ব্যবহার করে মূল্যের জন্য; উভয়েরই ব্যাকআপে স্বয়ংক্রিয় ব্যর্থতা রয়েছে।.

ShareAI এর সাথে BYOI (আপনার নিজস্ব অবকাঠামো আনুন)

প্রাইভেট ইনফারেন্স প্লাগ ইন করুন

স্ব-হোস্টেড এন্ডপয়েন্ট (VPC, অন-প্রেম, পার্টনার POPs) সংযুক্ত করুন। BYOI ব্যবহার করুন প্রাইমারি ক্ষমতা হিসেবে অথবা একটি হিসাবে ব্যক্তিগত ব্যাকআপ স্তর যা শুধুমাত্র আপনার সংস্থা দেখতে পারে। শুরু করুন প্রোভাইডার গাইড এবং ড্যাশবোর্ড থেকে: প্রোভাইডার গাইড • প্রদানকারী ড্যাশবোর্ড

কী, কোটাস, ট্রাফিক বিভাজন

প্রতিটি মডেলের জন্য একাধিক API কী (এবং প্রদানকারী) সংযুক্ত করুন; পরিবেশ/দল অনুযায়ী কোটাস এবং ট্রাফিক ভাগ সংজ্ঞায়িত করুন।.

অঞ্চল এবং ডেটা রেসিডেন্সি

অনুমোদিত ভৌগোলিক স্থানে ট্রাফিক পিন করুন বা নতুনগুলির জন্য অনুরোধ করুন ভূ-অবস্থান সেটিংস সম্মতি এবং লেটেন্সি লক্ষ্য পূরণের জন্য: ভূ-অবস্থান সেটিংস

কীভাবে স্বয়ংক্রিয় ব্যর্থতা কাজ করে (অভ্যন্তরীণভাবে)

স্বাস্থ্য এবং লেটেন্সি প্রোব

ShareAI ক্রমাগত প্রদানকারী/মডেল/অঞ্চলের স্বাস্থ্য এবং লেটেন্সি পরীক্ষা করে। থ্রেশহোল্ড ট্রিপ সার্কিট ব্রেকার যা ট্রাফিক তাৎক্ষণিকভাবে স্থানান্তর করে।.

মডেল-সমতুল্য মানচিত্র

একটি কিউরেটেড মানচিত্র মডেল আইডিগুলিকে বিভিন্ন প্রদানকারীর মধ্যে সামঞ্জস্যপূর্ণ করে (এবং “নিকটতম সমতুল্য” গ্রেড করে) যাতে ফেইলওভার নির্দেশনা-অনুসরণ আচরণ, টোকেনাইজেশন ত্রুটি এবং প্রসঙ্গ সীমাগুলি যতটা সম্ভব সঠিকভাবে সংরক্ষণ করে।.

নকশা দ্বারা নিরাপদ পুনরায় চেষ্টা

আইডেমপোটেন্সি কী এবং সূচকীয় ব্যাকঅফ ডুপ্লিকেট কাজ এড়ায় এবং টেইল লেটেন্সি হ্রাস করে।.

পর্যবেক্ষণযোগ্যতা

আপনি দেখবেন ট্রেস, ফেইলওভার কারণ এবং খরচ/লেটেন্সি ডেল্টা কনসোল এবং লগে। পড়ুন ডকস যখন আপনি গভীরতর ইনস্ট্রুমেন্টেশনের জন্য প্রস্তুত: ডকুমেন্টেশন হোম

দ্রুত শুরু: আপনার প্রথম রেজিলিয়েন্ট অনুরোধ করুন

৫-ধাপের সেটআপ

1. সাইন ইন করুন এবং একটি API কী তৈরি করুন।. সাইন ইন করুন বা সাইন আপ করুন • API কী তৈরি করুন
২. একটি প্রাথমিক কনসোল-এ প্রতি মডেলের জন্য প্রদানকারী নির্বাচন করুন।.
৩. যোগ করুন ব্যাকআপ প্রদানকারী (এবং ঐচ্ছিক BYOI এন্ডপয়েন্ট)।.
4. সক্রিয় করুন একই-মডেল রাউটিং এবং ব্যাকআপ নীতিমালা নির্ধারণ করুন (লেটেন্সি/খরচ/ক্রম)।.
5. আপনার প্রথম অনুরোধ পাঠান (নিচে) এবং স্বয়ংক্রিয় ব্যর্থতা দেখতে একটি ঘটনা সিমুলেট করুন।.

কোড: একটি অনুরোধ, স্বয়ংক্রিয় প্রদানকারী ব্যর্থতা

জাভাস্ক্রিপ্ট (ফেচ)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

পাইথন (রিকোয়েস্টস)

import os

আরও গভীরভাবে জানতে চান? শুরু করুন API রেফারেন্স দ্রুত শুরু: API রেফারেন্স. । অথবা এটি সরাসরি চেষ্টা করুন প্লেগ্রাউন্ড (কোড না লিখেই ব্যর্থতা নীতিমালা যাচাই করার জন্য চমৎকার): ওপেন প্লেগ্রাউন্ড

ঘটনাগুলির সময় অভিজ্ঞতাগুলি মসৃণ রাখুন

স্মার্ট টাইমআউট এবং আংশিক প্রতিক্রিয়া

ব্যর্থ প্রদানকারীদের থেকে দ্রুত ব্যর্থ হন; যদি আপনার UX এটি সমর্থন করে তবে আংশিক ফলাফল স্ট্রিম করুন, তারপর একটি ফলব্যাক থেকে সম্পূর্ণ করুন।.

সাধারণ প্রম্পট ক্যাশ করুন

স্থির প্রম্পট (FAQ, বয়লারপ্লেট সিস্টেম প্রম্পট) ক্যাশ করুন যাতে ঘটনাগুলির সময় তাৎক্ষণিকভাবে পরিবেশন করা যায়।.

অ-জরুরি কাজ সারিবদ্ধ করুন এবং ব্যাচ করুন

ভারী কাজ (যেমন, সারাংশ তৈরি) ব্যাচ করুন যাতে স্বাস্থ্যকর ক্ষমতা ফিরে আসার সাথে সাথে পুনরায় শুরু করা যায়—কাজগুলি বাদ না দিয়ে।.

স্বচ্ছ যোগাযোগ

প্রদানকারীর স্থিতি এবং আপনার নিজস্ব রাউটিং অবস্থার সাথে সংযুক্ত একটি ইন-অ্যাপ ব্যানার যোগ করুন। পাঠকদের আপনার দিকে নির্দেশ করুন রিলিজ/চেঞ্জলগ যখন আচরণ পরিবর্তিত হয়: রিলিজ দেখুন

অনলাইনে থাকার সময় ব্যয় নিয়ন্ত্রণ করুন

খরচ সীমা এবং ফলব্যাক অর্ডার

একটি সেট করুন সর্বাধিক গুণক ব্যাকআপের জন্য (যেমন, “≤1.2× প্রাথমিক CPM”)। যদি একটি ব্যাকআপ এটি অতিক্রম করে, তবে পরবর্তী সেরা ফিটে রাউট করুন।.

প্রতি-টিম বাজেট এবং সতর্কতা

প্রতিটি ওয়ার্কস্পেস/প্রকল্পের জন্য বাজেট প্রয়োগ করুন; ফেইলওভার স্পাইকগুলিতে সতর্ক করুন যাতে অর্থ বিভাগ অবাক না হয়।.

পর-ঘটনা প্রতিবেদন

কতটুকু ট্রাফিক ফেইলওভার হয়েছে, কেন হয়েছে, এবং খরচ/বিলম্বের পার্থক্য পর্যালোচনা করুন নীতিমালা উন্নত করার জন্য।.

নিরাপত্তা ও সম্মতি, এমনকি বিভিন্ন প্রদানকারীর মধ্যেও

আঞ্চলিক পিনিং: প্রয়োজন হলে ডেটা অঞ্চলেই রাখুন।. শূন্য-সংরক্ষণ মোড: প্রয়োজন হলে অনুরোধ লগিং নিষ্ক্রিয় করুন।. নিরীক্ষাযোগ্যতা: নিয়ন্ত্রিত পরিবেশের জন্য লগ এবং ট্রেস রপ্তানি করুন। প্রদানকারীর ভৌগোলিক অঞ্চল এবং নিয়ন্ত্রণের জন্য দেখুন ভূ-অবস্থান সেটিংস কনসোলে: অনুমোদিত অবস্থান

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

আমি কি ShareAI-কে একটি নির্দিষ্ট মডেল আইডিতে সীমাবদ্ধ করতে পারি?

হ্যাঁ—একটি নির্দিষ্ট প্রদানকারী+মডেল আইডিতে লক করুন। অথবা সুনির্দিষ্ট যমজ উপলব্ধ না থাকলে নিকটতম-সমতুল্য ফেইলওভার অনুমোদন করুন।.

যদি কোনো সুনির্দিষ্ট যমজ না থাকে তাহলে কী হবে?

ব্যবহার করুন নিকটতম-সমতুল্য নীতি ক্ষমতা, প্রসঙ্গ আকার এবং খরচ অনুযায়ী নিকটতম মডেল নির্বাচন করতে। আপনি সিদ্ধান্ত নেন যে এটি ধীরে ধীরে অবনতি করবে নাকি সম্পূর্ণভাবে ব্যর্থ হবে।.

প্রোডাকশন বন্ধ না করে আমি কীভাবে ফেইলওভার পরীক্ষা করব?

ব্যবহার করুন প্লেগ্রাউন্ড অথবা একটি স্টেজিং কী ব্যবহার করে প্রদানকারী ব্যর্থতা অনুকরণ করুন (যেমন, একটি প্রদানকারীকে সাময়িকভাবে ব্লকলিস্ট করুন) এবং ট্রেস পরিদর্শন করুন: প্লেগ্রাউন্ড

BYOI কি পাবলিক ইনগ্রেস প্রয়োজন?

না। আপনি চালাতে পারেন প্রাইভেট/VPC এন্ডপয়েন্ট এবং সেগুলিকে শুধুমাত্র আপনার সংস্থার জন্য দৃশ্যমান প্রদানকারী হিসাবে নিবন্ধন করুন। শুরু করুন প্রোভাইডার গাইড: প্রোভাইডার গাইড

উপসংহার

বিভ্রাট অনিবার্য। 2. ShareAI স্বয়ংক্রিয় ফেইলওভার এবং বিওয়াইওআই, এগুলি বাধাগ্রস্ত হতে হবে না। রুট করুন 4. একাধিক প্রদানকারীর মধ্যে রাউটিং করে—যাতে অভিজ্ঞতা সঙ্গত থাকে এবং আপনাকে জরুরি প্যাচ পাঠাতে না হয়। আপনি এছাড়াও প্রদানকারীদের মধ্যে, SLA অক্ষুণ্ণ রাখুন, এবং খরচ ও সম্মতি নিয়ন্ত্রণ করুন—আপনার অ্যাপ কোড পরিবর্তন না করেই। যখন একটি প্রদানকারী ব্যর্থ হয়, ShareAI আপনাকে অনলাইনে রাখে।.