একটি আবিষ্কারযোগ্য অফার
নির্মাতাদের আপনার প্রদত্ত মডেল এবং নীতিগুলি বুঝতে সাহায্য করুন।
ইনফারেন্স Provider-দের জন্য
ShareAI মার্কেটপ্লেসের মাধ্যমে সমর্থিত মডেল এবং ইনফারেন্স ক্ষমতা উপলব্ধ করুন, যেখানে অ্যাপ্লিকেশনগুলি Provider-দের আবিষ্কার করে এবং AI অনুরোধ রাউট করে।
সংযোগ করুনযোগ্য অবকাঠামো আনুন
কনফিগার করুনসমর্থিত অফার নির্বাচন করুন
পরিবেশন করুনরাউটেড ইনফারেন্সে অবদান রাখুন
ট্র্যাকআপনার প্রদানকারীর পুরস্কার পর্যালোচনা করুন
সমাধানের যোগ্য অংশ
একটি মডেল পরিবেশন করা একটি কাজ। অ্যাপ্লিকেশনগুলির প্রয়োজনীয় মডেলগুলিতে পৌঁছানো এবং চলমান ব্যবহারের পরিচালনা করা আরেকটি।
একটি স্পষ্টতর মডেল
প্রদানকারী ওয়ার্কস্পেস ব্যবহার করে আপনার অফার কনফিগার করুন এবং কীভাবে সমর্থিত মডেলগুলি পাবলিক ক্যাটালগে প্রদর্শিত হয় তা অন্বেষণ করুন।
যেখানে এটি ফিট করে
নির্মাতাদের আপনার প্রদত্ত মডেল এবং নীতিগুলি বুঝতে সাহায্য করুন।
অ্যাপ্লিকেশন দ্বারা ব্যবহৃত একই রাউটিং স্তরে অংশগ্রহণ করুন।
আপনার আয় যোগ্য ইনফারেন্স ক্ষমতা থেকে আসে, যা নির্মাতার মার্জিন থেকে পৃথক।
আপনার GPU কাজে লাগান
আপনার GPU নির্বাচন করুন, আপনার রেট সেট করুন এবং একটি পূর্ণ বুকিং শিডিউল কতটা মূল্যবান হতে পারে তা জানুন।
রেফারেন্স মডেলLlama 2 7B · Q4_0
সংক্ষিপ্ত অনুরোধ: ৫১২ ইনপুট টোকেন এবং ১২৮ আউটপুট টোকেন। প্রতিটি GPU একবারে একটি অনুরোধ পরিচালনা করে।
আপনার নিজস্ব বেঞ্চমার্ক আছে? উভয় গতি প্রতিস্থাপন করুন। অন্য GPU নির্বাচন করলে এর রেফারেন্স মান পুনরুদ্ধার হবে।
100% মানে আপনার নির্বাচিত সময়ের মধ্যে অনুরোধগুলি ক্রমাগত আসে। অলস সময়ের হিসাব করতে এটি কমিয়ে দিন।
প্রকাশিত গতি কমিউনিটি llama.cpp পরীক্ষার মাধ্যমে আসে যেখানে Flash Attention বন্ধ থাকে। RTX 3080 Ti প্রিসেট একটি RTX 3080 রেফারেন্স ব্যবহার করে; এটি একটি আনুমানিক হিসাব, মাপা 3080 Ti ফলাফল নয়।
ইনপুট প্রক্রিয়াকরণ এবং আউটপুট উৎপাদন একই সময়ের বাজেট ভাগ করে। প্রকৃত থ্রুপুট প্রসঙ্গ, সফটওয়্যার এবং অনুরোধের ওভারহেডের উপরও নির্ভর করে। একটি মাস ৩০ দিনের হয়, আপনার সাপ্তাহিক সময়সূচী পুনরাবৃত্তি সহ।
বেঞ্চমার্ক সূত্র দেখুন100% কাজের লোডে
স্থূল অনুমান, বিদ্যুৎ, ফি এবং করের আগে।
এটি একটি সিন্থেটিক দৃশ্যপট, কোনও পেমেন্ট অফার নয়। প্রকৃত পরিবেশন এবং পুরস্কার যোগ্যতা, চাহিদা এবং প্রোগ্রামের শর্তের উপর নির্ভর করে। এক্সচেঞ্জ এবং মিশনের নিজস্ব প্রণোদনা রয়েছে।
একটি Builder তাদের মালিকানাধীন অ্যাপ্লিকেশন থেকে AI ট্রাফিকের মাধ্যমে আয় করে। একটি Provider নেটওয়ার্কে সেবা দেওয়ার জন্য যোগ্য কম্পিউট প্রদান করে। তাদের আয় বিভিন্ন অবদানের উপর নির্ভর করে।
প্রোভাইডার ওয়ার্কস্পেস খুলুন প্রয়োজনীয়তা পর্যালোচনা করতে এবং আপনার অফার কনফিগার করতে। পাবলিক ক্যাটালগ ব্যবহার করুন মডেল এবং প্রোভাইডার নীতিমালা কীভাবে উপস্থাপিত হয় তা বুঝতে।
আপনার অ্যাপ্লিকেশন আপনার টিম দ্বারা তৈরি এবং হোস্ট করা হয়। ShareAI নেটওয়ার্কের মাধ্যমে রাউট করা ইনফারেন্সের জন্য রাউটিং, ব্যবহার এবং পেমেন্ট স্তর সরবরাহ করে।
আপনার অবদান সংযুক্ত করুন