ডিভাইসের প্রয়োজনীয়তা

ShareAI অ্যাপ্লিকেশন স্বয়ংক্রিয়ভাবে সুপারিশ করে কোন AI মডেলগুলি আপনার ডিভাইসের GPU VRAM-এর উপর ভিত্তি করে শেয়ার করার জন্য উপযুক্ত। আপনার অবদান সর্বাধিক করার সময় সর্বোত্তম কর্মক্ষমতা নিশ্চিত করতে, আমরা দুটি ধরণের প্রয়োজনীয়তা ব্যবহার করি:

সুপারিশকৃত প্রয়োজনীয়তা#

• এগুলি মডেলগুলি দক্ষতার সাথে চালানোর জন্য প্রয়োজনীয় আদর্শ VRAM নির্দেশ করে।
• যদি আপনার GPU সুপারিশকৃত VRAM পূরণ করে, আপনি ভাল কর্মক্ষমতা এবং সর্বোত্তম টাস্ক প্রসেসিং গতি আশা করতে পারেন।
• যদি আপনার GPU সুপারিশকৃত VRAM-এর নিচে থাকে, আপনি এখনও মডেল ইনস্টল এবং চালাতে পারেন, তবে কর্মক্ষমতা উল্লেখযোগ্যভাবে ধীর হতে পারে। আপনার ডিভাইস অনুকূল অবস্থার তুলনায় প্রতি সেকেন্ডে কম টাস্ক প্রক্রিয়া করবে।

ন্যূনতম প্রয়োজনীয়তা#

• এগুলি সর্বনিম্ন VRAM মান যা আপনার GPU নির্দিষ্ট মডেল চালানোর জন্য পূরণ করতে হবে।
• যদি আপনার GPU ন্যূনতম VRAM পূরণ না করে, আপনি মডেল ইনস্টল বা শেয়ার করতে পারবেন না। এটি নেটওয়ার্কের নির্ভরযোগ্যতা নিশ্চিত করে এবং অকার্যকর সম্পদ ব্যবহারের প্রতিরোধ করে।

GPU VRAM শ্রেণীবিভাগ#

আপনার GPU-এর VRAM-এর উপর ভিত্তি করে, আপনার ডিভাইস নিম্নলিখিত বিভাগগুলির মধ্যে পড়ে:

VRAM পরিসর (GB)	সুপারিশকৃত মডেল
4–6 GB	1B, 3B
৮–১২ জিবি	৭বি (কোয়ান্টাইজড ৪/৮-বিট)
১৬–২৪ জিবি	৭বি, ১৪বি (কোয়ান্টাইজড ৪-বিট)
৩২–৪৮ জিবি	১৪বি, ২০বি (কোয়ান্টাইজড ৪/৮-বিট), ৭০বি (৪-বিট)
৪৮–৯৬ জিবি (একাধিক GPU)	৭০বি (৮-বিট কোয়ান্টাইজড)
৯৬ জিবি+ (একাধিক GPU)	৭০বি (১৬-বিট প্রিসিশন বা একাধিক ইনস্ট্যান্স)

উদাহরণস্বরূপ:

• RTX 3060 (১২GB): ৭–৮বি প্যারামিটার মডেল (যেমন, DeepSeek-r1:8B) ব্যবহার করার পরামর্শ দেওয়া হচ্ছে। আপনি ১৩বি মডেল ইনস্টল করতে পারেন যদি সম্ভাব্য পারফরম্যান্স হ্রাস গ্রহণ করেন।
• RTX 4080 (১৬GB): ৭–১৪বি মডেল (কোয়ান্টাইজড ৪-বিট) ব্যবহারের জন্য সুপারিশ করা হয়েছে।

সতর্কতা এবং বিজ্ঞপ্তি#

নতুন মডেল যোগ করার সময়:

• যদি আপনার GPU সুপারিশকৃত প্রয়োজনীয়তা পূরণ করে:
  • কোনো সতর্কতা বা সীমাবদ্ধতা নেই।
• যদি আপনার GPU সুপারিশকৃত প্রয়োজনীয়তার নিচে কিন্তু ন্যূনতম প্রয়োজনীয়তার উপরে থাকে:
  • একটি নন-ব্লকিং সতর্কবার্তা প্রদর্শিত হবে যা আপনাকে সম্ভাব্য পারফরম্যান্স সমস্যার বিষয়ে জানাবে।
  • সতর্কবার্তার উদাহরণ: ⚠️ পারফরম্যান্স নোটিশ: আপনার GPU VRAM সুপারিশকৃত পরিমাণের নিচে। এই মডেলটি ধীর গতিতে চলতে পারে এবং প্রতি সেকেন্ডে কম কাজ প্রক্রিয়া করতে পারে।
• যদি আপনার GPU ন্যূনতম প্রয়োজনীয়তা পূরণ না করে:
  • একটি ব্লকিং সতর্কবার্তা ইনস্টলেশন বন্ধ করে দেবে।
  • সতর্কবার্তার উদাহরণ: 🔴 অপর্যাপ্ত VRAM: আপনার GPU VRAM এই মডেলের জন্য ন্যূনতম প্রয়োজনীয়তা পূরণ করে না। অনুগ্রহ করে আপনার GPU আপগ্রেড করুন অথবা ছোট মডেল নির্বাচন করুন। আরও জানুন.

বিশেষ ক্ষেত্রে#

• কে-কোয়ান্ট ওভারহেড: কে-কোয়ান্টস (K_S, K_M, K_L) দিয়ে কোয়ান্টাইজড মডেল ব্যবহার করার সময় অতিরিক্ত VRAM ওভারহেড বিবেচনা করা হয়। ShareAI স্বয়ংক্রিয়ভাবে হিসাব করে এবং সুপারিশগুলো সামঞ্জস্য করে।
• :latest মডেলসমূহ:
  • যেহেতু :latest মডেলগুলো প্যারামিটার সংখ্যা আগে থেকে নির্দিষ্ট করে না, ShareAI শেয়ার করার অনুমতি দেওয়ার আগে ollama show কমান্ড ব্যবহার করে একটি চেক সম্পন্ন করে।
  • চেক করার পর যদি আপনার রিসোর্স মডেলের ন্যূনতম প্রয়োজনীয়তার সাথে মেলে না, তাহলে মডেলটি সক্রিয় হবে না।

চূড়ান্ত সুপারিশ#

• ShareAI ইন্টারফেসে GPU সুপারিশ নিয়মিত পর্যালোচনা করুন।
• সর্বোত্তম পারফরম্যান্সের জন্য আপনার GPU ড্রাইভার আপডেট রাখুন।
• যদি আপনি নেটওয়ার্কে উল্লেখযোগ্যভাবে অবদান রাখতে চান বা বড় মডেল হোস্ট করতে চান, GPU আপগ্রেড বিবেচনা করুন।

এটি আপনার অবদানের দক্ষতা এবং ShareAI বিকেন্দ্রীকৃত AI নেটওয়ার্কের স্বাস্থ্য নিশ্চিত করে।