এআই গেটওয়ে গার্ডরেল: ব্যবহারকারীরা দেখার আগে প্রম্পট এবং আউটপুট যাচাই করুন

প্রোডাকশন এআই অ্যাপগুলোর জন্য শুধুমাত্র একটি ভালো প্রম্পট যথেষ্ট নয়। তাদের এমন একটি নিয়ন্ত্রণ স্তর প্রয়োজন যা মডেলে প্রবেশ করা বিষয়বস্তু পরীক্ষা করতে পারে, ফিরে আসা ফলাফল পরীক্ষা করতে পারে এবং ব্যবহারকারী বা ডাউনস্ট্রিম সিস্টেমে প্রতিক্রিয়া পৌঁছানোর আগে একটি স্পষ্ট সিদ্ধান্ত নিতে পারে।.

এটাই এআই গেটওয়ে গার্ডরেলের ধারণা।.

সঠিক আর্কিটেকচার পণ্যের উপর নির্ভর করে পরিবর্তিত হবে। কিছু দল অ্যাপ্লিকেশন ব্যাকএন্ডে চেক স্থাপন করে। কিছু গেটওয়ে বা প্রক্সি ব্যবহার করে। কিছু মডেল-স্তরের নিরাপত্তা সেটিংস কাস্টম যাচাইয়ের সাথে একত্রিত করে। গুরুত্বপূর্ণ বিষয় হলো, নিরাপত্তা প্রতিটি ফিচার টিমের উপর নির্ভর করা উচিত নয় যে তারা একই লজিক প্রতিটি এন্ডপয়েন্টে সংযুক্ত করবে।.

নির্মাতাদের জন্য, গার্ডরেল পণ্যের দায়িত্বের অংশ। ShareAI আপনাকে মডেল ব্যবহারের রুটিং এবং এআই ট্রাফিকের মুদ্রাকরণে সাহায্য করতে পারে, তবে আপনার অ্যাপ এখনও নীতিমালা, অনুমতি, লগিং, গ্রাহক অভিজ্ঞতা এবং মানব পর্যালোচনার দায়িত্ব বহন করে।.

কেন গেটওয়ে-স্তরের গার্ডরেল গুরুত্বপূর্ণ

একটি এআই অ্যাপ সাধারণত সহজভাবে শুরু হয়। একটি এন্ডপয়েন্ট একটি মডেলকে কল করে। তারপর ব্যবহার বাড়ে: আরও ফিচার, আরও গ্রাহক, আরও মডেল প্রদানকারী, আরও অভ্যন্তরীণ টুল, আরও ব্যবহারকারী-উৎপন্ন ইনপুট এবং আরও জায়গা যেখানে একটি উৎপন্ন উত্তর কার্যকলাপ ট্রিগার করতে পারে।.

তখন, ফিচার-ভিত্তিক নিরাপত্তা লজিক বিশ্বাসযোগ্য রাখা কঠিন হয়ে যায়। একটি অ্যাপ সংস্করণ প্রম্পট ইনজেকশন ব্লক করতে পারে। অন্যটি শুধুমাত্র বিষাক্ততা পরীক্ষা করতে পারে। তৃতীয়টি আউটপুট যাচাই এড়িয়ে যেতে পারে কারণ দলটি লঞ্চের দিকে দৌড়াচ্ছিল।.

গেটওয়ে-স্তরের গার্ডরেল ধারাবাহিকতার সমস্যার সমাধান করে মডেল ট্রাফিকের কাছে যাচাই স্থাপন করে। অ্যাপটি একটি শেয়ার্ড স্তরের মাধ্যমে একটি অনুরোধ পাঠাতে পারে যা প্রম্পট, মডেল প্রতিক্রিয়া, বা উভয়ই মূল্যায়ন করে। স্তরটি একটি রায় প্রদান করে যেমন অনুমোদন, ব্লক, রেডাক্ট, পর্যালোচনা, বা পুনরায় চেষ্টা।.

এটি পণ্যের বিচার প্রয়োজনীয়তা দূর করে না। এটি এটি প্রয়োগ করার জন্য একটি জায়গা তৈরি করে।.

ভালো গার্ডরেল চারটি প্রশ্নের উত্তর দিতে সক্ষম হওয়া উচিত:

• এই প্রম্পটটি মডেলে পাঠানোর জন্য নিরাপদ কি?
• এই মডেল আউটপুট ব্যবহারকারীর কাছে দেখানোর জন্য নিরাপদ কি?
• মডেলটি অ্যাপ সরবরাহ করা প্রমাণে ভিত্তি করে ছিল কি?
• কী ঘটেছে, এবং দলটি পরে সিদ্ধান্তটি নিরীক্ষণ করতে পারবে কি?

মডেল কলের আগে কী যাচাই করা উচিত

ইনপুট যাচাইকরণ ঝুঁকিগুলো মডেলের কাছে পৌঁছানোর আগেই ধরে ফেলে।.

প্রথম বিভাগটি হলো প্রম্পট ইনজেকশন। একজন ব্যবহারকারী, ডকুমেন্ট, ওয়েবপেজ, বা টুলের ফলাফল এমন নির্দেশনা ধারণ করতে পারে যা সিস্টেম প্রম্পটকে ওভাররাইড করতে, লুকানো প্রসঙ্গ ফাঁস করতে, বা মডেলকে এমন একটি টুল ব্যবহার করতে বাধ্য করতে পারে যা এটি ব্যবহার করা উচিত নয়। LLM অ্যাপ্লিকেশনের জন্য OWASP টপ ১০ প্রম্পট ইনজেকশন এবং অতিরিক্ত এজেন্সিকে একটি কারণের জন্য মূল LLM অ্যাপ্লিকেশন ঝুঁকি হিসেবে বিবেচনা করা হয়: মডেলটি নির্দেশনা অনুসরণ করতে পারে, তবে পণ্যটি এখনও ফলাফলের জন্য দায়বদ্ধ।.

দ্বিতীয় বিভাগটি হলো নীতির সাথে সামঞ্জস্য। যদি আপনার অ্যাপ মেডিকেল, আইনগত, আর্থিক, প্রাপ্তবয়স্ক, অপব্যবহারমূলক, বা আত্ম-ক্ষতির সাথে সম্পর্কিত বিষয়বস্তু সমর্থন না করে, তবে মডেল টোকেন ব্যয় করার বা গ্রাহক-সম্মুখীন উত্তর তৈরি করার আগে তা যাচাই করুন।.

তৃতীয় বিভাগটি হলো সংবেদনশীল ডেটা। কিছু প্রম্পটে এমন গোপনীয়তা, শংসাপত্র, ব্যক্তিগত ডেটা, বা মালিকানাধীন বিষয়বস্তু থাকতে পারে যা ব্লক করা, মাস্ক করা, বা কঠোর কর্মপ্রবাহের মাধ্যমে পরিচালিত হওয়া উচিত।.

চতুর্থ বিভাগটি হলো টুল অনুমতি। যদি আপনার অ্যাপ মডেলগুলিকে টুলের সাথে সংযুক্ত করে এমন প্যাটার্নের মাধ্যমে মডেল কনটেক্সট প্রোটোকল, যাচাইকরণে বিবেচনা করা উচিত মডেলটি কী স্পর্শ করার অনুমতি পায়। একটি ফাইল পড়া, একটি ডাটাবেস অনুসন্ধান করা, একটি ইমেইল পাঠানো, এবং একটি রেকর্ড মুছে ফেলা একই বিশ্বাস স্তর ভাগ করা উচিত নয়।.

ব্যবহারকারী আউটপুট দেখার আগে কী যাচাই করবেন

আউটপুট যাচাইকরণ জেনারেশনের পরে কিন্তু প্রকাশের আগে সমস্যাগুলো ধরে ফেলে।.

সরাসরি নিরাপত্তা যাচাই দিয়ে শুরু করুন: বিষাক্ততা, হয়রানি, অনিরাপদ নির্দেশনা, সংবেদনশীল তথ্য, এবং নীতি লঙ্ঘন। মডেল এমন কিছু তৈরি করতে পারে যা আপনার পণ্য প্রদর্শন করা উচিত নয়, এমনকি মূল প্রম্পটটি নিরীহ দেখালেও।.

পরবর্তী, ভিত্তি যাচাই করুন। যদি আপনার অ্যাপ রেফারেন্স ডকুমেন্ট, রিট্রিভাল স্নিপেট, ডাটাবেস সারি, বা গ্রাহক রেকর্ড সরবরাহ করে, তবে উত্তরটি সেই প্রসঙ্গের সাথে যাচাই করা উচিত। একটি সাবলীল কিন্তু অসমর্থিত উত্তর একটি স্পষ্ট ব্যর্থতার চেয়ে বেশি ক্ষতিকর হতে পারে কারণ ব্যবহারকারীরা এটি বিশ্বাস করার সম্ভাবনা বেশি।.

তারপর কাঠামো যাচাই করুন। যদি আউটপুটটি JSON, একটি সাপোর্ট ম্যাক্রো, একটি চুক্তির ধারা, একটি ডাটাবেস আপডেট, বা একটি টুল কমান্ড হওয়ার কথা হয়, তবে স্কিমা এবং অনুমোদিত ক্ষেত্রগুলো পরীক্ষা করুন। এমন একটি স্থানে মডেলকে ইচ্ছামতো টেক্সট লিখতে দেবেন না যেখানে সীমাবদ্ধ ডেটা প্রত্যাশিত।.

অবশেষে, কর্ম প্রস্তুতি যাচাই করুন। একটি খসড়া ইমেইল ব্যবহারকারীর পর্যালোচনার জন্য দেখানো যেতে পারে। একটি রিফান্ড অনুমোদন, অ্যাকাউন্ট পরিবর্তন, কোড মার্জ, বা গ্রাহক বিজ্ঞপ্তির জন্য একটি স্পষ্ট মানব গেট প্রয়োজন হতে পারে।.

লক্ষ্য প্রতিটি উত্তর নিখুঁত করা নয়। এটি পূর্বানুমেয় ব্যর্থতাগুলোকে এমন জায়গায় পৌঁছানো থেকে প্রতিরোধ করা যেখানে সেগুলো ব্যয়বহুল।.

ব্লক, অনুমোদন, বা পর্যালোচনা আচরণ ইচ্ছাকৃতভাবে নির্বাচন করুন।

একটি গার্ডরেল শুধুমাত্র তখনই কার্যকর যখন পণ্যটি রায়ের সাথে কী করতে হবে তা জানে।.

নিম্ন-ঝুঁকির সমস্যাগুলির জন্য, অ্যাপটি ব্যবহারকারীকে প্রম্পট সংশোধন করতে বলতে পারে। অসমর্থিত আউটপুটের জন্য, অ্যাপটি একটি নিরাপদ বিকল্প উত্তর দিতে পারে এবং ব্যাখ্যা করতে পারে যে এটি ফলাফল যাচাই করতে পারেনি। উচ্চ-ঝুঁকির ক্রিয়াগুলির জন্য, অ্যাপটি রানটি একজন মানব পর্যালোচকের কাছে পাঠাতে পারে।.

সবচেয়ে কঠিন সিদ্ধান্ত হল গার্ডরেল সিস্টেম ব্যর্থতাগুলি কীভাবে পরিচালনা করা যায়। যদি যাচাইকরণ উপলব্ধ না থাকে, তাহলে অ্যাপটি খোলা অবস্থায় ব্যর্থ হয়ে চালিয়ে যাবে, নাকি বন্ধ অবস্থায় ব্যর্থ হয়ে অনুরোধটি ব্লক করবে?

এর কোনো সার্বজনীন উত্তর নেই।.

খোলা অবস্থায় ব্যর্থ হওয়া নিম্ন-ঝুঁকির ড্রাফটিং বৈশিষ্ট্যগুলির জন্য যুক্তিসঙ্গত হতে পারে যেখানে প্রাপ্যতা গুরুত্বপূর্ণ এবং আউটপুট এখনও ব্যবহারকারীর পর্যালোচনা প্রয়োজন। বন্ধ অবস্থায় ব্যর্থ হওয়া নিয়ন্ত্রিত পরামর্শ, আর্থিক ক্রিয়াকলাপ, অ্যাকাউন্ট পরিবর্তন, ব্যক্তিগত ডেটা বা বাহ্যিক টুল কার্যকরকরণের সাথে সম্পর্কিত ওয়ার্কফ্লোগুলির জন্য নিরাপদ।.

এই সিদ্ধান্তটি প্রতিটি ওয়ার্কফ্লো অনুযায়ী নিন, সার্বজনীনভাবে নয়। একটি পণ্য ব্রেনস্টর্মিংয়ের জন্য উদার হতে পারে এবং এমন ক্রিয়াগুলির জন্য কঠোর হতে পারে যা গ্রাহক, অর্থ, ডেটা বা নিরাপত্তাকে প্রভাবিত করে।.

ShareAI-এর ভূমিকা স্পষ্ট রাখুন।

ShareAI বিল্ডারদের AI ব্যবহারের সাথে একটি মার্কেটপ্লেস এবং API স্তরে সংযোগ করতে সাহায্য করে। বিল্ডাররা ShareAI-এর মাধ্যমে ইনফারেন্স রুট করতে পারে, মডেলগুলি নির্বাচন করতে পারে মডেল মার্কেটপ্লেস নয়, এবং যখন তাদের নিজস্ব অ্যাপ AI ব্যবহার তৈরি করে তখন একটি মার্জিন সেট করতে পারে।.

এটি ShareAI-কে আপনার পণ্য নিরাপত্তা মডেলের মালিক করে না।.

বিল্ডার এখনও মালিক:

• ব্যবহারকারী প্রমাণীকরণ এবং অনুমোদন।.
• অ্যাপ-নির্দিষ্ট বিষয়বস্তু নীতি।.
• প্রম্পট এবং আউটপুট যাচাইকরণ।.
• টুল অনুমতি এবং অনুমোদন প্রবাহ।.
• গ্রাহক-মুখী ত্রুটি পরিচালনা।.
• লগিং, পর্যবেক্ষণ, এবং সহায়তা পর্যালোচনা।.
• গোপনীয়তা এবং সম্মতি সিদ্ধান্ত।.

এই পার্থক্যটি গুরুত্বপূর্ণ। ShareAI আপনার AI পণ্যের অর্থনীতিকে সমর্থন করতে পারে, তবে গার্ডরেলগুলি গ্রাহকদের সাথে আপনার তৈরি করা অ্যাপ্লিকেশন চুক্তির অংশ।.

আপনি যদি একটি বিল্ডার ওয়ার্কফ্লো বাস্তবায়ন করছেন, তাহলে শুরু করুন ShareAI ডকুমেন্টেশন এবং API রেফারেন্স, তারপর আপনার নিজস্ব নীতি যাচাই এবং পর্যবেক্ষণযোগ্যতার সাথে ইন্টিগ্রেশন জোড়া দিন।.

একটি ব্যবহারিক বাস্তবায়ন চেকলিস্ট

প্রোডাকশন মডেল কলগুলির চারপাশে গার্ডরেল যোগ করার সময় এই চেকলিস্টটি ব্যবহার করুন:

• পণ্যের প্রতিটি AI ওয়ার্কফ্লো তালিকাভুক্ত করুন।.
• প্রতিটি ওয়ার্কফ্লো ঝুঁকি অনুযায়ী শ্রেণীবদ্ধ করুন: খসড়া তৈরি, পরামর্শ, গ্রাহকের ক্রিয়া, ডেটা অ্যাক্সেস, টুল ক্রিয়া, বা নিয়ন্ত্রিত ডোমেইন।.
• ইনজেকশন প্রচেষ্টা, অনিরাপদ বিষয়বস্তু, অসমর্থিত অনুরোধ, এবং সংবেদনশীল ডেটার জন্য প্রম্পটগুলি যাচাই করুন।.
• নীতিমালা লঙ্ঘন, অসমর্থিত দাবি, স্কিমা ত্রুটি, এবং ডেটা লিকেজের জন্য আউটপুট যাচাই করুন।.
• কোন ওয়ার্কফ্লো খোলা অবস্থায় ব্যর্থ হতে পারে এবং কোনটি বন্ধ অবস্থায় ব্যর্থ হতে হবে তা নির্ধারণ করুন।.
• অপরিবর্তনীয় বা উচ্চ-প্রভাবিত ক্রিয়াগুলির জন্য মানব পর্যালোচনা যোগ করুন।.
• রায়, মডেল আইডি, ওয়ার্কফ্লো আইডি, ব্যবহারকারী আইডি, এবং কারণ কোড লগ করুন।.
• যাচাইয়ের বিলম্ব এবং ব্যর্থতার হার ট্র্যাক করুন।.
• প্রতিকূল প্রম্পট, বিশৃঙ্খল নথি এবং টুল-ফলাফল ইনজেকশন দিয়ে পরীক্ষা করুন।.
• ব্যবহার বৃদ্ধি পাওয়ার সাথে সাথে নীতিগুলি পুনর্বিবেচনা করুন।.

পর্যবেক্ষণযোগ্যতার জন্য, ওপেনটেলিমেট্রি পর্যবেক্ষণ প্রাইমার একটি সহায়ক সূচনা পয়েন্ট। AI গার্ডরেলগুলি এমন ট্রেস এবং লগ তৈরি করা উচিত যা শুধুমাত্র একটি অনুরোধ ব্লক করা হয়েছে তা নয়, কেন এটি ব্লক করা হয়েছে এবং অ্যাপটি পরবর্তী কী করেছে তা ব্যাখ্যা করে।.

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

AI গেটওয়ে গার্ডরেল কী?

AI গেটওয়ে গার্ডরেলগুলি মডেল ট্রাফিকের কাছে স্থাপন করা যাচাই চেক। এগুলি প্রম্পট, আউটপুট বা টুল কলগুলি পরিদর্শন করে এবং সিদ্ধান্ত প্রদান করে যেমন অনুমতি, ব্লক, পর্যালোচনা বা পুনরায় চেষ্টা, AI প্রতিক্রিয়া ব্যবহারকারী বা সিস্টেমে পৌঁছানোর আগে।.

ShareAI কি একটি AI গার্ডরেল ইঞ্জিন প্রদান করে?

এই নিবন্ধটি ShareAI-কে একটি গার্ডরেল ইঞ্জিন হিসাবে অবস্থান করে না। ShareAI নির্মাতাদের মডেল অ্যাক্সেস করতে, AI ব্যবহার রুট করতে এবং অ্যাপ ট্রাফিক থেকে অর্থ উপার্জন করতে সহায়তা করে। নির্মাতারা তাদের নিজস্ব অ্যাপ্লিকেশন স্ট্যাকে পণ্য-নির্দিষ্ট নিরাপত্তা, নীতি, লগিং এবং পর্যালোচনা নিয়ন্ত্রণ বাস্তবায়ন করা উচিত।.

কেন প্রম্পট এবং আউটপুট উভয় যাচাই করা উচিত?

প্রম্পট যাচাই মডেলে পৌঁছানোর আগে অনিরাপদ বা ম্যানিপুলেটিভ ইনপুটগুলি ধরে। আউটপুট যাচাই ব্যবহারকারী বা ডাউনস্ট্রিম সিস্টেম দেখার আগে অনিরাপদ, অসমর্থিত, বিকৃত বা নীতি-ভঙ্গকারী প্রতিক্রিয়াগুলি ধরে।.

প্রম্পট ইনজেকশন কী?

প্রম্পট ইনজেকশন হল মডেলটিকে এমন নির্দেশনা দিয়ে ম্যানিপুলেট করার চেষ্টা যা অ্যাপের উদ্দেশ্যযুক্ত আচরণের সাথে বিরোধ করে। এটি ব্যবহারকারীর ইনপুট, পুনরুদ্ধার করা নথি, ওয়েবপেজ বা টুল ফলাফল থেকে আসতে পারে।.

আউটপুট যাচাই কী পরীক্ষা করা উচিত?

আউটপুট যাচাই অনিরাপদ বিষয়বস্তু, অসমর্থিত দাবি, সংবেদনশীল ডেটা লিকেজ, স্কিমা ত্রুটি, সরবরাহকৃত প্রসঙ্গের বিরুদ্ধে বিভ্রম এবং যেকোনো ডাউনস্ট্রিম ক্রিয়ার জন্য প্রস্তুতির জন্য পরীক্ষা করা উচিত।.

প্রতিটি ব্লক করা অনুরোধ কি একইভাবে ব্যর্থ হওয়া উচিত?

না। একটি ব্রেনস্টর্মিং ফিচার একটি আর্থিক ওয়ার্কফ্লো বা অ্যাকাউন্ট-ম্যানেজমেন্ট টুলের তুলনায় ভিন্নভাবে প্রতিক্রিয়া জানাতে পারে। ঝুঁকির সাথে প্রতিক্রিয়া মেলান: ব্যবহারকারীকে সংশোধন করতে বলুন, একটি নিরাপদ বিকল্প দেখান, পর্যালোচনার জন্য পাঠান, বা সম্পূর্ণভাবে ব্লক করুন।.

ফেইল ওপেন বনাম ফেইল ক্লোজড কী?

ফেইল ওপেন মানে অ্যাপটি চলতে থাকে যখন গার্ডরেল সিস্টেমটি অনুপলব্ধ থাকে। ফেইল ক্লোজড মানে অ্যাপটি অনুরোধটি ব্লক করে যতক্ষণ না যাচাইকরণ উপলব্ধ হয়। উচ্চ-ঝুঁকির ওয়ার্কফ্লো সাধারণত নিম্ন-ঝুঁকির ড্রাফটিং ফিচারের তুলনায় কঠোর আচরণ প্রাপ্য।.

গার্ডরেল বিল্ডার মনিটাইজেশনে কীভাবে প্রভাব ফেলে?

গার্ডরেল অপচয় হওয়া মডেল কল কমাতে পারে, ব্যয়বহুল ব্যর্থতা প্রতিরোধ করতে পারে, এবং প্রিমিয়াম AI ওয়ার্কফ্লোকে বিশ্বাসযোগ্য করে তুলতে পারে। বিল্ডাররা এখনও ShareAI-এর মাধ্যমে ব্যবহার রুট করতে পারে এবং একটি মার্জিন সেট করতে পারে, তবে প্রোডাক্টটি নিয়ন্ত্রণ করা উচিত কখন একটি ওয়ার্কফ্লো আরও টোকেন ব্যয় করতে বা চালিয়ে যেতে অনুমতি পায়।.

গার্ডরেল কি মানব পর্যালোচনার পরিবর্তে ব্যবহার করা হয়?

না। গার্ডরেল পূর্বাভাসযোগ্য ঝুঁকি কমায়, তবে মানব পর্যালোচনা এখনও গুরুত্বপূর্ণ অপরিবর্তনীয় পদক্ষেপ, নিয়ন্ত্রিত ওয়ার্কফ্লো, সংবেদনশীল গ্রাহক ফলাফল, এবং যেখানে মডেল অনিশ্চিত সেই ক্ষেত্রে।.

এজেন্সিগুলি গার্ডরেল সম্পর্কে কীভাবে চিন্তা করা উচিত?

এজেন্সিগুলি গার্ডরেলকে ক্লায়েন্ট ডেলিভারেবলের অংশ হিসাবে বিবেচনা করা উচিত। নীতি, লগিং, এসকেলেশন, এবং পর্যালোচনা আচরণ লঞ্চের আগে সংজ্ঞায়িত করুন, বিশেষত যখন AI ফিচার গ্রাহকের ডেটা বা বাহ্যিক টুলগুলিকে স্পর্শ করে।.

গেটওয়ে গার্ডরেল কি শুধুমাত্র বড় এন্টারপ্রাইজের জন্য?

না। ছোট দলগুলিও ধারাবাহিক যাচাইকরণ থেকে উপকৃত হয় যখন তাদের একাধিক AI ফিচার, একাধিক মডেল, বা এমন কোনো ওয়ার্কফ্লো থাকে যা ব্যবহারকারী, ডেটা, বা অর্থকে প্রভাবিত করতে পারে।.

প্রথম গার্ডরেলটি কী যোগ করা উচিত?

প্রম্পট ইনজেকশন ডিটেকশন, আউটপুট পলিসি চেক, এবং স্ট্রাকচার্ড আউটপুটের জন্য স্কিমা যাচাইকরণ দিয়ে শুরু করুন। তারপর গ্রাউন্ডিং চেক, টুল পারমিশন, এবং যেখানে ওয়ার্কফ্লো ঝুঁকি তা সমর্থন করে সেখানে মানব পর্যালোচনা যোগ করুন।.