उत्पादन में RAG

पुनर्प्राप्ति-संवर्धित पीढ़ी के डेमो में एक दोपहर का समय लगता है। एक RAG प्रणाली जिसे आप किसी उद्यम के सामने रख सकते हैं, वह उस अनुशासन को लेती है जिसे डेमो छोड़ देता है, जिसकी शुरुआत इस बात से होती है कि किसे क्या देखने की अनुमति है।

RAG कार्यान्वयन अभी एंटरप्राइज़ एआई में सबसे अधिक अनुरोधित क्षमता है, क्योंकि यह संगठन के स्वयं के ज्ञान पर आधारित उत्तरों का वादा करता है। वादा सच्चा है। विफलता मोड विशिष्ट हैं, और टालने योग्य हैं।

अनुमति-जागरूक पुनर्प्राप्ति गैर-परक्राम्य है

किसी भी उद्यम RAG प्रणाली का पहला प्रश्न यह नहीं है कि "सर्वोत्तम उत्तर क्या है" बल्कि "इस उपयोगकर्ता को क्या जानने की अनुमति है।" यदि पुनर्प्राप्ति एक दस्तावेज़ को सामने ला सकती है जिसे उपयोगकर्ता अन्यथा नहीं खोल सकता है, तो आपने एक अनुकूल चैट इंटरफ़ेस के साथ एक डेटा-एक्सपोज़र इंजन बनाया है। पहुंच नियंत्रण पुनर्प्राप्ति के माध्यम से होना चाहिए: सूचकांक स्रोत सिस्टम के समान अनुमतियों का सम्मान करता है, और प्रत्येक क्वेरी को अनुरोधकर्ता के अधिकारों के दायरे में रखा जाता है।

यदि पुनर्प्राप्ति वह सामने ला सकती है जिसे उपयोगकर्ता नहीं खोल सकता, तो आपने चैट इंटरफ़ेस के साथ एक डेटा-एक्सपोज़र इंजन बनाया है।

हर दावे को आधार बनाएं, और अपने स्रोत दिखाएं

उद्धरण के बिना उत्तर एक दावा है। एक उत्पादन RAG प्रणाली प्रत्येक दावे को पुनर्प्राप्त साक्ष्य में आधार बनाती है और उपयोगकर्ता को दिखाती है कि उत्तर कहां से आया है। यह दो चीजें करता है: यह उपयोगकर्ता को सत्यापित करने देता है, और यह मतिभ्रम को दृश्यमान बनाता है। जब किसी उत्तर को आधार नहीं बनाया जा सकता, तो ईमानदार प्रणाली एक विश्वसनीय पैराग्राफ का आविष्कार करने के बजाय ऐसा कहती है।

अस्वाभाविक हिस्से गुणवत्ता तय करते हैं

टीमें इस बात पर ध्यान देती हैं कि किस मॉडल का उपयोग किया जाए। व्यवहार में, पुनर्प्राप्ति गुणवत्ता को डेमो द्वारा नियंत्रित किया जाता है: दस्तावेजों को कैसे विभाजित किया जाता है, उम्मीदवारों को कैसे रैंक किया जाता है और फिर से रैंक किया जाता है, ताजगी और दोहराव को कैसे नियंत्रित किया जाता है, फ़िल्टर करने के लिए मेटाडेटा का उपयोग कैसे किया जाता है। एक औसत दर्जे के मॉडल के साथ इन्हें सही करें और आप खराब संदर्भ से तंग आकर एक महान मॉडल को हरा देंगे।

ग्राउंडिंग का स्पष्ट रूप से मूल्यांकन करें

RAG के लिए जो मीट्रिक सबसे अधिक मायने रखती है वह है ग्राउंडिंग: उत्तर के दावों का कितना अंश वास्तव में पुनर्प्राप्त स्रोतों द्वारा समर्थित है। इसे मूल्यांकन हार्नेस में बनाएँ। एक प्रणाली जो सटीक है लेकिन निराधार है वह एक ऐसी प्रणाली है जो भाग्य से सही होती है, और भाग्य उत्पादन ऑडिट में टिक नहीं पाता है।