- Weights & Biases, LLM 평가 모범 사례 담은 백서 일반 다운로드 공개 > 뉴스 - 스타트업 커뮤니티 씬디스
- Weights & Biases (웨이츠 앤드 바이어시스, 이하 W&B)는 지난 1일 ‘AI EXPO KOREA 2024’에서 백서…, 스타트업에 종사하시는 여러분들의 놀이터 씬디스는 스타트업 커뮤니티 입니다.
वेट्स एंड बायसेस (वेइट्स एंड बायसेस, आगे W&B) ने 1 तारीख को 'AI EXPO KOREA 2024' में श्वेत पत्र 'बड़े भाषा मॉडल (LLM) मूल्यांकन के लिए सर्वोत्तम प्रथाएं' जारी किया। यह श्वेत पत्र W&B द्वारा संचालित 'Horangi कोरियाई LLM लीडरबोर्ड (http://horangi.ai)' और 'Nejumi जापानी LLM लीडरबोर्ड' के विकास और संचालन के अनुभव और वैश्विक टीम के LLM विशेषज्ञ इंजीनियरों के ज्ञान का संकलन है, जो 59 पृष्ठों का दस्तावेज है, जिसका पेंटा सिस्टम के साथ संयुक्त प्रयास से हिंदी में अनुवाद किया गया है।
इस श्वेत पत्र का डाउनलोड पृष्ठ
यह URL इस श्वेत पत्र के PDF संस्करण का मार्गदर्शन करता है: http://wandb.me/kr-llm-eval-wp
‘बड़े भाषा मॉडल (LLM) मूल्यांकन के लिए सर्वोत्तम प्रथाएं’ अवलोकन और विषयवस्तु
यह श्वेत पत्र केवल LLM मूल्यांकन के लिए सर्वोत्तम प्रथाओं को प्रस्तुत करने तक सीमित नहीं है, बल्कि बेहतर मॉडल के विकास और चयन को बढ़ावा देकर जनरेटिव AI के भविष्य के निर्माण के लिए आधार प्रदान करने का लक्ष्य रखता है। यह LLM मूल्यांकन की समग्र तस्वीर प्रस्तुत करता है, वर्तमान चुनौतियों को सूचीबद्ध करता है, वर्तमान समय में जनरेटिव AI मूल्यांकन के लिए सर्वोत्तम प्रथाओं और अधिक परिष्कृत और विश्वसनीय मूल्यांकन प्रदान करने के लिए रोडमैप प्रस्तुत करता है।
· भाषा मॉडल मूल्यांकन की समग्र तस्वीर
· What to evaluate: मूल्यांकन के पहलू
- सामान्य भाषा प्रदर्शन
- डोमेन-विशिष्ट प्रदर्शन
- AI शासन
· How to evaluate: मूल्यांकन विधियां
· सार्वजनिक LLM लीडरबोर्ड की सूची
· वेट्स एंड बायसेस का उपयोग करके मूल्यांकन अभ्यास
· LLM मॉडल की तुलना के माध्यम से विचार-विमर्श
जनरेटिव AI मूल्यांकन का भविष्य
भविष्य में, जनरेटिव AI का मूल्यांकन भी मॉडल के तेजी से विकास के साथ-साथ बदलता रहेगा। जैसे-जैसे मॉडल का प्रदर्शन और बेहतर होता जाएगा, मूल्यांकन करने वालों को भी अधिक सोच और प्रयास करने की आवश्यकता होगी। वर्तमान में, कुछ मॉडल पहले से ही उत्पादन क्षमता के मूल्यांकन में 90% से अधिक परिणाम दे रहे हैं, जो भविष्य में अधिक कठिन प्रश्नों को तैयार करने की आवश्यकता को दर्शाता है।
जनरेटिव AI मॉडल के उपयोग की सीमा का विस्तार हो रहा है, विशेष रूप से व्यावसायिक और औद्योगिक उपयोगों में, अधिक विशिष्ट ज्ञान और क्षमताओं के मूल्यांकन की आवश्यकता होगी। चूँकि इन विशिष्ट क्षेत्रों में मॉडल के प्रदर्शन का मूल्यांकन करने का कोई एक समान तरीका नहीं है, इसलिए महत्वपूर्ण क्षेत्रों में मूल्यांकन चुनौतियों और डेटासेट के विकास की तत्काल आवश्यकता है। इसमें भाषा के अलावा, छवि, डेटा आदि जैसे विभिन्न इनपुट स्वरूप भी शामिल हैं, जो विकास की जटिलता को बढ़ाते हैं।
इसके अलावा, मॉडल के प्रदर्शन में उपयोगकर्ता की सुविधा का पहलू भी अनिवार्य है। उदाहरण के लिए, अनुमान गति और लागत, API की स्थिरता और सुरक्षा पहलुओं जैसे कारकों पर विचार करना आवश्यक है, क्योंकि वाणिज्यिक सेवाओं की मांग बढ़ रही है, जिसके कारण स्थानीय अनुमान वातावरण स्थापित करने की आवश्यकता भी पैदा हो रही है।
वेट्स एंड बायसेस परिचय
वेट्स एंड बायसेस, इंक. का मुख्यालय सैन फ्रांसिस्को, अमेरिका में है, जो उद्यम-स्तरीय ML प्रयोग प्रबंधन और एंड-टू-एंड MLOps वर्कफ़्लो को कवर करने वाला एक ऐसा प्लेटफ़ॉर्म प्रदान करता है जो डेवलपर्स और ऑपरेटरों के लिए है। WandB का उपयोग LLM विकास, छवि विभाजन, दवा विकास जैसे विभिन्न गहन शिक्षण उपयोग के मामलों में किया जाता है, और यह NVIDIA, OpenAI, टोयोटा जैसे घरेलू और विदेशी 800,000 से अधिक मशीन लर्निंग डेवलपर्स द्वारा विश्वसनीय है, जो AI विकास के लिए एक नया सर्वोत्तम प्रथा है।
W&B हिंदी वेबसाइट: https://kr.wandb.com
वेबसाइट: https://wandb.ai/site
संपर्क करें
वेट्स एंड बायसेस
बिक्री/विपणन
यू सी ह्यन
+81-(0)70-4000-5657
टिप्पणियाँ0