- Weights & Biases, LLM 평가 모범 사례 담은 백서 일반 다운로드 공개 > 뉴스 - 스타트업 커뮤니티 씬디스
- Weights & Biases (웨이츠 앤드 바이어시스, 이하 W&B)는 지난 1일 ‘AI EXPO KOREA 2024’에서 백서…, 스타트업에 종사하시는 여러분들의 놀이터 씬디스는 스타트업 커뮤니티 입니다.
Weights & Biases (เวทส์ แอนด์ ไบเอซีส หรือ W&B) ได้เปิดเผยหนังสือขาว “แนวทางปฏิบัติที่ดีที่สุดสำหรับการประเมินแบบจำลองภาษาขนาดใหญ่ (LLM)” ในงาน ‘AI EXPO KOREA 2024’ เมื่อวันที่ 1 ที่ผ่านมา หนังสือขาวเล่มนี้เป็นเอกสารที่มีความยาว 59 หน้า ซึ่งรวบรวมประสบการณ์ในการพัฒนาและดำเนินงานของ ‘Horangi Korean LLM Leaderboard (http://horangi.ai)’ และ ‘Nejumi Japanese LLM Leaderboard’ ที่ W&B ดำเนินการ รวมถึงความรู้จากวิศวกรผู้เชี่ยวชาญด้าน LLM ของทีมทั่วโลก โดยได้มีการแปลเป็นภาษาเกาหลีร่วมกับ Penta System
หน้าดาวน์โหลดหนังสือขาว
URL นี้ให้ลิงก์ไปยังไฟล์ PDF ของหนังสือขาว: http://wandb.me/kr-llm-eval-wp
ภาพรวมและสารบัญของ ‘แนวทางปฏิบัติที่ดีที่สุดสำหรับการประเมินแบบจำลองภาษาขนาดใหญ่ (LLM)’
หนังสือขาวเล่มนี้ไม่ได้มีจุดประสงค์เพียงแค่เสนอแนวทางปฏิบัติที่ดีที่สุดสำหรับการประเมิน LLM แต่ยังมุ่งหวังที่จะเป็นรากฐานในการสร้างอนาคตของ AI ที่สร้างสรรค์ผ่านการส่งเสริมการพัฒนาและการเลือกแบบจำลองที่ดีกว่า หลังจากที่ได้นำเสนอภาพรวมของการประเมิน LLM แล้ว หนังสือขาวเล่มนี้ได้รวบรวมความท้าทายในปัจจุบัน และได้เสนอแนวทางปฏิบัติที่ดีที่สุดสำหรับการประเมิน AI ที่สร้างสรรค์ในปัจจุบัน รวมถึงแผนที่นำทางสำหรับการประเมินที่ก้าวหน้าและน่าเชื่อถือมากยิ่งขึ้น
· ภาพรวมของการประเมินแบบจำลองภาษา
· What to evaluate: ด้านที่ควรประเมิน
- ประสิทธิภาพภาษาทั่วไป
- ประสิทธิภาพเฉพาะโดเมน
- การกำกับดูแล AI
· How to evaluate: วิธีการประเมิน
· รายชื่อ LLM 리더보ดสาธารณะ
· การฝึกปฏิบัติการประเมินโดยใช้ Weights & Biases
· การพิจารณาจากการเปรียบเทียบแบบจำลอง LLM
อนาคตของการประเมิน AI ที่สร้างสรรค์
การประเมิน AI ที่สร้างสรรค์ในอนาคตจะต้องมีการเปลี่ยนแปลงอย่างต่อเนื่องไปพร้อมกับการพัฒนาที่รวดเร็วของแบบจำลอง ยิ่งประสิทธิภาพของแบบจำลองดีขึ้นเท่าใด ฝ่ายประเมินก็จะยิ่งต้องใช้ความคิดและความพยายามมากขึ้นเท่านั้น ปัจจุบันมีแบบจำลองบางส่วนที่สามารถให้ผลลัพธ์ได้มากกว่า 90% ในการประเมินความสามารถในการสร้างสรรค์ ซึ่งแสดงให้เห็นว่าจำเป็นต้องออกแบบโจทย์ที่ยากขึ้นในอนาคต
เมื่อขอบเขตการใช้งานของแบบจำลอง AI ที่สร้างสรรค์กว้างขึ้น โดยเฉพาะอย่างยิ่งในด้านธุรกิจและอุตสาหกรรม การประเมินความรู้และทักษะเฉพาะทางจะกลายเป็นสิ่งที่จำเป็นมากขึ้น เนื่องจากไม่มีวิธีการประเมินประสิทธิภาพของแบบจำลองในสาขาเฉพาะทางเหล่านี้ได้อย่างทั่วถึง จึงมีความจำเป็นเร่งด่วนที่จะต้องมีการกำหนดโจทย์การประเมินในส่วนที่สำคัญและพัฒนาชุดข้อมูล ซึ่งรวมถึงกรณีที่ต้องการรูปแบบการป้อนข้อมูลที่หลากหลาย เช่น ภาษา รูปภาพ ข้อมูล ฯลฯ ซึ่งเป็นสาเหตุที่ทำให้ความยากในการพัฒนาเพิ่มขึ้น
นอกจากนี้ ปัจจัยด้านความสะดวกสบายของผู้ใช้ก็เป็นสิ่งที่ไม่ควรมองข้ามในประสิทธิภาพของแบบจำลอง ตัวอย่างเช่น การพิจารณาความเร็วในการอนุมาน ต้นทุน ความเสถียรของ API ด้านความปลอดภัย ฯลฯ เนื่องจากความต้องการบริการเชิงพาณิชย์เพิ่มสูงขึ้น จึงมีความจำเป็นที่จะต้องสร้างสภาพแวดล้อมการอนุมานในเครื่องท้องถิ่น
แนะนำ Weights & Biases
Weights & Biases, Inc. มีสำนักงานใหญ่ตั้งอยู่ที่ซานฟรานซิสโก สหรัฐอเมริกา และให้บริการแพลตฟอร์มสำหรับนักพัฒนาและผู้ปฏิบัติงานที่ครอบคลุมการจัดการการทดลอง ML ระดับองค์กรและเวิร์กโฟลว์ MLOps แบบครบวงจร WandB ถูกนำไปใช้ในกรณีการใช้งานการเรียนรู้เชิงลึกที่หลากหลาย เช่น การพัฒนา LLM การแบ่งส่วนภาพ การพัฒนายา เป็นต้น และเป็นแนวทางปฏิบัติที่ดีที่สุดสำหรับการพัฒนา AI รูปแบบใหม่ที่ได้รับความไว้วางใจจากนักพัฒนา Machine Learning กว่า 800,000 คนทั่วโลก รวมถึง NVIDIA, OpenAI และ Toyota
เว็บไซต์ Weights & Biases ภาษาเกาหลี: https://kr.wandb.com
เว็บไซต์: https://wandb.ai/site
ติดต่อ
Weights & Biases
ฝ่ายขาย/การตลาด
ยู ซิฮยอน
+81-(0)70-4000-5657
ความคิดเห็น0