- 스노우플레이크, 업계 최고 수준의 개방성 갖춘 엔터프라이즈급 LLM ‘아크틱’ 출시 > 뉴스 - 스타트업 커뮤니티 씬디스
- 스노우플레이크 아크틱 모델군에 동급 최고 성능·효율 갖춘 개방형 대규모언어모델 추가아파치 2.0 라이선스 기반 오픈소스… 다양한 프레임워크 지원…, 스타트업에 종사하시는 여러분들의 놀이터 씬디스는 스타트업 커뮤니티 입니다.
Snowflake erweitert die Snowflake Arctic Modellfamilie um ein branchenführendes, leistungsstarkes und effizientes Open-Source-Large-Language-Modell (LLM).
Das Open-Source-Modell basiert auf der Apache 2.0 Lizenz und bietet Flexibilität durch die Unterstützung verschiedener Frameworks, die eine Anpassung ermöglichen.
Snowflake, ein weltweit führendes Unternehmen im Bereich Data Cloud, hat das leistungsstarke und offene Enterprise-Large-Language-Modell (LLM) ‚Snowflake Arctic‘ vorgestellt.
Arctic, das auf der einzigartigen MoE-Methode (Mixture-of-Experts) von Snowflake basiert, bietet branchenführende Leistung und Produktivität. Es ist optimiert für die Bewältigung komplexer Anforderungen von Unternehmen und erfüllt die höchsten Standards in verschiedenen Bereichen wie der SQL-Codegenerierung und der Befehlsausführung.
Arctic ist unter der Apache 2.0-Lizenz kostenlos und auch für kommerzielle Zwecke nutzbar. Snowflake hat detaillierte Informationen zu den AI-Trainingsmethoden veröffentlicht und damit einen neuen offenen Standard für Enterprise-AI-Technologien gesetzt. Das Arctic LLM ist Teil der Snowflake Arctic Modellfamilie und umfasst auch Text-Embedding-Modelle für die Suche.
„Das Snowflake AI-Forschungsteam hat bahnbrechende Innovationen im Bereich der KI vorangetrieben und einen wichtigen Wendepunkt für unser Unternehmen geschaffen“, so Sridhar Ramaswamy, CEO von Snowflake. „Durch die Veröffentlichung eines Open-Source-Modells mit branchenführender Leistung und Effizienz für die KI-Community erweitert Snowflake die Möglichkeiten von Open-Source-KI. Wir stärken damit auch die KI-Fähigkeiten von Snowflake, um unseren Kunden leistungsstarke und zuverlässige KI-Modelle bereitzustellen.“
◇ Arctic: Ein Open-Source-LLM für umfassende Zusammenarbeit
Laut einem aktuellen Bericht von Forrester nutzen etwa 46 % der globalen Entscheidungsträger im Bereich KI bestehende Open-Source-LLMs, um generative KI als Teil ihrer KI-Strategie in ihren Unternehmen einzuführen. Die Snowflake Data Cloud wird derzeit von über 9.400 Unternehmen und Organisationen weltweit zur Datenanalyse genutzt. Mit dem offenen LLM können sie nun ihre Daten noch besser nutzen.
Das Open-Source-Modell Arctic unter der Apache 2.0-Lizenz bietet Flexibilität bei der Auswahl von Inferenz- und Trainingsmethoden sowie Codevorlagen. Benutzer können Arctic mit ihren bevorzugten Frameworks wie NVIDIA NIM, NVIDIA TensorRT-LLM, vLLM und Hugging Face verwenden und anpassen. Über Snowflake Cortex ist Arctic über serverloses Inferencing sofort einsatzbereit. Snowflake Cortex ist ein vollständig verwalteter Service, der Machine-Learning- und KI-Lösungen in der Data Cloud bietet und eine breite Palette von Modellen umfasst, darunter Hugging Face, Lamini, Microsoft Azure, den NVIDIA API-Katalog, Perplexity und Together AI. Arctic wird voraussichtlich auch auf Amazon Web Services (AWS) verfügbar sein.
◇ Herausragende Ressourceneffizienz und höchste Leistung
Das Snowflake AI-Forschungsteam besteht aus Top-Wissenschaftlern und Systemingenieuren. Die Entwicklung von Arctic dauerte weniger als drei Monate. Für das Modelltraining wurden Amazon Elastic Compute Cloud (Amazon EC2) P5-Instanzen verwendet, wobei die Trainingskosten nur ein Achtel der Kosten vergleichbarer Modelle betrugen. Snowflake setzt damit neue Maßstäbe für die Geschwindigkeit beim Training von fortschrittlichen, offenen Enterprise-Modellen und ermöglicht es Benutzern letztendlich, kostengünstige und maßgeschneiderte Modelle in optimaler Größe zu erstellen.
Das innovative MoE-Design von Arctic verbessert sowohl das Trainingssystem als auch die Modellleistung durch eine präzise auf die Anforderungen des Unternehmens abgestimmte Datenerfassung. Durch die gleichzeitige Aktivierung von 480 Milliarden Parametern, jeweils 17 Stück, werden eine hervorragende Token-Effizienz und branchenführende Qualität erzielt, die zu optimalen Ergebnissen führen. Um die Effizienz deutlich zu steigern, aktiviert Arctic beim Inferencing oder Training etwa 50 % weniger Parameter als DBRX und etwa 75 % weniger als Llama 3 70B. In Bezug auf das Codieren (HumanEval+, MBPP+) und die SQL-Generierung (Spider) übertrifft Arctic die Leistung gängiger Open-Source-Modelle wie DBRX und Mixtral-8x7B und erzielt gleichzeitig Spitzenergebnisse im Bereich des allgemeinen Sprachverständnisses (MMLU, Large-Scale Multilingual Understanding).
◇ KI-Innovationen für alle, angeführt von Snowflake
Snowflake bietet Unternehmen die notwendigen Datenfundamente und hochmodernen KI-Bausteine, um praktische KI/Machine-Learning-Anwendungen mit ihren eigenen Daten zu entwickeln. Wenn Kunden Arctic über Snowflake Cortex nutzen, vereinfacht sich die Bereitstellung von produktionsreifen KI-Anwendungen in der richtigen Größe innerhalb des Sicherheits- und Governance-Umfelds der Data Cloud.
Die Snowflake Arctic Modellfamilie, zu der auch das Arctic LLM gehört, umfasst Arctic Embed, eines der neuesten und fortschrittlichsten Text-Embedding-Modelle von Snowflake. Dieses Produkt ist unter der Apache 2.0-Lizenz Open Source und steht der Community kostenlos zur Verfügung. Die Modellfamilie besteht aus fünf Modellen, die direkt bei Hugging Face verfügbar sind und in Snowflake Cortex im Rahmen einer Private Preview veröffentlicht werden sollen. Dieses Embedding-Modell ist etwa ein Drittel so groß wie vergleichbare Modelle und für optimale Suchergebnisse optimiert. Damit bietet es Unternehmen eine effiziente und kostengünstige Lösung, um ihre eigenen Datensätze mit LLMs zu kombinieren, beispielsweise für Search Augmented Generation (RAG) oder semantische Suchdienste.
Snowflake erweitert kontinuierlich den Zugriff auf die leistungsstärksten und modernsten LLMs in der Data Cloud, beispielsweise durch die jüngste Integration der Modelle von Reka und Mistral AI. Darüber hinaus treibt Snowflake die KI-Innovationen durch die kürzlich angekündigte erweiterte Partnerschaft mit NVIDIA voran. Die Snowflake Data Cloud in Kombination mit der vollständigen NVIDIA-beschleunigten Plattform bietet eine sichere und leistungsstarke Infrastruktur und Rechenleistung, um die Produktivität von KI in allen Branchen zu fördern. Snowflake Ventures investiert in Unternehmen wie Landing AI, Mistral AI und Reka, um Kunden dabei zu unterstützen, den Wert von LLMs und KI aus ihren Unternehmensdaten zu schöpfen.
Kommentare0