Snowflake fügt seiner Arctic-Modellfamilie ein Open-Source-Großes Sprachmodell (Large Language Model, LLM) mit branchenführender Leistung und Effizienz hinzu.

Das Open-Source-Modell basiert auf der Apache 2.0-Lizenz und bietet Flexibilität durch Unterstützung verschiedener Frameworks, die eine Anpassung ermöglichen.

Snowflake, ein globales Unternehmen für Daten-Clouds, hat „Snowflake Arctic“, ein Unternehmensklassisches Großes Sprachmodell (LLM) mit branchenführender Offenheit und Leistung, veröffentlicht.

https://seenthis.kr/newspage/2344

Arctic, das mit Snowflake's einzigartigem MoE-Ansatz (Mixture-of-Experts) entwickelt wurde, bietet branchenführende Leistung und Produktivität. Es ist für die Bearbeitung komplexer Anforderungen von Unternehmen optimiert und erfüllt die höchsten Standards in verschiedenen Bereichen, darunter die SQL-Code-Generierung und die Ausführung von Befehlen.

Besonders hervorzuheben ist, dass Arctic unter der Apache 2.0-Lizenz steht, die eine kostenlose kommerzielle Nutzung ermöglicht. Snowflake veröffentlicht detaillierte Informationen zu den AI-Trainingsmethoden und setzt damit einen neuen Standard für die Offenheit von Unternehmensklassen-AI-Technologien. Das Arctic LLM ist Teil der Snowflake Arctic-Modellfamilie und beinhaltet auch ein Text-Embedding-Modell für die Suche.

Sridhar Ramaswamy, CEO von Snowflake, sagte: „Das AI-Forschungsteam von Snowflake treibt Innovationen an vorderster Front der AI-Entwicklung voran und schafft einen wichtigen Wendepunkt für unser Unternehmen. Mit der Veröffentlichung von Open-Source-Modellen mit branchenführender Leistung und Effizienz für die AI-Community erweitert Snowflake die Möglichkeiten von Open-Source-AI. Die AI-Kompetenz von Snowflake wird gestärkt, da wir unseren Kunden leistungsstarke und zuverlässige AI-Modelle anbieten können.“

◇ Arctic, ein Open-Source-LLM, das umfassende Zusammenarbeit unterstützt

Laut einem kürzlich veröffentlichten Bericht des Marktforschungsunternehmens Forrester nutzen etwa 46 % der Entscheidungsträger für AI in globalen Unternehmen „bereits bestehende Open-Source-LLMs, um generative AI als Teil ihrer AI-Strategie in ihren Unternehmen einzuführen“. Die Daten-Cloud-Plattform von Snowflake wird derzeit von über 9.400 Unternehmen und Organisationen weltweit für Datenbasis verwendet. Durch die Bereitstellung von LLMs mit branchenführender Offenheit können diese Unternehmen Daten nutzen.

Arctic, ein Open-Source-Modell unter der Apache 2.0-Lizenz, bietet auch Flexibilität bei der Auswahl von Inferenz- und Trainingsmethoden zusammen mit Code-Vorlagen. Benutzer können Arctic mit von Unternehmen bevorzugten Frameworks verwenden und anpassen, darunter NVIDIA NIM, NVIDIA TensorRT-LLM, vLLM und Hugging Face. In Snowflake Cortex können Benutzer Arctic mit Serverless Inference sofort verwenden. Snowflake Cortex bietet vollständig verwaltete Dienste, einschließlich einer breiten Palette von Modellen aus Hugging Face, Lamini, Microsoft Azure, NVIDIA API-Katalog, Perplexity und Together AI, sowie Machine-Learning- und AI-Lösungen in der Daten-Cloud. Die Nutzung von Arctic wird auch für Amazon Web Services (AWS) verfügbar sein.

◇ Hervorragender Ressourceneffizienz und branchenführende Leistung

Das AI-Forschungsteam von Snowflake besteht aus branchenführenden Forschern und Systemingenieuren. Der Aufbau von Arctic dauerte weniger als drei Monate. Für das Modelltraining wurden Amazon Elastic Compute Cloud (Amazon EC2) P5-Instanzen verwendet, wobei die Trainingskosten im Vergleich zu ähnlichen Modellen um 80 % niedriger waren. Snowflake setzt neue Maßstäbe für die Geschwindigkeit des Trainings von modernsten Open-Source-Modellen für Unternehmen und ermöglicht es Benutzern letztendlich, kostengünstige und maßgeschneiderte Modelle in optimaler Größe zu erstellen.

Die differenzierte MoE-Architektur von Arctic verbessert sowohl das Lernsystem als auch die Modellleistung durch eine präzise, ​​auf die Anforderungen des Unternehmens zugeschnittene Datenmontage. Darüber hinaus werden 480 Milliarden Parameter gleichzeitig in 17er-Gruppen aktiviert, was zu hoher Token-Effizienz, branchenführender Qualität und optimalen Ergebnissen führt. Arctic aktiviert während der Inferenz oder des Trainings etwa 50 % weniger Parameter als DBRX und etwa 75 % weniger Parameter als Llama 3 70B, um die Effizienz deutlich zu verbessern. Arctic übertrifft auch die Leistung bekannter Open-Source-Modelle wie DBRX und Mixtral-8x7B in den Bereichen Codierung (HumanEval+, MBPP+) und SQL-Generierung (Spider) und erzielt gleichzeitig Spitzenleistungen im Bereich des allgemeinen Sprachverständnisses (MMLU, Large Multitask Language Understanding).

◇ AI-Innovation für alle, angetrieben von Snowflake

Snowflake bietet Unternehmen die Datenbasis und die modernsten AI-Bausteine, die sie benötigen, um praktische AI/Machine-Learning-Anwendungen mit ihren eigenen Daten zu erstellen. Wenn Kunden Arctic über Snowflake Cortex verwenden, wird es einfacher, AI-Anwendungen in Produktionsqualität in angemessener Größe innerhalb des Sicherheits- und Governance-Bereichs der Daten-Cloud zu erstellen.

Die Snowflake Arctic-Modellfamilie, zu der auch das Arctic LLM gehört, umfasst auch Arctic Embed, eines der neuesten, fortschrittlichen Text-Embedding-Modelle, das Snowflake kürzlich veröffentlicht hat. Dieses Produkt ist unter der Apache 2.0-Lizenz verfügbar und steht der Open-Source-Community kostenlos zur Verfügung. Diese Produktfamilie, die aus fünf Modellen besteht, ist sofort bei Hugging Face verfügbar und wird in Snowflake Cortex in Form einer privaten Vorschau integriert. Dieses Embedding-Modell, das etwa ein Drittel der Größe ähnlicher Modelle hat, ist für die bestmögliche Suchleistung optimiert und bietet Unternehmen eine effiziente und kostengünstige Lösung, um ihre einzigartigen Datensätze mit LLMs in Verbindung zu bringen, etwa als Teil von Retrieval Augmented Generation (RAG) oder semantischen Suchdiensten.

Snowflake unterstützt Kunden weiterhin dabei, auf die leistungsstärksten und neuesten LLMs in der Daten-Cloud zuzugreifen, indem es kürzlich auch Modelle von Reka und Mistral AI hinzugefügt hat. Außerdem hat Snowflake kürzlich eine erweiterte Partnerschaft mit NVIDIA bekannt gegeben, um die AI-Innovationen voranzutreiben. Die Daten-Cloud von Snowflake bietet eine sichere und leistungsstarke Infrastruktur und Rechenleistung in Kombination mit der NVIDIA-Vollstapel-Beschleunigungsplattform, um die AI-Produktivität in allen Branchen zu nutzen. Snowflake Ventures hat kürzlich auch in Unternehmen wie Landing AI, Mistral AI und Reka investiert, um Kunden bei der Nutzung von LLMs und AI, um Wert aus ihren Unternehmensdaten zu generieren, zu unterstützen.