Een open-source large language model toegevoegd aan de Snowflake Arctic modelfamilie, die de beste prestaties en efficiëntie in zijn klasse biedt.

Open source onder Apache 2.0-licentie... Biedt flexibiliteit voor aanpassing met ondersteuning voor verschillende frameworks.

Snowflake, een wereldwijd cloudbedrijf voor data, heeft 'Snowflake Arctic', een enterprise-grade large language model (LLM) met ongeëvenaarde openheid en prestaties, gelanceerd.

https://seenthis.kr/newspage/2344

Arctic, ontworpen met Snowflake's unieke MoE (Mixture-of-Experts)-benadering, levert de beste prestaties en productiviteit in zijn klasse. Het is geoptimaliseerd om te voldoen aan de complexe vereisten van bedrijven en voldoet aan de hoogste standaarden in verschillende criteria, waaronder het genereren van SQL-code en het uitvoeren van opdrachten.

Met name Arctic heeft een Apache 2.0-licentie die gratis commercieel gebruik mogelijk maakt. Snowflake heeft gedetailleerde informatie over de AI-trainingsmethoden gepubliceerd, waardoor een nieuwe open standaard is vastgesteld voor enterprise-grade AI-technologie. De Arctic LLM is onderdeel van de Snowflake Arctic modelfamilie en omvat ook een tekst-embeddingmodel voor zoekdoeleinden.

Sridhar Ramaswamy, CEO van Snowflake, zei: "Het AI-onderzoeksteam van Snowflake heeft een belangrijke mijlpaal bereikt voor ons bedrijf door innovatie op het gebied van AI te bevorderen. Door de beste prestaties en efficiëntie in de branche open source te maken, breidt Snowflake de mogelijkheden van open source AI verder uit. We vergroten ook de AI-capaciteiten van Snowflake om klanten krachtige en betrouwbare AI-modellen te bieden."

◇ Arctic, een open-source LLM die brede samenwerking ondersteunt

Volgens een recent rapport van Forrester, een marktonderzoeksbureau, zei ongeveer 46% van de AI-beslissingsbevoegdheden in grote bedrijven dat ze 'bestaande open-source LLM's gebruiken om generatieve AI te implementeren in hun bedrijven als onderdeel van hun AI-strategie'. Het Snowflake-datacloudplatform wordt momenteel gebruikt door meer dan 9.400 bedrijven en organisaties wereldwijd. Door gebruik te maken van een open LLM met toonaangevende openheid, kunnen deze bedrijven hun data benutten.

Arctic, een open-source model onder Apache 2.0-licentie, biedt ook flexibiliteit bij het selecteren van inferentiemodi en trainingsmethoden, samen met codetemplates. Gebruikers kunnen Arctic gebruiken en aanpassen met behulp van populaire frameworks zoals NVIDIA NIM, NVIDIA TensorRT-LLM, vLLM en Hugging Face. Met Snowflake Cortex kunnen gebruikers Arctic onmiddellijk gebruiken via serverloze inferentie. Snowflake Cortex is een volledig beheerde service die machine learning- en AI-oplossingen biedt in de datacloud met een breed scala aan modellen, waaronder Hugging Face, Lamini, Microsoft Azure, NVIDIA API Catalogus, Perplexity en Together AI. Arctic zal ook beschikbaar worden op Amazon Web Services (AWS).

◇ Uitstekende bronnefficiëntie en topprestaties

Het AI-onderzoeksteam van Snowflake bestaat uit toonaangevende onderzoekers en systeemontwikkelaars. De bouw van Arctic duurde minder dan drie maanden. Voor het trainen van het model werden Amazon Elastic Compute Cloud (Amazon EC2) P5- instanties gebruikt, waarbij de trainingskosten slechts een achtste waren van vergelijkbare modellen. Snowflake stelt een nieuwe norm voor de trainingsnelheid van geavanceerde open enterprise-modellen en ondersteunt uiteindelijk gebruikers bij het creëren van kosteneffectieve, aangepaste modellen op optimale schaal.

Het gedifferentieerde MoE-ontwerp van Arctic verbetert zowel het trainingsysteem als de modelprestaties door zorgvuldig ontworpen data-assemblage op basis van bedrijfsvereisten. Het activeert ook 480 miljard parameters in batches van 17 tegelijk, wat resulteert in uitstekende token-efficiëntie en toonaangevende kwaliteit, wat leidt tot optimale resultaten. Om een significante efficiëntieverbetering te realiseren, activeert Arctic ongeveer 50% minder parameters dan DBRX tijdens inferentie of training, en ongeveer 75% minder dan Llama 3 70B. Het overtreft ook de prestaties van belangrijke bestaande open-source modellen zoals DBRX en Mixtral-8x7B in codering (HumanEval+, MBPP+) en SQL-generatie (Spider), terwijl het gelijktijdig toonaangevende prestaties laat zien in algemene taalbegrip (MMLU, Large Language Understanding).

◇ AI-innovatie voor iedereen, geleid door Snowflake

Snowflake biedt bedrijven de datagrond en geavanceerde AI-bouwstenen die nodig zijn om praktische AI/machine learning-apps te bouwen met behulp van hun eigen data. Wanneer klanten Arctic gebruiken via Snowflake Cortex, wordt het eenvoudiger om productie-ready AI-apps op de juiste schaal te bouwen binnen de beveiligings- en governance-grenzen van de datacloud.

De Snowflake Arctic-modelfamilie, die de Arctic LLM omvat, omvat ook Arctic Embed, een van Snowflake's recent gelanceerde geavanceerde tekst-embeddingmodellen. Dit product is open source onder Apache 2.0-licentie en kan gratis worden gebruikt door de open source-gemeenschap. De familie, bestaande uit vijf modellen, is direct beschikbaar op Hugging Face en zal geïntegreerd worden in Snowflake Cortex in een privé preview-vorm. Dit embeddingmodel, dat ongeveer een derde van de omvang heeft van vergelijkbare modellen, is geoptimaliseerd voor optimale zoekprestaties, wat bedrijven een effectieve en economische oplossing biedt wanneer ze hun eigen datasets combineren met LLM's als onderdeel van zoekverbeterde generatie (RAG) of semantische zoekservices.

Onlangs heeft Snowflake ook modellen van Reka en Mistral AI toegevoegd, waardoor klanten toegang hebben tot de nieuwste LLM's met de hoogste prestaties in de datacloud. Het bedrijf heeft onlangs ook een uitgebreid partnerschap met NVIDIA aangekondigd om AI-innovatie te blijven bevorderen. De datacloud van Snowflake, in combinatie met een full-stack NVIDIA-versnelde platform, biedt een veilige en krachtige infrastructuur en rekenkracht om de productiviteit van AI in alle sectoren te benutten. Snowflake Ventures heeft onlangs ook geïnvesteerd in Landing AI, Mistral AI en Reka om klanten te helpen waarde te creëren uit hun bedrijfsdata met behulp van LLM's en AI.