스타트업 커뮤니티 씬디스 (SeenThis.kr)

Snowflake、業界最高レベルのオープン性を備えたエンタープライズ向けLLM「Arctic」を発表

作成: 2024-04-25

作成: 2024-04-25 11:41

Snowflake Arcticモデルファミリーに、同クラス最高のパフォーマンスと効率性を備えたオープンソースの大規模言語モデルを追加

Apache 2.0ライセンスに基づくオープンソースであり、さまざまなフレームワークをサポートすることで、カスタマイズ可能な柔軟性を提供します。

グローバルデータクラウド企業のSnowflake(スノーフレーク)は、業界最高レベルのオープン性とパフォーマンスを備えたエンタープライズ向け大規模言語モデル(Large Language Model、以下LLM)「Snowflake Arctic(スノーフレーク・アークティック)」を発表しました。

Snowflake独自の専門家混合(MoE:Mixture-of-Experts)方式で設計されたArcticは、同クラス最高のパフォーマンスと生産性をサポートします。企業の複雑な要件処理にも最適化されており、SQLコード生成、コマンド実行など、さまざまな基準で最高条件を満たします。

特にArcticは、商用利用まで可能な無料のApache 2.0ライセンスで提供され、SnowflakeはAI学習方法の詳細を公開することで、エンタープライズレベルのAI技術に関する新たなオープンスタンダードを確立しました。また、Arctic LLMはSnowflake Arcticモデルファミリーの一部であり、検索用途のためのテキスト埋め込みモデルも含まれています。

SnowflakeのCEOであるシュリダ・ラマスワーミ(Sridhar Ramaswamy)氏は、「SnowflakeのAI研究チームは、AI分野の最前線で革新を牽引し、当社にとって重要な転換点を築きました」と述べています。「Snowflakeは、オープンソースを通じて業界最高のパフォーマンスと効率性をAIコミュニティに公開することで、オープンソースAIの可能性の領域を広げています。顧客に有能で信頼できるAIモデルを提供できるSnowflakeのAI能力も向上しています。」

◇ Arctic、幅広い協業をサポートするオープンソースLLM

市場調査会社フォーレスター(Forrester)が発表した最近のレポートによると、グローバル企業のAI意思決定者の約46%が、「AI戦略の一環として、自社の生成AI導入のために既存のオープンソースLLMを活用する」と回答しています。Snowflakeのデータクラウドプラットフォームは、現在、世界中の9400を超える企業や機関のデータ基盤として活用されています。これらは、業界最高レベルのオープン性を提供するLLMを通じて、データを活用できるようになります。

Apache 2.0ライセンスを採用したオープンソースモデルであるArcticは、コードテンプレートと共に、推論と学習方法を選択できる柔軟性も提供します。ユーザーは、NVIDIA NIM、NVIDIA TensorRT-LLM、vLLM、Hugging Faceなど、企業が好むフレームワークでArcticを使用し、カスタマイズすることができます。Snowflake Cortexでは、サーバーレス推論を通じて、Arcticをすぐに使用することもできます。Snowflake Cortexは完全に管理されたサービスであり、Hugging Face、Lamini、Microsoft Azure、NVIDIA APIカタログ、Perplexity、Together AIなど、さまざまなモデルリストと共に、データクラウドで機械学習とAIソリューションを提供します。Amazon Web Services(AWS)でも、Arcticが使用可能になる予定です。

◇ 優れたリソース効率と最高レベルのパフォーマンス

SnowflakeのAI研究チームは、業界最高の研究者とシステムエンジニアで構成されています。Arcticの構築には3か月未満かかりました。モデルの学習には、Amazon Elastic Compute Cloud(Amazon EC2)P5インスタンスが使用され、学習コストは類似モデルの8分の1でした。Snowflakeは、最先端のオープンソースエンタープライズ向けモデルの学習速度に新たな基準を提示し、最終的には、ユーザーがコスト効率が高くカスタマイズされたモデルを最適な規模で生成できるようにします。

Arcticの差別化されたMoE設計は、企業の要件に合わせて綿密に設計されたデータの組み立てにより、学習システムとモデルのパフォーマンスの両方を向上させます。また、4800億個のパラメータを一度に17個ずつアクティブ化することで、優れたトークン効率と業界最高レベルの品質を実現し、最高の結果を提供します。Arcticは、推論または学習中にDBRXよりも約50%、Llama 3 70Bよりも約75%少ないパラメータをアクティブ化することで、画期的な効率改善を実現します。コーディング(HumanEval+、MBPP+)とSQL生成(Spider)でも、DBRX、Mixtral-8x7Bなどの代表的な既存のオープンソースモデルのパフォーマンスを上回り、同時に一般的な言語理解(MMLU、大規模多言語理解)で最高レベルのパフォーマンスを示します。

◇ Snowflakeがリードする、すべての人々のためのAIイノベーション

Snowflakeは、企業がそれぞれのデータを活用して実用的なAI/機械学習アプリを作成するために必要なデータ基盤と最先端のAIビルディングブロックを提供します。顧客がSnowflake Cortexを通じてArcticを使用する場合、データクラウドのセキュリティとガバナンスの範囲内で、プロダクションレベルのAIアプリを適切な規模で構築することがさらに容易になります。

Arctic LLMを含むSnowflake Arcticモデルファミリーには、Snowflakeが最近リリースした最先端のテキスト埋め込みモデルの1つであるArctic Embedも含まれています。この製品は、Apache 2.0ライセンスでオープンソースコミュニティで無料で使用できます。5つのモデルで構成されるこの製品ファミリーは、Hugging Faceで直接使用でき、Snowflake Cortexに組み込まれて、プライベートプレビューとして公開される予定です。類似モデルの約3分の1のサイズであるこの埋め込みモデルは、最高の検索パフォーマンスを発揮するように最適化されており、企業が検索拡張生成(RAG)またはセマンティック検索サービスの一部として独自のデータセットをLLMと組み合わせる際に、効果的かつ経済的なソリューションを提供します。

最近、SnowflakeはRekaとMistral AIのモデルも追加するなど、顧客がデータクラウドで最高のパフォーマンスを発揮する最新のLLMにアクセスできるようにサポートしています。また、最近NVIDIAとの拡大されたパートナーシップを発表し、AIイノベーションを継続しています。Snowflakeのデータクラウドは、フルスタックのNVIDIAアクセラレーションプラットフォームと組み合わされ、業界全体でAIの生産性を積極的に活用する安全で強力なインフラストラクチャとコンピューティング能力を提供しています。Snowflake Venturesは、顧客がそれぞれの企業データでLLMとAIを通じて価値を創出できるようにサポートするために、最近Landing AI、Mistral AI、Rekaなどにも投資しています。



コメント0