- 스노우플레이크, 업계 최고 수준의 개방성 갖춘 엔터프라이즈급 LLM ‘아크틱’ 출시 > 뉴스 - 스타트업 커뮤니티 씬디스
- 스노우플레이크 아크틱 모델군에 동급 최고 성능·효율 갖춘 개방형 대규모언어모델 추가아파치 2.0 라이선스 기반 오픈소스… 다양한 프레임워크 지원…, 스타트업에 종사하시는 여러분들의 놀이터 씬디스는 스타트업 커뮤니티 입니다.
Добавление в семейство моделей Snowflake Arctic открытой крупномасштабной языковой модели с лучшими в своем классе производительностью и эффективностью
Открытый исходный код на основе лицензии Apache 2.0… Гибкость, обеспечиваемая поддержкой различных фреймворков, позволяет выполнять настройку
Глобальная компания Snowflake (Snowflake), предоставляющая облачные данные, выпустила корпоративную крупномасштабную языковую модель (Large Language Model, LLM) «Snowflake Arctic» с лучшим в отрасли уровнем открытости и производительности.
Arctic, разработанный с использованием уникального подхода Snowflake к смесям экспертов (MoE, Mixture-of-Experts), обеспечивает лучшие в своем классе производительность и продуктивность. Он оптимизирован для обработки сложных запросов предприятий и соответствует наилучшим условиям в различных критериях, включая генерацию кода SQL и выполнение команд.
В частности, Arctic доступен по лицензии Apache 2.0, которая разрешает бесплатное коммерческое использование. Snowflake опубликовала подробную информацию о методах обучения ИИ, установив новый открытый стандарт для корпоративных технологий ИИ. Кроме того, LLM Arctic является частью семейства моделей Snowflake Arctic (Snowflake Arctic model family) и включает в себя модели текстовых вложений для использования в поиске.
Шридар Рамасвами (Sridhar Ramaswamy), генеральный директор Snowflake, сказал: «Команда исследователей ИИ Snowflake находится на переднем крае инноваций в области ИИ, что является важной вехой для нашей компании». «Snowflake расширяет границы возможностей ИИ с открытым исходным кодом, предоставляя сообществу ИИ лучшие в отрасли производительность и эффективность. Это также повышает возможности ИИ Snowflake по предоставлению клиентам мощных и надежных моделей ИИ».
◇ Arctic — открытая LLM, поддерживающая широкое сотрудничество
Согласно недавнему отчету исследовательской компании Forrester, около 46% лиц, принимающих решения в области ИИ в глобальных компаниях, ответили, что «используют существующие открытые LLM для внедрения генеративного ИИ в свои компании в рамках своей стратегии ИИ». Данные облачной платформы Snowflake в настоящее время используются более чем 9400 компаниями и организациями по всему миру. С помощью LLM, обеспечивающих наилучший в отрасли уровень открытости, они могут использовать свои данные.
Arctic, являясь моделью с открытым исходным кодом с лицензией Apache 2.0, также обеспечивает гибкость выбора способа вывода и обучения вместе с шаблонами кода. Пользователи могут использовать и настраивать Arctic с помощью предпочитаемых фреймворков, таких как NVIDIA NIM, NVIDIA TensorRT-LLM (TensorRT-LLM), vLLM и Hugging Face. В Snowflake Cortex Arctic доступен для немедленного использования через вывод без серверов. Snowflake Cortex — это полностью управляемая служба, которая предоставляет решения для машинного обучения и ИИ в облаке данных вместе с различными списками моделей, включая Hugging Face, Lamini, Microsoft Azure, каталог API NVIDIA, Perplexity и Together AI. Arctic также будет доступен в Amazon Web Services (AWS).
◇ Отличная эффективность использования ресурсов и высочайшая производительность
Исследовательская группа Snowflake по ИИ состоит из ведущих исследователей и инженеров систем. Разработка Arctic заняла менее 3 месяцев. Для обучения модели использовались экземпляры Amazon Elastic Compute Cloud (Amazon EC2) P5, а затраты на обучение составили всего 1/8 от аналогичных моделей. Snowflake устанавливает новый стандарт скорости обучения передовых открытых корпоративных моделей, что в конечном итоге позволяет пользователям создавать экономичные и адаптированные модели оптимального размера.
Уникальная конструкция Arctic MoE улучшает как систему обучения, так и производительность модели за счет тонкой настройки сборки данных в соответствии с потребностями бизнеса. Кроме того, он обеспечивает выдающуюся эффективность токенов и высочайшее качество за счет одновременной активации 480 млрд параметров по 17 за раз, что обеспечивает наилучшие результаты. Для достижения значительного повышения эффективности Arctic активирует на 50% меньше параметров, чем DBRX, и на 75% меньше, чем Llama 3 70B, во время вывода или обучения. Он превосходит производительность ведущих существующих моделей с открытым исходным кодом, таких как DBRX и Mixtral-8x7B, в кодировании (HumanEval+, MBPP+) и генерации SQL (Spider), а также демонстрирует лучшие результаты в общем понимании языка (MMLU, крупномасштабное многозадачное понимание языка).
◇ Инновации в области ИИ для всех под руководством Snowflake
Snowflake предоставляет основу данных и передовые строительные блоки ИИ для создания практических приложений ИИ/машинного обучения с использованием собственных данных компаний. Использование Arctic через Snowflake Cortex упрощает разработку производственных приложений ИИ оптимального масштаба в рамках безопасности и управления облаком данных.
Семейство моделей Snowflake Arctic, в которое входит LLM Arctic, также включает в себя Arctic Embed, одну из недавно выпущенных Snowflake передовых моделей текстовых вложений. Этот продукт доступен бесплатно для сообщества с открытым исходным кодом по лицензии Apache 2.0. Это семейство, состоящее из пяти моделей, доступно непосредственно в Hugging Face и будет интегрировано в Snowflake Cortex в рамках предварительного просмотра. Эта модель вложений, размер которой примерно в три раза меньше, чем у аналогичных моделей, оптимизирована для обеспечения наилучших результатов поиска, что делает ее эффективным и экономичным решением, когда компании объединяют свои уникальные наборы данных с LLM в рамках услуг поиска с усиленным извлечением (RAG) или семантического поиска.
Недавно Snowflake добавила модели Reka и Mistral AI, чтобы клиенты могли получить доступ к новейшим LLM с наилучшей производительностью в облаке данных. Кроме того, компания продолжает внедрять инновации в области ИИ, объявив о расширении партнерства с NVIDIA. Облако данных Snowflake в сочетании с полнофункциональной платформой ускорения NVIDIA обеспечивает безопасную и мощную инфраструктуру и вычислительные возможности для активного использования производительности ИИ в различных отраслях. Snowflake Ventures также инвестировала в Landing AI, Mistral AI и Reka, чтобы помочь клиентам извлекать ценность из LLM и ИИ в собственных данных компании.
Комментарии0