Hugging Face представила свое новейшее предложение, Hugging Face Generative AI Services (HUGS), направленное на упрощение развертывания и масштабирования приложений генеративного ИИ с использованием моделей с открытым исходным кодом.
HUGS основан на технологиях Hugging Face, таких как Transformers и Text Generation Inference (TGI), и обещает оптимизированную производительность для различных аппаратных ускорителей.
Для разработчиков, использующих AWS или Google Cloud, сервис доступен по цене 1 доллар США в час за контейнер, с пятидневной бесплатной пробной версией на AWS для начала работы пользователей. Оптимизация ИИ с помощью вывода с нулевой конфигурацией
HUGS предоставляет разработчикам решение для запуска моделей ИИ в собственной инфраструктуре без необходимости ручной настройки. Одной из ключевых проблем при внедрении больших языковых моделей (LLM) является их оптимизация для конкретных аппаратных сред. Каждый ускоритель, будь то графический процессор NVIDIA или графический процессор AMD, требует тонкой настройки для достижения максимальной производительности.
С HUGS эти оптимизации управляются автоматически, обеспечивая высокую пропускную способность из коробки. Помимо графических процессоров NVIDIA и AMD, компания обещает, что поддержка вскоре будет расширена до AWS Inferentia и Google TPU.
Hugging Face стремится облегчить переход от API-интерфейсов черного ящика к открытым, самостоятельным решениям с поддержкой широкого спектра моделей, включая известные LLM, такие как Llama и Gemma, и планирует вскоре представить многомодальные модели, такие как Idefics и Llava. Компания заявляет, что в будущем интегрирует такие модели, как BGE и Jina, что предоставит разработчикам еще больше возможностей для настройки своих приложений ИИ.
Этот сервис использует стандартизированные API, совместимые с интерфейсами моделей OpenAI, что позволяет разработчикам переносить собственный код.
Подпишитесь на рассылку новостей Ny Breaking и получайте все лучшие новости, мнения, функции и рекомендации, необходимые вашему бизнесу для успеха!
Специально для стартапов HUGS предлагает возможность создавать приложения ИИ без высоких затрат, связанных с проприетарными платформами. Доступность развертывания в один клик на DigitalOcean еще больше упрощает эксперименты с технологиями генеративного ИИ для небольших команд.
Между тем, более крупные предприятия могут использовать HUGS для масштабирования своих приложений без привязки к одному поставщику облачных услуг или собственному API. На DigitalOcean HUGS включен бесплатно в дополнение к стандартной стоимости GPU Droplets. Hugging Face также предлагает индивидуальные решения по развертыванию для предприятий через Enterprise Hub. Вам также может понравиться
Статья добавлена ботом, с использованием машинного перевода : https://nybreaking.com/category/tech/
