MemVerge, поставщик программного обеспечения, предназначенного для ускорения и оптимизации приложений с интенсивным использованием данных, сотрудничает с Micron для повышения производительности LLM с использованием технологии Compute Express Link (CXL).
Программное обеспечение компании Memory Machine использует CXL для сокращения времени простоя графических процессоров, вызванного загрузкой памяти.
Технология была продемонстрирована на стенде Micron на выставке Nvidia GTC 2024, и Чарльз Фан, генеральный директор и соучредитель MemVerge, сказал: «Экономичное масштабирование производительности LLM означает подпитку графических процессоров данными. Наша демонстрация на GTC показывает, что пулы многоуровневой памяти не только повышают производительность, но и максимально эффективно используют драгоценные ресурсы графического процессора». Впечатляющие результаты
В демонстрации использовался высокопроизводительный механизм генерации FlexGen и модель большого языка OPT-66B. Это было выполнено на сервере Supermicro Petascale, оснащенном процессором AMD Genoa, графическим процессором Nvidia A10, модулями DIMM Micron DDR5-4800, модулями памяти CZ120 CXL и интеллектуальным программным обеспечением MemVerge Memory Machine X.
В демонстрации сравнивалась производительность задания, выполняемого на графическом процессоре A10 с 24 ГБ памяти GDDR6 и данными, подаваемыми 8x 32 ГБ Micron DRAM, с тем же заданием, выполняемым на сервере Supermicro, оснащенном расширителем памяти Micron CZ120 CXL на 24 ГБ и Программное обеспечение MemVerge.
Тест FlexGen, использующий многоуровневую память, выполнил задачи менее чем в два раза быстрее, чем традиционные методы хранения NVMe. Кроме того, загрузка графического процессора увеличилась с 51,8% до 91,8%, как сообщается, в результате прозрачного датирования программного обеспечения MemVerge Memory Machine X для графического процессора, процессора и памяти CXL.
Радж Нарасимхан, старший вице-президент и генеральный менеджер подразделения вычислительных и сетевых технологий Micron, сказал: «Наше сотрудничество с MemVerge позволяет Micron продемонстрировать существенные преимущества модулей памяти CXL для повышения эффективной пропускной способности графического процессора для приложений искусственного интеллекта, что приводит к более быстрому выполнению задач. загружать. идеи для клиентов. Инновации Micron в своем портфолио памяти обеспечивают вычисления с необходимой емкостью памяти и пропускной способностью для масштабирования сценариев использования ИИ от облака до периферии».
Подпишитесь на информационный бюллетень Ny Breaking и получайте все лучшие новости, мнения, функции и рекомендации, необходимые вашему бизнесу для успеха!
Однако эксперты по-прежнему скептически относятся к этим заявлениям. В блоках и файлах указано, что графический процессор Nvidia A10 использует память GDDR6, а не HBM. Представитель MemVerge ответил на этот вопрос, а также на другие вопросы, поднятые сайтом, заявив: «Наше решение оказывает такой же эффект на другие графические процессоры с HBM. Между возможностями разгрузки памяти Flexgen и возможностями многоуровневого хранения памяти Memory Machine (Изображение предоставлено: MemVerge)
Другие работы из Нью-Йорка Брейкинга
Статья добавлена ботом, с использованием машинного перевода : https://nybreaking.com/category/tech/
