H100 NVL – еще один Grace Hopper GPU с большей емкостью памяти HBM3

Нынешняя популярность GPT-4 и искусственного интеллекта пришлась как нельзя кстати для компаний, выпускающих соответствующее программное и аппаратное обеспечение. Например, NVIDIA – один из производителей «железа» для систем с использованием Больших языковых моделей (Large Language Model, LLM).

По большей части подобные системы работают на ускорителях A100 – по крайней мере, это верно для GPT-4 в контексте OpenAI и Microsoft . Но системы постепенно переходят на более мощные ускорители H100, которые в ближайшие месяцы станут более доступными, они появятся и в виде облачных инстанций.

NVIDIA решила воспользоваться возможностью, чтобы представить еще один вариант ускорителя GH100 под названием H100 NVL. Он представляет собой гибрид вариантов SXM5 и PCI Express ускорителя H100 . NVIDIA для карты PCI Express выбрала меньшую степень расширения GH100 GPU, но даже вариант SXM5 не был оснащен полными 18.432 вычислительными блоками FP32 и полными 96 Гбайт HBM3, которые теоретически ...