Modal опубликовала первые результаты испытаний сервера NVIDIA Vera. При одновременной работе множества контейнеров число завершённых задач оказалось до двух раз выше, чем на сравниваемом сервере Intel GNR. В Modal связывают результат с высокой пропускной способностью памяти Vera.
Для проверки Modal подготовила Agentless Agent Bench — набор из пятидесяти задач Terminal-Bench 2.1. В него вошли компиляция, поиск по файлам, операции Git, эмуляция и другие действия. Готовые решения запускались в заранее подготовленных контейнерах без обращений к сети. Задание засчитывалось только после успешной проверки результата. Нейросеть во время теста не работала.
При последовательном запуске на свободном сервере Vera выигрывала не всегда. В тесте сжатия данных она уступила Intel GNR и AMD Zen 5, а при восстановлении модели PyTorch — Intel GNR и обоим процессорам AWS Graviton. Двукратный прирост относится к числу выполненных задач под нагрузкой, а не к ускорению каждой операции.
Первый сервер Vera поступил в офис Modal в Сан-Франциско на прошлой неделе. Компания до сих пор использовала только x86 и теперь готовит поддержку Arm. Для этого ей предстоит изменить инфраструктуру и систему сборки образов.
