Сценарий работы
Обучение, дообучение, инференс или обработка данных? Опишите размер модели, набор данных, число одновременных задач и требуемое время выполнения.
ПО и ускорители
Перечислите фреймворки, библиотеки, версии драйверов и требования к памяти ускорителей. Поддержка конкретного GPU уточняется для выбранной платформы.
Питание и охлаждение
Передайте ограничения стойки, доступную мощность и условия охлаждения. Допустимая конфигурация зависит от требований производителя к эксплуатации.
Критерии проверки
Определите тест на вашем программном стеке и данных: время обработки, пропускную способность или задержку. Заранее согласуйте условия измерения.
Обучение, дообучение и инференс
Разделите этапы работы модели: подготовку данных, обучение, дообучение и обслуживание запросов. Укажите размер модели, типы данных, размер партии и допустимую задержку. Эти сценарии могут требовать разного объёма памяти ускорителей и разных схем распределения нагрузки.
Проверка всей системы
Кроме ускорителей согласуйте ресурсы CPU и RAM, скорость подготовки данных, накопители, сеть, питание и охлаждение. Для испытаний используйте целевую модель и воспроизводимый набор данных. Измерьте пропускную способность и задержку в выбранной программной среде; не переносите результаты иной конфигурации без проверки.
