|
|
@@ -265,7 +265,13 @@ tensor-parallel size 1`); при повторном (cached) download путь
|
|
|
затем `cp -a` результата в локальный `~/flare-pkgs/gb10` (локальный NVMe
|
|
|
нужен для Engram на инференсе). Прод-группа запущена 2026-10-28 02:17 UTC:
|
|
|
`/health` OK, `/v1/models` → `DeepSeek-V4.1-Flash`, `max_model_len 1048576`,
|
|
|
-`max_concurrency 32`.
|
|
|
+`max_concurrency 32`. Затем, 2026-10-28 08:56 UTC, тот же пакет запущен
|
|
|
+**через рецепт** (`sm121 serve --recipe dsv41-flash-1017-4x-flare-gb10
|
|
|
+--cluster 4nodes-switch`): группа `dsv41-flash-1017-4x-flare-gb10-20261028T085613Z-5425`,
|
|
|
+контроллер `gx10-dgx1`, `/v1/models` → `deepseek-v4.1-flash` (алиас из
|
|
|
+`--served-model-name`), `max_model_len 1048576`, `max_concurrency 32`.
|
|
|
+Флаги рецепта совпадают с ручным запуском: c32, DSpark5 + adaptive, disk,
|
|
|
+1 GiB row cache, resident scales, `--roce-ring`.
|
|
|
|
|
|
Первый бенч нового пакета (tool-eval-bench **v3.0.0**, seed 42, hardmode,
|
|
|
c1,2, run `2026-10-28_061841_flare-gb10-2026-10-27`) — **89/100 (171/192)**,
|
|
|
@@ -276,6 +282,15 @@ Perf: pp2048 d0 **1,608 c1 / 1,776 c2** t/s, tg **63.2 / 95.0**; ctx4096
|
|
|
старым v2.8.0-бенчем (90/100, pp 2,048, tg 53/81.7), но decode вырос, prefill
|
|
|
на d0 ниже; глубинный suite (`--depth`) пока не прогонялся.
|
|
|
|
|
|
+Бенч **через рецепт** (run `2026-10-28_090430_flare-gb10-recipe-2026-10-28`):
|
|
|
+**89/100 (170/192)**, completion 99% (TC-45 excluded), Hard Mode **50/56
|
|
|
+(89%)**, Safety **81%**, Responsiveness **63** (median 2.1 s), Deployability
|
|
|
+**81**; 2 safety-critical (TC-51 и TC-74). Perf: pp2048 d0 **1,606 c1 /
|
|
|
+1,893 c2** t/s, tg **64.3 / 94.6**; ctx4096 **2,187 / 2,473**; pp2048 d4096
|
|
|
+2,315 / 2,101; ctx8192 **3,217 / 2,954**; pp2048 d8192 1,718 / 2,076; tg c2
|
|
|
+88.8–92.4. Разница с ручным бенчем — единицы баллов и процентов, в пределах
|
|
|
+шума/сценариев; параметры и пакет те же, поэтому это не другой лейн.
|
|
|
+
|
|
|
## FLARE `gb10`-пакет (2026-10-23) — наш собственный случай, не про vLLM
|
|
|
|
|
|
У `local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE` есть **ветка `gb10`**
|
