|
|
@@ -0,0 +1,112 @@
|
|
|
+# Ночная смена 2026-10-20 → 21 — отчёт
|
|
|
+
|
|
|
+Автономный режим. Прод `4nodes-switch` (dgx1–4, 1017 SGLang EP2/1M) не трогал
|
|
|
+всю смену — работа только на `dgx58-switch` (dgx5–8).
|
|
|
+
|
|
|
+## Итоговая таблица 4x/2x лейнов 1017-семейства и Beam
|
|
|
+
|
|
|
+| лейн | качество (v2.8.0, seed 42) | resp / ход | pp c1 | tg c1 / c2 / c4 | KV-пул |
|
|
|
+|---|---|---|---|---|---|
|
|
|
+| **1017 SGLang 4x** (прод, EP2/1M) | 87/100 | **75 / 1.4 s** | 3,019 | **45.6 / 67.8** / — | 9.30M |
|
|
|
+| 1017 TensorFold 2x (EXL3) | 89/100 | 23 / 6.7 s | ~380 (2K) | 50.4 / — | 26.6M (FLARE) |
|
|
|
+| 1017 FLARE 4x (native Rust) | **не измерим** — падает | — | ~2.4k | 22–27 | 26.6M |
|
|
|
+| **Beam NVFP4 4x** (новый) | **90/100** | 34 / 4.7 s | 2,501 | 26.2 / 41.1 / 62.3 | 6.81M |
|
|
|
+
|
|
|
+Вывод: **прод-конфиг остаётся лучшим по задержке**, Beam — лучший по качеству,
|
|
|
+TensorFold — лучший однопоточный декод среди 1017-вариантов, FLARE — не готов.
|
|
|
+
|
|
|
+## 1. FLARE (local-inference-lab) — проверен, не подходит
|
|
|
+
|
|
|
+Находка: у них есть **официальный `gb10`-пакет «DeepSeek V4.1 Flash 1017 on four
|
|
|
+DGX Sparks»** (`local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE@gb10`,
|
|
|
+511 GB = 12 весовых + 5 графовых шардов), рантайм — нативный Rust, образ
|
|
|
+multi-arch (**arm64 есть**), APT-репозиторий доступен.
|
|
|
+
|
|
|
+Что сделано: поставил `flare 0.1.0` на все 4 ноды, поднял орбиту
|
|
|
+(`flare orbit pair`, агенты на systemd --user — **требуется `loginctl
|
|
|
+enable-linger` + `XDG_RUNTIME_DIR`, иначе systemd --user не стартует по SSH**),
|
|
|
+скачал пакет на NAS, прошёл `orbit run` TP4 по dgx5–8.
|
|
|
+
|
|
|
+Результаты:
|
|
|
+- пакет валиден: `architecture sm_121`, 1,048,576 ctx, 16 конкурентных, MTP 1–6,
|
|
|
+ по 74.7 GiB/ранг, 130 графов, KV-пул **26.6M токенов** (22.3 GiB/ранг);
|
|
|
+- коллективы **по RoCE, 2 рельса на пира** (`roceP2p1s0f0,rocep1s0f0`) — то
|
|
|
+ есть сеть не при чём;
|
|
|
+- **декод 22–27 tok/s** (probe: 26.8 с драфтами, 22.8 без, 23.8 с кэшем 4 GiB) —
|
|
|
+ в 1.8 раза медленнее нашего SGLang;
|
|
|
+- **падает под агентской нагрузкой**: `tensor-parallel peer failed: RoCE proxy
|
|
|
+ failed: two-shot op N abandoned: kernel timed out at seq N` — воспроизводимо на
|
|
|
+ первом же запросе с 52 тулами (короткие чат-запросы работают). Полный
|
|
|
+ tool-eval-bench дал 0/100 (все сценарии — 500/connection closed);
|
|
|
+- TTFT при этом хороший (0.95–1.07 s), prefill ~2.4k tok/s.
|
|
|
+
|
|
|
+Итого: FLARE 1017 на нашем железе — медленнее и нестабильнее; для нас закрыт.
|
|
|
+Отдельно проверил FLARE на **Qwen3.8-Flash-Next `gb10` (tp1, одна Spark,
|
|
|
+107 GB)**: работает, загрузка ~1 с (графы в пакете), decode 43.3 tok/s,
|
|
|
+TTFT 1.30 s, tool calls и json_schema — ок, а **`tool_choice: "required"`
|
|
|
+отдаёт HTTP 500** («required tool choice was not satisfied»). Это стоит
|
|
|
+сообщить вендору.
|
|
|
+
|
|
|
+## 2. Beam-1.0-501B-A23B NVFP4 — новый лучший по качеству лейн
|
|
|
+
|
|
|
+Вендорский стек: `vllm/vllm-openai:reflection-beam` (Beam пока только в этом
|
|
|
+образе, min vLLM 0.33.0; arm64 есть), TP4, fp8 KV, парсеры `beam`.
|
|
|
+
|
|
|
+**90/100 (174/194), Hard Mode 47/56 = 84%** — лучший результат флота.
|
|
|
+Декод 26.2 / 41.1 / 62.3 (c1/c2/c4), pp 2,501, KV 6.81M, boot ~17 мин (первый
|
|
|
+старт автоподбирает FlashInfer MoE-кернелы — вендор сам просит поднять
|
|
|
+`VLLM_ENGINE_READY_TIMEOUT_S`).
|
|
|
+
|
|
|
+Грабли (все в `recipes/beam-1-0-nvfp4-4x/NOTE.md`):
|
|
|
+- пустой `entrypoint` → launcher делает `--entrypoint <model>` (известная
|
|
|
+ ловушка) → `entrypoint = ["vllm", "serve"]`;
|
|
|
+- `--gpu-memory-utilization 0.90` не проходит boot-gate → 0.85;
|
|
|
+- этот билд отдаёт reasoning в поле **`reasoning`**, а `content` под thinking
|
|
|
+ пустой — probes, которые смотрят только `content`, видят ноль токенов;
|
|
|
+- **DFlash2-спекудяция на GB10 не работает**: fp8 KV отвергается
|
|
|
+ FlashAttention (нужен FA3/SM90 или FA4/SM100 — тот же барьер, что у GLM-5.3),
|
|
|
+ а с BF16 KV ломается adaptive verification (конфликт с cudagraph replay);
|
|
|
+ с выключенной адаптивкой — 23.6–27.1 tok/s, то есть ноль выигрыша за
|
|
|
+ половинный KV-пул. Оставлено выключенным.
|
|
|
+
|
|
|
+Отчёт: `recipes/beam-1-0-nvfp4-4x/reports/*` (quality + perf) и `NOTE.md`.
|
|
|
+
|
|
|
+## 3. Прочее
|
|
|
+
|
|
|
+- **Аддон 1.2.0 собран** (CI зелёный, `ghcr.io/kilork/sm121-addon:1.2.0` +
|
|
|
+ `:latest`), на ha.lan остаётся нажать Update.
|
|
|
+- **Конкуренция**: рецепт прода переведён на `--max-running-requests 24` +
|
|
|
+ `--cuda-graph-max-bs-decode 24` (закоммичено; применится при следующем
|
|
|
+ рестарте прода). Замеры: пул 9.3M, при 24 потоках — ~380K контекста на поток.
|
|
|
+- **DeepInfer** — DeepSeek выпустил свой движок (vLLM-база + disaggregated
|
|
|
+ prefill, писался под sm100). Кандидат на следующую смену.
|
|
|
+- **sparkring**: новый тег `dev-20261016-sparkcache-4a17f1f5198e` (мы на
|
|
|
+ `dev-20261013-dcp2prefill-status038-sircl-tp6`).
|
|
|
+- **glm5.3-flash**: у Aiden новых образов нет (vllm 1.2 от 09-04, sglang-dsv41
|
|
|
+ 1.7.1 от 09-29); новых рецептов под GLM-5.3 в тредах не появилось.
|
|
|
+- **Aiden 1017-страница**: их прогон 55 референсных encoder-тестов через
|
|
|
+ SGLang 1.7.1 — 25 pass / 30 fail; 4 группы: имена reasoning effort
|
|
|
+ (**мы уже запатчили**), порядок картинок в tool-результатах при параллельных
|
|
|
+ вызовах, `namespace::name` у тулов, потеря reasoning на tool-результатах без
|
|
|
+ списка тулов. Совет: слать **число** 1–100 вместо имени.
|
|
|
+
|
|
|
+## Состояние на конец смены
|
|
|
+
|
|
|
+| | |
|
|
|
+|---|---|
|
|
|
+| dgx1–4 (прод) | 1017 SGLang EP2/1M, не тронут, ~30 ч аптайма |
|
|
|
+| dgx5–8 | **Beam NVFP4 TP4 поднят** (финальный конфиг, fp8 KV, без спекуляции), API :30000, 6.55M KV |
|
|
|
+| FLARE | орбита остановлена, пакеты закешированы (dgx5–8 по ~120 GB), `flare 0.1.0` установлен |
|
|
|
+| Диски dgx5–8 | ~120–430 GiB свободно (FLARE-пакеты занимают ~120 GB на ноду) |
|
|
|
+
|
|
|
+## Что осталось на следующую смену
|
|
|
+
|
|
|
+1. **Beam: reasoning budget** — thinking включён по умолчанию, ход 4.7 s. Снизить
|
|
|
+ бюджет и перемерить responsiveness (декод при этом не меняется) — самый
|
|
|
+ вероятный способ сделать Beam пригодным для интерактива.
|
|
|
+2. **TensorFold**: включить session/continuation-кэш (`TF_DSV41_SESSIONS=0`
|
|
|
+ сейчас) — у Elevatormusic-форка с кэшем второй вопрос по 24K-документу
|
|
|
+ стартует за 1.1 s вместо 12.8 s; у нас это и есть главная боль TF.
|
|
|
+3. **DeepInfer** — попробовать на 4x.
|
|
|
+4. **sparkring** `sparkcache` — посмотреть, что даёт (возможно, кэш префиксов).
|
|
|
+5. Обновить аддон на ha.lan (кнопка Update).
|
