|
|
@@ -0,0 +1,60 @@
|
|
|
+# DeepSeek-V4.1-Flash-1017 через FLARE gb10 — прод-половина (dgx1–4)
|
|
|
+
|
|
|
+Второй рецепт того же пакета: `dgx58-switch` (стенд dgx5–8) и `4nodes-switch`
|
|
|
+(прод dgx1–4) — это два разных лейна с разными ledger'ами, поэтому рецепт
|
|
|
+отдельный. Пакет, образ и флаги идентичны `dsv41-flash-1017-4x-flare-gb10`.
|
|
|
+
|
|
|
+## Состояние на 2026-11-02 (NAS мёртв — работает без сетевого диска)
|
|
|
+
|
|
|
+- Пакет: свежий `gb10` из `local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE`
|
|
|
+ (`format 2`, blob store), 488 GB, version `gb10-tp4-202611021809`.
|
|
|
+- **rank 0 = dgx4** (2 TB): единственная нода, где влезают и CLI-store 488 GB,
|
|
|
+ и agent-cache 488 GB. Ранги: dgx4, dgx1, dgx2, dgx3.
|
|
|
+- Орбит пере-спарен 2026-11-02 без dgx5 (тот был выключен): контроллер —
|
|
|
+ `gx10-dgx4`, `[cluster.prod4]` в `~/.config/flare/orbit.toml` на dgx4.
|
|
|
+ Авторизация dgx5 на dgx1–4 сброшена: когда вернётся NAS и понадобится
|
|
|
+ sparks-лейн, dgx5 надо переспарить (`flare agent reset` + `install
|
|
|
+ --accept-first` + `orbit pair` с dgx5).
|
|
|
+- Запуск ручной (launcher-mirror под новый формат тогда не умел):
|
|
|
+
|
|
|
+```bash
|
|
|
+# на dgx4
|
|
|
+flare download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE \
|
|
|
+ --revision gb10 --tensor-parallel 4 # ~50 мин, идемпотентно
|
|
|
+flare orbit run /home/kilork/flare-pkgs/gb10/models/checkpoint-expanded-scales/gb10-tp4-202611021809/model.safetensors \
|
|
|
+ --cluster prod4 --name dsv41-flash-1017-4x-flare-gb10-prod4 \
|
|
|
+ --host 0.0.0.0 --port 30000 --detach \
|
|
|
+ --dangerously-approve-key <fp> --dangerously-accept-publisher local-development \
|
|
|
+ --served-model-name deepseek-v4.1-flash --max-concurrency 32 \
|
|
|
+ --mtp-draft-tokens 5 --mtp-adaptive-verification \
|
|
|
+ --embedding-table-storage disk --embedding-table-cache-size 1GiB \
|
|
|
+ --embedding-table-resident-scales
|
|
|
+```
|
|
|
+
|
|
|
+`flare orbit attach <name> --cluster prod4` — логи; `orbit stop` — стоп.
|
|
|
+
|
|
|
+## Бенч (2026-11-02, v3.0.0, seed 42, hardmode, клиент pluto)
|
|
|
+
|
|
|
+`reports/2026-11-02_200733_flare-prod4-gb10-fresh.{md,json,log}` + пакет прогона.
|
|
|
+
|
|
|
+- **92/100 (176/192)** — лучший результат этой модели на площадке (ранее 91/100
|
|
|
+ на vLLM и SGLang с 512K).
|
|
|
+- Скорость: **tg 70.2 c1 / 97.9 c2**, pp2048 1,701/1,774; на d8192 — pp 2,890.
|
|
|
+ Против прод-SGLang EP2 (47.8/64.2) это +45%/+52% декода; против прошлого
|
|
|
+ закрытого FLARE-пакета (19.2/29.6) — ×3.5.
|
|
|
+- TC-45 исключён: FLARE вернул 500 на probe `tool_choice` (кандидат на репорт
|
|
|
+ в лабу). TC-92 (tenant isolation) — модельный дефект, не FLARE.
|
|
|
+- Thinking: FLARE не принимает `reasoning_effort`/`chat_template_kwargs` —
|
|
|
+ уровень фиксирован пакетом, диала нет (у pi это отражено в конфиге).
|
|
|
+
|
|
|
+## Диск (agent-cache на рангах)
|
|
|
+
|
|
|
+| нода | роль | agent-cache |
|
|
|
+|---|---|---|
|
|
|
+| dgx4 | rank 0 | 488 GB (полный пакет) |
|
|
|
+| dgx1/2/3 | rank 1–3 | 267 GB каждый (183 GB общие Engram + ~84 GB срез) |
|
|
|
+
|
|
|
+На dgx4 к этому добавляется CLI-store 488 GB (он же контроллер) — итого 976 GB.
|
|
|
+Убрать дубль можно, запустив пакет с ноды, где он уже лежит в agent-cache:
|
|
|
+`orbit run gx10-dgx5:/home/kilork/.cache/flare/packages/<id>/model.safetensors`
|
|
|
+(проверено). Детали: `specs/tech-architecture/flare-bringup.md` в launcher-репо.
|
