Преглед изворни кода

1017: FLARE gb10 lane — the lab's own signed package for four Sparks

engine=flare / deploy=native recipe for local-inference-lab's gb10 package
(511 GB in 17 shards, TP4, 16 concurrent, DSpark5 + adaptive verification,
4096-token prefill chunks, 1M ctx) with their recommended flag set verbatim.
Launcher handles preflight (agents paired), download on the controller,
orbit run --detach, /health + /v1/models readiness, stop and log attach.
Alexander Korolev пре 21 часа
родитељ
комит
e424dc50ab

+ 45 - 0
recipes/dsv41-flash-1017-4x-flare-gb10/NOTE.md

@@ -0,0 +1,45 @@
+# FLARE gb10 — их пакет под наши четыре Spark
+
+Источник: ветка `gb10` репозитория `local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE`
+(README: `.../raw/gb10/README.md`).
+
+Заявлено лабораторией: TP4, 16 одновременных запросов, DSpark до 5 драфтов с
+adaptive verification, prefill чанками 4096, **1,048,576** токенов на запрос
+(по доступной KV), >= 515 GB на контроллере; упаковка
+`deepseek-v41-flash-1017-tp4-c16-dspark5.safetensors` — metadata-only первичный
+файл + 17 шардов ≈ 511.3 GB (12 весовых + 5 графовых/вспомогательных), каждый
+< 64 GB. `gb202` — отдельный пакет под четыре дискретные GPU на одной машине.
+
+## Что делает лаунчер
+
+1. **preflight** на всех нодах кластера: `flare --version`,
+   `systemctl --user is-active flare-agent`, `flare orbit status --cluster <c>` —
+   непарный пир отваливается сразу, а не через 20 минут загрузки.
+2. **пакет**: `flare download <repo> --revision gb10` на rank 0 (кэш
+   переиспользуется — повторный serve не качает 511 GB).
+3. **запуск**: `flare orbit run "<rank0>:<path>" --cluster <c> --name
+   deepseek1017 --host 0.0.0.0 --port 8000 --detach <serve_flags>`.
+4. **готовность**: `/health` → `/v1/models` на контроллере (до 30 мин;
+   `--no-wait` отключает).
+5. **stop/logs**: `flare orbit stop` / `flare orbit attach`.
+
+## Требования на нодах
+
+- `flare` + агент (`sudo apt install flare-inference`,
+  `flare agent install --accept-first`, пары через `flare orbit pair`), кластер
+  `[cluster.sparks]` в `~/.config/flare/orbit.toml` на контроллере;
+- TCP 29900 между нодами, 29800 на контроллере, 8000 наружу (у нас — фабрика
+  и mgmt LAN);
+- ~515 GB свободного места на контроллере (dgx8 — самый свободный) + место
+  под срезы рангов на пирах; после чистки 2026-10-23 свободно 557–607 GB/ноду.
+
+## Что сравнить
+
+- прод SGLang: 47.8–50.7 t/s c1 / 64.2–68.3 c2, prefill 2.8–3.1k;
+- наш vLLM 0.32 + локальный engram: 37.0 c1 / 46.7 c2, pp 2,927 (бенч 91/100);
+- прошлый FLARE bring-up (другой пакет, 1M ctx): 19.2 c1 / 29.6 c2,
+  prefill 1430–1700.
+
+Перед запуском: `scripts/flare-upstream-watch.sh` (пин
+`specs/tech-architecture/flare-upstream.pin`), `git pull` + пересборка обеих
+сторон — FLARE быстро движется.

+ 38 - 0
recipes/dsv41-flash-1017-4x-flare-gb10/recipe.toml

@@ -0,0 +1,38 @@
+# DeepSeek-V4.1-Flash-1017 через FLARE — их собственный пакет под четыре Spark.
+#
+# Ветка `gb10` репозитория local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE —
+# подписанный FLARE-пакет ровно под наш стенд: 17 шардов ≈ 511.3 GB (12 весовых
+# + 5 графовых), TP4, 16 одновременных запросов, DSpark до 5 драфтов с adaptive
+# verification, prefill чанками 4096, контекст до 1M на запрос.
+#
+# Запуск: `sm121 serve --recipe dsv41-flash-1017-4x-flare-gb10 --cluster dgx58-switch`
+# Лаунчер сам: preflight агентов на всех нодах, `flare download` на контроллере
+# (идемпотентно, 511 GB один раз), `flare orbit run --detach`, затем ждёт
+# /health + /v1/models. `sm121 stop` → `flare orbit stop`, `sm121 logs` →
+# `flare orbit attach`.
+#
+# Креды (ключ издателя, publisher) — в приватном config: [flare] accept_key /
+# accept_publisher / orbit_cluster. В репозиторий рецептов они не попадают.
+
+engine = "flare"
+deploy = "native"
+name = "DeepSeek-V4.1-Flash-1017 (FLARE gb10, 4x TP4, c16, DSpark5)"
+model = "deepseek-ai/DeepSeek-V4.1-Flash-1017"
+parent_model = "deepseek-ai/DeepSeek-V4.1-Flash"
+required_nodes = 4
+cluster = "dgx58-switch"
+
+[flare]
+package = "local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE"
+revision = "gb10"
+name = "deepseek1017"
+http_port = 8000
+# их же рекомендованный набор (README ветки gb10), verbatim
+serve_flags = [
+    "--max-concurrency", "16",
+    "--mtp-draft-tokens", "5",
+    "--mtp-adaptive-verification",
+    "--embedding-table-storage", "disk",
+    "--embedding-table-resident-scales",
+    "--embedding-table-cache-size", "1GiB",
+]