|
@@ -0,0 +1,45 @@
|
|
|
|
|
+# FLARE gb10 — их пакет под наши четыре Spark
|
|
|
|
|
+
|
|
|
|
|
+Источник: ветка `gb10` репозитория `local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE`
|
|
|
|
|
+(README: `.../raw/gb10/README.md`).
|
|
|
|
|
+
|
|
|
|
|
+Заявлено лабораторией: TP4, 16 одновременных запросов, DSpark до 5 драфтов с
|
|
|
|
|
+adaptive verification, prefill чанками 4096, **1,048,576** токенов на запрос
|
|
|
|
|
+(по доступной KV), >= 515 GB на контроллере; упаковка
|
|
|
|
|
+`deepseek-v41-flash-1017-tp4-c16-dspark5.safetensors` — metadata-only первичный
|
|
|
|
|
+файл + 17 шардов ≈ 511.3 GB (12 весовых + 5 графовых/вспомогательных), каждый
|
|
|
|
|
+< 64 GB. `gb202` — отдельный пакет под четыре дискретные GPU на одной машине.
|
|
|
|
|
+
|
|
|
|
|
+## Что делает лаунчер
|
|
|
|
|
+
|
|
|
|
|
+1. **preflight** на всех нодах кластера: `flare --version`,
|
|
|
|
|
+ `systemctl --user is-active flare-agent`, `flare orbit status --cluster <c>` —
|
|
|
|
|
+ непарный пир отваливается сразу, а не через 20 минут загрузки.
|
|
|
|
|
+2. **пакет**: `flare download <repo> --revision gb10` на rank 0 (кэш
|
|
|
|
|
+ переиспользуется — повторный serve не качает 511 GB).
|
|
|
|
|
+3. **запуск**: `flare orbit run "<rank0>:<path>" --cluster <c> --name
|
|
|
|
|
+ deepseek1017 --host 0.0.0.0 --port 8000 --detach <serve_flags>`.
|
|
|
|
|
+4. **готовность**: `/health` → `/v1/models` на контроллере (до 30 мин;
|
|
|
|
|
+ `--no-wait` отключает).
|
|
|
|
|
+5. **stop/logs**: `flare orbit stop` / `flare orbit attach`.
|
|
|
|
|
+
|
|
|
|
|
+## Требования на нодах
|
|
|
|
|
+
|
|
|
|
|
+- `flare` + агент (`sudo apt install flare-inference`,
|
|
|
|
|
+ `flare agent install --accept-first`, пары через `flare orbit pair`), кластер
|
|
|
|
|
+ `[cluster.sparks]` в `~/.config/flare/orbit.toml` на контроллере;
|
|
|
|
|
+- TCP 29900 между нодами, 29800 на контроллере, 8000 наружу (у нас — фабрика
|
|
|
|
|
+ и mgmt LAN);
|
|
|
|
|
+- ~515 GB свободного места на контроллере (dgx8 — самый свободный) + место
|
|
|
|
|
+ под срезы рангов на пирах; после чистки 2026-10-23 свободно 557–607 GB/ноду.
|
|
|
|
|
+
|
|
|
|
|
+## Что сравнить
|
|
|
|
|
+
|
|
|
|
|
+- прод SGLang: 47.8–50.7 t/s c1 / 64.2–68.3 c2, prefill 2.8–3.1k;
|
|
|
|
|
+- наш vLLM 0.32 + локальный engram: 37.0 c1 / 46.7 c2, pp 2,927 (бенч 91/100);
|
|
|
|
|
+- прошлый FLARE bring-up (другой пакет, 1M ctx): 19.2 c1 / 29.6 c2,
|
|
|
|
|
+ prefill 1430–1700.
|
|
|
|
|
+
|
|
|
|
|
+Перед запуском: `scripts/flare-upstream-watch.sh` (пин
|
|
|
|
|
+`specs/tech-architecture/flare-upstream.pin`), `git pull` + пересборка обеих
|
|
|
|
|
+сторон — FLARE быстро движется.
|