|
|
@@ -246,6 +246,27 @@ write the serving layer), not an evening. What *is* worth stealing:
|
|
|
|
|
|
Re-check when the repo grows a serving path or an sm120/sm121 target.
|
|
|
|
|
|
+## FLARE `gb10`-пакет, обновление 2026-10-27 (APT, c32)
|
|
|
+
|
|
|
+Лаба обновила ветку `gb10`: пакет `model.safetensors` +
|
|
|
+`weights/` + `deployments/` (182 файла, ~525.5 GB), модель
|
|
|
+`checkpoint-expanded-scales`, версия `gb10-tp4-202610272221`; README
|
|
|
+рекомендует **`--max-concurrency 32`** и **`--embedding-table-cache-size 1GiB`**
|
|
|
+(не c16/4GiB). Установка — подписанный APT `flare-inference` 0.1.0
|
|
|
+(`0.1.0~git20261027161313.ec0a3126`), затем `flare agent install --accept-first`
|
|
|
+на каждой ноде. `flare download` для нового пакета требует
|
|
|
+**`--tensor-parallel 4`** (иначе `package exports no deployment with
|
|
|
+tensor-parallel size 1`); при повторном (cached) download путь не печатается,
|
|
|
+поэтому лаунчер теперь добирает его из `flare models list --json` и копирует
|
|
|
+пакет рекурсивно (включая `weights/` и `deployments/`).
|
|
|
+
|
|
|
+Практический путь на dgx1: скачать пакет в NAS (`--cache-dir
|
|
|
+/mnt/nas/ai/flare-stage/gb10`, `--model-cache /mnt/nas/ai/flare-models/gb10`),
|
|
|
+затем `cp -a` результата в локальный `~/flare-pkgs/gb10` (локальный NVMe
|
|
|
+нужен для Engram на инференсе). Прод-группа запущена 2026-10-28 02:17 UTC:
|
|
|
+`/health` OK, `/v1/models` → `DeepSeek-V4.1-Flash`, `max_model_len 1048576`,
|
|
|
+`max_concurrency 32`.
|
|
|
+
|
|
|
## FLARE `gb10`-пакет (2026-10-23) — наш собственный случай, не про vLLM
|
|
|
|
|
|
У `local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE` есть **ветка `gb10`**
|
