2026-10-20-night-plan.md 3.8 KB

Ночная смена 2026-10-20 → 21 — план (полная автономия)

Режим: оператор ушёл, супервизора нет. Решения принимаю сам, всё документирую здесь и в specs//recipes. Язык — ru/en.

Снимок на начало смены (2026-10-20T21:10Z)

Что Состояние
ПРОД 4nodes-switch (dgx1–4) dsv41-flash-1017-4x-sglang, EP2/1M, Up ~24h, обслуживает оператора → НЕ ТРОГАТЬ всю смену (никаких restart/stop/power)
dgx58-switch (dgx5–8) свободен, эксперименты; на dgx5 стоит flare 0.1.0 + Qwen3.8 FLARE пакет (сервер погашен)
FLARE орбита sparks 4 ноды (gx10-dgx5..8) спарены, агенты на systemd --user (нужен linger + XDG_RUNTIME_DIR)
Диски dgx5 257 / dgx6 340 / dgx7 373 / dgx8 430 GiB свободно; NAS 20T
Качается FLARE 1017 gb10 пакет (511 GB) → /mnt/nas/ai/flare

Guardrails

  • dgx1–4 (прод) — не трогать. Любой stop/power только на dgx5–8.
  • Перед power off в конце — health, убедиться что прод жив и не наш.
  • GB10: unified memory не ограничена cgroup → тяжёлые загрузки не рядом с live serve.
  • Первый запуск лейна — detached (--no-wait/--detach), проверять readiness опросом.
  • Харнесс tool-eval-bench v2.8.0 с pluto.lan (off-Mac путь).

Порядок работ

  1. FLARE 1017 TP4 (главное) — дождаться пакета, orbit run, probe, полный quality+perf бенч. Сравнение с эталоном SGLang 4x: 87/100, tg 42.8 (probe c1) / 45.6 (llama-benchy), TTFT 0.75 s, 9.3M KV.
  2. Если FLARE выигрывает — зафиксировать цифры, описать интеграцию (нужен flare deploy-путь в launcher: per-rank --rank/--rendezvous или orbit).
  3. TensorFold prefill — разобраться, почему у нас ~380 tok/s против их 1.7–2.2k. Нужен отдельный кластер в конфиге (на 8nodes автоподбор берёт прод!).
  4. Beam-1.0 NVFP4 — в vLLM main есть BeamForCausalLM (+ DFlash2-драфтер); найти arm64-образ с ним, собрать рецепт, поднять на 4 нодах.
  5. glm5.3-flash — проверить новые образы/ревизии (jovian r40+, sparkglm53 v11+).
  6. sparkring — новый тег dev-20261016-sparkcache-4a17f1f5198e.
  7. Отчёт в history/night-shifts/2026-10-20.md.

Находки до начала работ

  • FLARE работает на GB10: Qwen3.8-Flash-Next gb10 на одной Spark — decode 43.3 tok/s, TTFT 1.30 s, загрузка ~1 s (графы в пакете), 74.7 GiB.
  • FLARE API: tool calls и json_schema — ок; tool_choice: "required" → HTTP 500.
  • У local-inference-lab есть официальный gb10-пакет 1017 на 4 Spark (TP4, 16 concurrency, DSpark 5 адаптивных драфтов, 1M ctx, Engram на диске, --roce-ring).
  • DeepInfer — DeepSeek выпустил свой движок (vLLM-база + disaggregated prefill, sm100).
  • Aiden: encoder 25/30 pass/fail против референса; 4 группы расхождений (effort-имена — уже запатчили; порядок картинок в tool-результатах; a::b namespace; reasoning теряется на tool-результатах без списка тулов).