launcher/history/night-shifts/2026-10-24.md

Ночная смена 2026-10-23/24 — FLARE head + gb10

Сделано

1. Head-сборка FLARE (исходники переехали в NVIDIA/flare-local-inference; APT-пакет собран из f2822dc3, которого в новом репозитории нет — история перезаписана). Собрано на dgx5: uv sync --locked --extra prepare --extra test + cargo build --release --manifest-path flare/Cargo.toml, rev 26646d8506049b44040227e795518e337e789c52 (2026-10-23 19:18 UTC), бинарь 20 MB, штамп ~/flare-head/.sm121-flare-build.json. Бинарь разложен на dgx6/7/8, агенты переустановлены (flare agent install --accept-first), слушают 29900. Орбитальный кластер sparks из bring-up жив (gx10-dgx5..8), пары пережили чистку.
2. Драйвер engine = "flare" доведён до запуска (src/native/flare.rs): preflight (контроллер — полный, пиры — только бинарь+агент), flare download, orbit run --detach, orbit stop, orbit attach в logs, ожидание /health+/v1/models, маппинг нод [flare].orbit_nodes.
3. Пакет gb10 скачан (477 GiB = 511.3 GB, 18 файлов) на NAS в HF-кэш dgx5; EXIT=0.
4. Найдены два реальных дефекта FLARE-пакета/обвязки (для отчёта в лабу):
   • orbit run с путём внутри snapshots/<rev>/ (HF-дерево симлинков) падает: open companion "1ff3…safetensors": No such file or directory — нужен плоский каталог (сделал хардлинками: /mnt/nas/ai/flare/pkgs/gb10, 18 файлов, 477 GiB, ln -f на блобы — без копирования);
   • драйвер брал последнюю строку вывода flare download как путь к пакету, а там строки прогресса → группа запускалась с мусорным путём и молча умирала. Исправлено (parse_package_path — ищет последнюю строку *.safetensors с /), тест добавлен.

Где встали

orbit run с плоским пакетом: rank 0 верифицирует пакет, ранги получают свои срезы по CX7, но rank 3 упал через 1800 s: [FAILED] Receive rank package over CX7. 1800.5s → Error: "package channel ended inside a range", затем timed out joining rank zero at 192.168.88.43:29800. Пинги по фабрике (200.10/.23/.24) — 0 % потерь. То есть упёрлись в 30-минутный лимит передачи 511 GB через NAS→фабрику (rank 0 читает пакет с NAS и раздаёт).

Следующие шаги (утро)

1. Положить пакет на локальный NVMe dgx5 (563 G свободно, пакет 477 GiB) — чтение с NAS во время передачи, скорее всего, и держит скорость: сейчас NAS читается всеми четырьмя процессами.
2. Поднять --transfer-streams (по умолчанию 8) и/или перезапустить передачу (orbit run идемпотентен по кэшу группы).
3. Если снова таймаут — попробовать --roce-chain (в head появился 3c80cb6d: сервинг и подготовка по цепочке) вместо свитча.
4. После готовности: sm121 bench --recipe dsv41-flash-1017-4x-flare-gb10 --cluster dgx58-switch и сравнение с vLLM-лейном (91/100, pp 2,927) и прод-SGLang (47.8–50.7 / 64.2–68.3).
5. Дописать в драйвер: сборку плоского каталога из snapshot (хардлинки) вместо ожидания, что оператор сделает руками; --transfer-streams в [flare].serve_flags.