Night shift 2026-10-03

Оператор: продолжить кампанию (MiMo 2x → karmic-kraken → kindling 2x → TP6 → MiMo-Pro 8x→6x → shutdown). Позднее: «забить на дебаг depth-hang», «кластер оставляем живым». Бенч-клиент — pluto.lan (wired), --ssh-host.

МиMo 2x — завершён

mimo26-flash-mopd-2x-sparkring (kraken b01442df, dgx56-switch, pluto): 90/100 (166/184), full (depth вкл). Perf c1: pp2048@d0 2,973; pp8192 3,519; pp16K 2,302; pp65K 1,558; pp128K 1,023; pp256K 612. Отчёт 2026-10-02_225515_mimo2x-pluto.

karmic-kraken — образ собран

docker-images/karmic-kraken/ (новый build tree, лаб-линия local-inference-lab/vllm@dev/karmic-kraken tip ab86b707, б12x-кандидат canonical-candidate/karmic-20260930). Фиксы сборщика:

убран tree-hash gate (VLLM_TREE/B12X_TREE) — sparkring-образ его не использует;
FLASHINFER_VERSION=0.7.0.post1 (0.7.1 на PyPI только pre-release);
FLASH_KDA_SRC_DIR= (пусто) → pinned patched dep, CMake иначе ругается;
build.sh: убраны --cache-from/--cache-to (docker driver не поддерживает cache export).

Результат: spark-glm53-karmic:local (18.3 GB, ID 233e4eddc8) на dgx7. Рецепт glm53-kindling-4x-karmic создан; A/B против kindling 4x на spark-glm53:v9 — в бэклоге (образ надо синкать в кластер).

Kindling 2x — рекорд 2-узловых

glm53-kindling-2x (dgx56-switch, pluto): 96/100 (177/184) — лучший 2-узловой результат на кластере. Perf c1: pp2048@d0 1,538; pp8192 2,730; pp16K 2,638; pp65K 2,576; pp128K 2,483. 256K depth падает — ожидаемо (max_model_len=163840). Quality 96, Deploy 81, Resp 45.

Kindling 6x (TP6) — заработал, 92/100

Кластер 6nodes-switch (dgx1-6) создан. Модель: make_padded.py (из kindling experimental/tp3) — drafter DFlash2 32/8→48/12 голов, config (66 голов) — в /mnt/nas/ai/huggingface/glm-5.3-flash-nvfp4-tp6pad/ + drafter glm-5.3-flash-dflash2-tp6pad.

Ловушка симлинок (потеряно ~2 часа): os.link() в make_padded.js линкует symlink как файл → relative-цели ../../blobs/... ломаются в новом dir; цепочка «snapshot→model-blob→hub-blob» рвётся в контейнере (mount /mnt/nas/ai/huggingface → /root/.cache/huggingface не несёт абсолютных путей). Фикс: все model-файлы + мелкие → relative symlink'и ../hub/blobs/<xx>/<sha> (работают и на хосте, и в контейнере).

Результат: 92/100 (170/184), full (16/16 depth, 13.5 мин). Perf c1: pp2048@d0 1,825; pp16K 4,046; pp65K 4,456; pp128K 4,538; pp262K 4,268. TP6-главный-модель без паддинга (MLA, 512-головная математика делится) — падинг нужен был только drafter'у.

MiMo-Pro 8x — качество есть, depth потерян

mimo26-pro-mopd-8x-sparkring (kraken, 8nodes-switch, pluto): 89/100 (164/184) (Deploy 80, Quality 89, Resp 59, median turn 2.3s) — main bench salvaged из pluto-JSON. Perf c1: pp2048@d0 2,386; d4K 2,270; d8K 2,086. Partial-отчёт 2026-10-03_155239_mimopro8x-pluto3-partial.{md,json}.

Depth-suite hang (3/3 запуска, client-side): llama-benchy вешается до первого запроса (event loop пустой, GPU 0%, ноль POST, сервер отвечает на curl за 0.3 c). Main bench (те же флаги, depths 0/4K/8K) в том же ране работает. Kindling 6x / MiMo Flash 2x/4x depth те же дни работали (16/16). Вывод: баг в TTB/llama-benchy (deep-depth invocation), не кластер. Детали: specs/tech-architecture/sparkring-mimo-lanes.md §4.1. Оператор: забить, кластер оставляем живым.

MiMo-Pro 6x — нереализуем

Модель: q_heads=128, kv_heads=8 (2⁷/2³) → делится только TP∈{1,2,4,8}. divide(128,6) в vLLM-форке упадёт при engine build. Weight-падинг kindling'а перенести нельзя: нулевые kv-головы попадают в softmax внимания (8→12 = ~1/3 знаменателя принудительно e⁰) — для drafter'а терпимо (тarged-модель реверифицирует), для основной модели — прямая деградация.

Диск

dgx1-2 были при 0 free (hf-local 402G + docker 234G + sm121-cache 49G). Принян ~93–112G (docker image prune: exl3, mimo26-spark a14/a15, dsv41-mia, sglang-dsv41, qwen38, старые б12x; застарелые контейнеры сняты вручную). sm121-cache/*/snapshots (47G) — весовые снапшоты для fast-load, НЕ чистить. Остатки: dgx3 195G, dgx4 540G, dgx5 61G, dgx6-8 ~400-500G.

Состояние на конец сдвига

Live: MiMo-Pro 8x serve (mimo-v2.6-pro, 512K, 8/8 узлов), kraken b01442df.
Плауто: TTB 2.7.1.dev7+gbd35ba91b, tokenizer'и в /tmp.
Образы: spark-glm53-karmic:local на dgx7 (18.3G); spark-glm53:v9 на всех 8.
Бэклог: A/B kindling 4x v9 vs karmic (нужен sync клястера); re-baseline Pro 8x depth (после фикса ханга); sm121 bench — защита от зависания depth (timeout/retry).

2026-10-03.md 5.7 KB Histórico Raw