# Night shift 2026-10-03

Оператор: продолжить кампанию (MiMo 2x → karmic-kraken → kindling 2x → TP6 →
MiMo-Pro 8x→6x → shutdown). Позднее: «забить на дебаг depth-hang», «кластер
оставляем живым». Бенч-клиент — pluto.lan (wired), `--ssh-host`.

## МиMo 2x — завершён

`mimo26-flash-mopd-2x-sparkring` (kraken `b01442df`, dgx56-switch, pluto):
**90/100 (166/184)**, full (depth вкл). Perf c1: pp2048@d0 2,973; pp8192
3,519; pp16K 2,302; pp65K 1,558; pp128K 1,023; pp256K 612. Отчёт
`2026-10-02_225515_mimo2x-pluto`.

## karmic-kraken — образ собран

`docker-images/karmic-kraken/` (новый build tree, лаб-линия
`local-inference-lab/vllm@dev/karmic-kraken` tip ab86b707, б12x-кандидат
`canonical-candidate/karmic-20260930`). Фиксы сборщика:
- убран tree-hash gate (`VLLM_TREE`/`B12X_TREE`) — sparkring-образ его не
  использует;
- `FLASHINFER_VERSION=0.7.0.post1` (0.7.1 на PyPI только pre-release);
- `FLASH_KDA_SRC_DIR=` (пусто) → pinned patched dep, CMake иначе ругается;
- build.sh: убраны `--cache-from/--cache-to` (docker driver не поддерживает
  cache export).

Результат: `spark-glm53-karmic:local` (18.3 GB, ID 233e4eddc843) на dgx7.
Рецепт `glm53-kindling-4x-karmic` создан; A/B против kindling 4x на
`spark-glm53:v9` — в бэклоге (образ надо синкать в кластер).

## Kindling 2x — рекорд 2-узловых

`glm53-kindling-2x` (dgx56-switch, pluto): **96/100 (177/184)** — лучший
2-узловой результат на кластере. Perf c1: pp2048@d0 1,538; pp8192 2,730;
pp16K 2,638; pp65K 2,576; pp128K 2,483. 256K depth падает — ожидаемо
(`max_model_len=163840`). Quality 96, Deploy 81, Resp 45.

## Kindling 6x (TP6) — заработал, 92/100

Кластер `6nodes-switch` (dgx1-6) создан. Модель: `make_padded.py` (из
kindling experimental/tp3) — drafter DFlash2 32/8→48/12 голов, config
(66 голов) — в `/mnt/nas/ai/huggingface/glm-5.3-flash-nvfp4-tp6pad/` +
drafter `glm-5.3-flash-dflash2-tp6pad`.

Ловушка симлинок (потеряно ~2 часа): `os.link()` в make_padded.js
линкует symlink как файл → relative-цели `../../blobs/...` ломаются в новом
dir; цепочка «snapshot→model-blob→hub-blob» рвётся в контейнере (mount
`/mnt/nas/ai/huggingface → /root/.cache/huggingface` не несёт абсолютных
путей). Фикс: все model-файлы + мелкие → **relative** symlink'и
`../hub/blobs/<xx>/<sha>` (работают и на хосте, и в контейнере).

Результат: **92/100 (170/184)**, full (16/16 depth, 13.5 мин). Perf c1:
pp2048@d0 1,825; pp16K 4,046; pp65K 4,456; pp128K 4,538; pp262K 4,268.
TP6-главный-модель без паддинга (MLA, 512-головная математика делится) —
падинг нужен был только drafter'у.

## MiMo-Pro 8x — качество есть, depth потерян

`mimo26-pro-mopd-8x-sparkring` (kraken, 8nodes-switch, pluto):
**89/100 (164/184)** (Deploy 80, Quality 89, Resp 59, median turn 2.3s) —
main bench salvaged из pluto-JSON. Perf c1: pp2048@d0 2,386; d4K 2,270;
d8K 2,086. Partial-отчёт
`2026-10-03_155239_mimopro8x-pluto3-partial.{md,json}`.

**Depth-suite hang (3/3 запуска, client-side):** llama-benchy вешается до
первого запроса (event loop пустой, GPU 0%, ноль POST, сервер отвечает на
curl за 0.3 c). Main bench (те же флаги, depths 0/4K/8K) в том же ране
работает. Kindling 6x / MiMo Flash 2x/4x depth те же дни работали (16/16).
Вывод: баг в TTB/llama-benchy (deep-depth invocation), не кластер. Детали:
`specs/tech-architecture/sparkring-mimo-lanes.md` §4.1. Оператор: забить,
кластер оставляем живым.

## MiMo-Pro 6x — нереализуем

Модель: q_heads=128, kv_heads=8 (2⁷/2³) → делится только TP∈{1,2,4,8}.
`divide(128,6)` в vLLM-форке упадёт при engine build. Weight-падинг
kindling'а перенести нельзя: нулевые kv-головы попадают в softmax внимания
(8→12 = ~1/3 знаменателя принудительно e⁰) — для drafter'а терпимо
(тarged-модель реверифицирует), для основной модели — прямая деградация.

## Диск

dgx1-2 были при **0 free** (hf-local 402G + docker 234G + sm121-cache 49G).
Принян ~93–112G (docker image prune: exl3, mimo26-spark a14/a15, dsv41-mia,
sglang-dsv41, qwen38, старые б12x; застарелые контейнеры сняты вручную).
`sm121-cache/*/snapshots` (47G) — весовые снапшоты для fast-load, **НЕ
чистить**. Остатки: dgx3 195G, dgx4 540G, dgx5 61G, dgx6-8 ~400-500G.

## Состояние на конец сдвига

- **Live**: MiMo-Pro 8x serve (`mimo-v2.6-pro`, 512K, 8/8 узлов), kraken
  `b01442df`.
- Плауто: TTB 2.7.1.dev7+gbd35ba91b, tokenizer'и в /tmp.
- Образы: `spark-glm53-karmic:local` на dgx7 (18.3G); `spark-glm53:v9` на
  всех 8.
- Бэклог: A/B kindling 4x `v9` vs karmic (нужен sync клястера); re-baseline
  Pro 8x depth (после фикса ханга); `sm121 bench` — защита от зависания
  depth (timeout/retry).