# Night shift 2026-10-02

Оператор: «заставь kindling-конструкцию работать», «сверь апстримы того, что
используем», «скилл для триажа», «headless на узлах». Все 8 узлов активны,
агент переключен на «плуту» (macOS).

## kindling glm53-kindling-4x — e2e-ночь (mode B)

Хронология запусков на `dgx58-switch` (dgx5–8), образ `spark-glm53:v9`
(checksum d285a3f…):

1. **Краш #1** (ночь 10-01): `--speculative-config` в TOML задублирован
   (генератор вставил JSON дважды) → vLLM не парсит mash-up.
2. **Форма кавычек**: значение должно быть `"""` + newline + `'{JSON}'` +
   `"""` с закрывающим `"""` **на той же строке** (форма mimo-рецептов);
   trailing newline перед `"""` → лаунчер не снимает апострофы →
   `cannot be converted to loads`. Фикс во всех 3 рецептах, argv
   провалидированы in-image (at4: argparse пройден, движок ушёл в загрузку).
3. **Апстрим kindling**: +3 коммита (27cf839): их фикс #64 — ровно наш баг
   (второй `--speculative-config` в EXTRA выигрывал; теперь `SPEC_EXTRA`,
   второй конфиг запрещён), megamoe #67, kindling.json #68. Ре-вендорен
   (наш build.sh/README сохранены, README.upstream.md обновлён).
4. **UMA-гейт** (главная находка): `Free memory on device cuda:0 (106.28/
   106.92/121.63 GiB) ... less than desired GPU memory utilization (0.88,
   107.03 GiB)` — на СЛУЧАЙНЫХ узлах (rank1/rank2 в одну секунду), маржа
   0.11–0.75 GiB. Встроенный drop_caches (config, default true) не спасает:
   к worker-init контейнерный стек (torch+CUDA+code page cache) уже
   дописал ~11 GiB. Фикс: **GMU 0.88→0.86** (нужно 104.60, маржа ≥1.68) +
   **mods-`drop_caches`** вплотную к exec; жёсткий `--kv-cache-memory`
   26 GiB не тронут → пул KV не меняется.
5. **Итог**: все 4 контейнера Up, веса 33/33 shards за 648 с (NAS), их
   W4/FP8-конверсия работает; далее draft + autotune (первый запуск на
   узлах, /tmp-кэш автотюна) → готовность ~09:00–09:20.

Процесс-улучшения:
- **Скилл `.agents/skills/serve-boot-triage/`** — триаж: `--keep` (контейнер
  переживает крах, логи читаются), detached serve, per-node матрица,
  hard rules (IP только из config; base64-скрипты; runlock).
- Серв-вызовы: **follow-режим по умолчанию** — без `--no-follow` serve
  блокируется в логах (это и было «зависание 600 с», не баг лаунчера).
- Длинный foreground-вызов (make check + serve в одном) уходит в
  interruption — serve в отдельном коротком вызове.

## Headless + уборка

- X/gdm (`graphical.target`) найден на **dgx6/7/8** (dgx1–5 уже multi-user);
  переключено: `systemctl set-default multi-user.target` + `stop gdm`.
  Оператор: «это явная ошибка конфигурации».
- searxng-контейнер на dgx6 удалён (мусор чужого эксперимента, по запросу).
- runlock: закрыты stale `gemma4-12b` (09-30) и
  `mimo26-flash-mopd-4x-sparkring` (09-30).

## Апстрим-сверка (что используем)

| Стек | Статус |
|---|---|
| kindling `glm-5.3-flash-gx10` | +3 коммита → ре-вендор 27cf839 (см. выше) |
| tool-eval-bench | без изменений с пина v2.7.0 (544afb576b3) |
| MiMo Flash/Pro MOPD (HF) | refs/main == наши пины (2479e2d0 / adea8e2c) |
| nvidia GLM-5.3-Flash-NVFP4 | refs/main == да920bb0 (наш) |
| incoai DFlash2 | refs/main == bf582e4e (наш) |
| eugr/spark-vllm-b12x | **новый nightly-20261001** (+0930) — vllm-лейн подхватит при следующем старте (floating :latest) |
| sparkring (ghcr) | наш пин = `glm53-shared-74275757` (f25cdb6b); есть ещё два тега `glm53-shared-{a8aeff2,8b32ef2}` — новые сборки, adoption = ре-пин по digest + re-bench (отложено) |
| vLLM upstream | PR #58846/#58720 (flashkda fp32) merged; открытые spec-decode багфиксы не трогать (форк) |

## Ожидания

1. Готовность kindling 4x (~09:00–09:20), smoke (chat + structured output).
2. Bench-кампания (hardmode, c1+c2) — до возвращения оператора.
3. При хорошем результате: ребилд образа на 27cf839 (megamoe #67) +
   A/B с lab GLM53; TP6--bootstrap (make_padded.py) — в следующем окне.