# Night shift 2026-10-21/22 — plan (after the daily research round)

Стенд: **dgx5–8 свободны** (GLM-5.3 2x и TF 1017-old остановлены). Прод dgx1–4
(`dsv41-flash-1017-4x-sglang`) — не трогать.

## Что нашлось за дневной ресерч (влияет на приоритеты)

1. **TensorFold ушёл далеко вперёд.** Наш рецепт пинит TF **0.6.0** из
   `x00byte/DeepSeek-V4.1-Flash-1017-Dual-Spark`. В экосистеме уже
   **TensorFold 1.0.12 / 1.2.4** (нативный Zig-движок) и целая семья рецептов:
   - `bertholomus/deepseek-v4.1-tensorfold-tp4-4xgb10` — **exact 4-node TP4**,
     ветка `deepseek-v41-zig-tp4` @ `51726210`, Zig 0.17.0 + CUDA 13, vision,
     1M контекст, 16 потоков на общее окно 4.19M позиций, **kept-prompt reuse**
     (наш «session cache»), точный DSpark, structured output, tool calls (DSML);
     веса EXL3 **4.0bpw** (288 GB), rank-cache ~76 GiB/нода, kit с AOT-кубинами.
   - `MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks` + `Elevatormusic` (кэш) +
     `sehoon123` (**wide copy windows**: копирование текста 123.6 → 204.1 tok/s,
     `ROUND_ROWS=32/48`, self-cap 15).
   → Гипотеза оператора «TF не может быть таким плохим» скорее всего верна: мы
   мерили движок полугодовой давности. Это главный кандидат на сегодня.
2. **RedHatAI/GLM-5.3-MXFP4xFP8** (загружен/обновлён 2026-10-21): полный
   GLM-5.3, `GlmMoeDsaForCausalLM`, 78 слоёв, mixed-precision compressed-tensors
   (mxfp4 + fp8_block), 1M ctx, **415.4 GB** (141 шард). На 4 ноды — ~104 GB
   весов/ноду: впритык (GB10 ~119 GB unified), но потенциально взлетает с
   fp8-KV и низким GMU. Нужен движок, понимающий `glm_moe_dsa` + mxfp4
   (проверить vLLM main/kindling).
3. **local-inference-lab (FLARE) открыл GitHub**: репозитории
   `blackwell-llm-docker` (образы SGLang+vLLM для Blackwell), форк `flashinfer`,
   `llm-inference-bench`, `rtx6kpro` — самого рантайма FLARE нет, но их
   Docker/патчи и бенч-харнесс могут быть полезны; проверить, что нового.
4. Прочее с HF за сутки: много новых квантов GLM-5.3 (AlayaNeW INT4-FP8Mix,
   cgg507 GM-E32-NVFP4, vcruz305 EXL3-SAGE 2.45bpw, junmo-k FP4-Local-MLX,
   EigenLabs MLX-NVFP4-mtp), `RedHatAI/gemma-4-31B-*` dspark/dflash драфтеры.

## План (по убыванию ценности)

- **P0. TensorFold 1.0.12 TP4 (bertholomus) на dgx5–8.** Это проверка гипотезы и
  потенциально лучший лейн: 4 ноды, 1M ctx, kept-prompt reuse, точный DSpark,
  широкие copy-windows. Шаги:
  1. [x] клонировать рецепт + движок @`51726210`, поставить Zig 0.17.0;
  2. [x] собрать `zig build install native -Dsm=121` в `dsv41-tf-1017:v1`
     (это `nvcr.io/nvidia/pytorch:26.07-py3` — ровно требуемый образ);
  3. [x] скачать веса `bertholomus/...-EXL3-4.0bpw` (288 GB) на NAS;
  4. `tools/serving_1017.py MODEL_DIR` (markov head + engram q/k, chat template);
  5. `kit/verify_kit.sh` (RoPE-таблицы на CPU + vision gate bias);
  6. `node_inputs.sh` → rank-cache 76 GiB на каждую ноду (модель и Engram читаем
     с NAS, локально только rank-cache: 288 GB на ноду не влезают);
  7. `scripts/serve.sh start` (4 ранга, RoCE), затем замеры: prefill pp2048,
     decode c1/c2, needle на 128K/512K, kept-prompt reuse, tool-eval-bench 97.
- **P1. TF + GLM-5.3-Flash.** Наш старый рецепт 1017 тащит env-префикс
  `GLM53_TF_*` — значит TF-семейство для GLM-5.3 существует. Найти их лейн
  (MiaAI-Lab/bertholomus) и поднять на том же движке 1.0.12.
- **P2. RedHat GLM-5.3-MXFP4xFP8 на 4 нодах.** Проверить поддержку
  `glm_moe_dsa` + mxfp4 в наших образах (kindling/jovian/vLLM main); если есть —
  TP4 с fp8-KV и GMU ~0.85; иначе собрать образ.
- **P3. FLARE/local-inference-lab** — что нового в `blackwell-llm-docker` и
  форке `flashinfer` (sm121-патчи?), стоит ли пробовать.
- **P4. Форумный дневной скан** (новые треды DGX Spark за сутки).

## Ограничения/заметки

- Диски: модель 288 GB и Engram 203 GB остаются на NAS; локально — rank-cache
  76 GiB + kit + движок. dgx5/6 надо освободить (удалить неиспользуемые образы).
- Всё мерить одним харнессом (tool-eval-bench v2.8.0, seed 42) — только так
  сравнение с 1017-prod (86–87/100) и GLM-5.3 2x (94/100) корректно.
- Долгие операции — короткий поллинг в том же вызове, выход на первом `Error:`
  (правило в AGENTS.md «Monitoring discipline»).