launcher/history/night-shifts/2026-10-21-night-plan.md

Night shift 2026-10-21/22 — plan (after the daily research round)

Стенд: dgx5–8 свободны (GLM-5.3 2x и TF 1017-old остановлены). Прод dgx1–4 (dsv41-flash-1017-4x-sglang) — не трогать.

Что нашлось за дневной ресерч (влияет на приоритеты)

1. TensorFold ушёл далеко вперёд. Наш рецепт пинит TF 0.6.0 из x00byte/DeepSeek-V4.1-Flash-1017-Dual-Spark. В экосистеме уже TensorFold 1.0.12 / 1.2.4 (нативный Zig-движок) и целая семья рецептов:
   • bertholomus/deepseek-v4.1-tensorfold-tp4-4xgb10 — exact 4-node TP4, ветка deepseek-v41-zig-tp4 @ 51726210, Zig 0.17.0 + CUDA 13, vision, 1M контекст, 16 потоков на общее окно 4.19M позиций, kept-prompt reuse (наш «session cache»), точный DSpark, structured output, tool calls (DSML); веса EXL3 4.0bpw (288 GB), rank-cache ~76 GiB/нода, kit с AOT-кубинами.
   • MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks + Elevatormusic (кэш) + sehoon123 (wide copy windows: копирование текста 123.6 → 204.1 tok/s, ROUND_ROWS=32/48, self-cap 15). → Гипотеза оператора «TF не может быть таким плохим» скорее всего верна: мы мерили движок полугодовой давности. Это главный кандидат на сегодня.
2. RedHatAI/GLM-5.3-MXFP4xFP8 (загружен/обновлён 2026-10-21): полный GLM-5.3, GlmMoeDsaForCausalLM, 78 слоёв, mixed-precision compressed-tensors (mxfp4 + fp8_block), 1M ctx, 415.4 GB (141 шард). На 4 ноды — ~104 GB весов/ноду: впритык (GB10 ~119 GB unified), но потенциально взлетает с fp8-KV и низким GMU. Нужен движок, понимающий glm_moe_dsa + mxfp4 (проверить vLLM main/kindling).
3. local-inference-lab (FLARE) открыл GitHub: репозитории blackwell-llm-docker (образы SGLang+vLLM для Blackwell), форк flashinfer, llm-inference-bench, rtx6kpro — самого рантайма FLARE нет, но их Docker/патчи и бенч-харнесс могут быть полезны; проверить, что нового.
4. Прочее с HF за сутки: много новых квантов GLM-5.3 (AlayaNeW INT4-FP8Mix, cgg507 GM-E32-NVFP4, vcruz305 EXL3-SAGE 2.45bpw, junmo-k FP4-Local-MLX, EigenLabs MLX-NVFP4-mtp), RedHatAI/gemma-4-31B-* dspark/dflash драфтеры.

План (по убыванию ценности)

• P0. TensorFold 1.0.12 TP4 (bertholomus) на dgx5–8. Это проверка гипотезы и потенциально лучший лейн: 4 ноды, 1M ctx, kept-prompt reuse, точный DSpark, широкие copy-windows. Шаги:
  1. клонировать рецепт + движок @51726210, поставить Zig 0.17.0;
  2. собрать zig build install native -Dsm=121 в dsv41-tf-1017:v1 (это nvcr.io/nvidia/pytorch:26.07-py3 — ровно требуемый образ);
  3. скачать веса bertholomus/...-EXL3-4.0bpw (288 GB) на NAS;
  4. tools/serving_1017.py MODEL_DIR (markov head + engram q/k, chat template);
  5. kit/verify_kit.sh (RoPE-таблицы на CPU + vision gate bias);
  6. node_inputs.sh → rank-cache 76 GiB на каждую ноду (модель и Engram читаем с NAS, локально только rank-cache: 288 GB на ноду не влезают);
  7. scripts/serve.sh start (4 ранга, RoCE), затем замеры: prefill pp2048, decode c1/c2, needle на 128K/512K, kept-prompt reuse, tool-eval-bench 97.
• P1. TF + GLM-5.3-Flash. Наш старый рецепт 1017 тащит env-префикс GLM53_TF_* — значит TF-семейство для GLM-5.3 существует. Найти их лейн (MiaAI-Lab/bertholomus) и поднять на том же движке 1.0.12.
• P2. RedHat GLM-5.3-MXFP4xFP8 на 4 нодах. Проверить поддержку glm_moe_dsa + mxfp4 в наших образах (kindling/jovian/vLLM main); если есть — TP4 с fp8-KV и GMU ~0.85; иначе собрать образ.
• P3. FLARE/local-inference-lab — что нового в blackwell-llm-docker и форке flashinfer (sm121-патчи?), стоит ли пробовать.
• P4. Форумный дневной скан (новые треды DGX Spark за сутки).

Ограничения/заметки

• Диски: модель 288 GB и Engram 203 GB остаются на NAS; локально — rank-cache 76 GiB + kit + движок. dgx5/6 надо освободить (удалить неиспользуемые образы).
• Всё мерить одним харнессом (tool-eval-bench v2.8.0, seed 42) — только так сравнение с 1017-prod (86–87/100) и GLM-5.3 2x (94/100) корректно.
• Долгие операции — короткий поллинг в том же вызове, выход на первом Error: (правило в AGENTS.md «Monitoring discipline»).