|
|
@@ -0,0 +1,67 @@
|
|
|
+# Night shift 2026-10-21/22 — plan (after the daily research round)
|
|
|
+
|
|
|
+Стенд: **dgx5–8 свободны** (GLM-5.3 2x и TF 1017-old остановлены). Прод dgx1–4
|
|
|
+(`dsv41-flash-1017-4x-sglang`) — не трогать.
|
|
|
+
|
|
|
+## Что нашлось за дневной ресерч (влияет на приоритеты)
|
|
|
+
|
|
|
+1. **TensorFold ушёл далеко вперёд.** Наш рецепт пинит TF **0.6.0** из
|
|
|
+ `x00byte/DeepSeek-V4.1-Flash-1017-Dual-Spark`. В экосистеме уже
|
|
|
+ **TensorFold 1.0.12 / 1.2.4** (нативный Zig-движок) и целая семья рецептов:
|
|
|
+ - `bertholomus/deepseek-v4.1-tensorfold-tp4-4xgb10` — **exact 4-node TP4**,
|
|
|
+ ветка `deepseek-v41-zig-tp4` @ `51726210`, Zig 0.17.0 + CUDA 13, vision,
|
|
|
+ 1M контекст, 16 потоков на общее окно 4.19M позиций, **kept-prompt reuse**
|
|
|
+ (наш «session cache»), точный DSpark, structured output, tool calls (DSML);
|
|
|
+ веса EXL3 **4.0bpw** (288 GB), rank-cache ~76 GiB/нода, kit с AOT-кубинами.
|
|
|
+ - `MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks` + `Elevatormusic` (кэш) +
|
|
|
+ `sehoon123` (**wide copy windows**: копирование текста 123.6 → 204.1 tok/s,
|
|
|
+ `ROUND_ROWS=32/48`, self-cap 15).
|
|
|
+ → Гипотеза оператора «TF не может быть таким плохим» скорее всего верна: мы
|
|
|
+ мерили движок полугодовой давности. Это главный кандидат на сегодня.
|
|
|
+2. **RedHatAI/GLM-5.3-MXFP4xFP8** (загружен/обновлён 2026-10-21): полный
|
|
|
+ GLM-5.3, `GlmMoeDsaForCausalLM`, 78 слоёв, mixed-precision compressed-tensors
|
|
|
+ (mxfp4 + fp8_block), 1M ctx, **415.4 GB** (141 шард). На 4 ноды — ~104 GB
|
|
|
+ весов/ноду: впритык (GB10 ~119 GB unified), но потенциально взлетает с
|
|
|
+ fp8-KV и низким GMU. Нужен движок, понимающий `glm_moe_dsa` + mxfp4
|
|
|
+ (проверить vLLM main/kindling).
|
|
|
+3. **local-inference-lab (FLARE) открыл GitHub**: репозитории
|
|
|
+ `blackwell-llm-docker` (образы SGLang+vLLM для Blackwell), форк `flashinfer`,
|
|
|
+ `llm-inference-bench`, `rtx6kpro` — самого рантайма FLARE нет, но их
|
|
|
+ Docker/патчи и бенч-харнесс могут быть полезны; проверить, что нового.
|
|
|
+4. Прочее с HF за сутки: много новых квантов GLM-5.3 (AlayaNeW INT4-FP8Mix,
|
|
|
+ cgg507 GM-E32-NVFP4, vcruz305 EXL3-SAGE 2.45bpw, junmo-k FP4-Local-MLX,
|
|
|
+ EigenLabs MLX-NVFP4-mtp), `RedHatAI/gemma-4-31B-*` dspark/dflash драфтеры.
|
|
|
+
|
|
|
+## План (по убыванию ценности)
|
|
|
+
|
|
|
+- **P0. TensorFold 1.0.12 TP4 (bertholomus) на dgx5–8.** Это проверка гипотезы и
|
|
|
+ потенциально лучший лейн: 4 ноды, 1M ctx, kept-prompt reuse, точный DSpark,
|
|
|
+ широкие copy-windows. Шаги:
|
|
|
+ 1. [x] клонировать рецепт + движок @`51726210`, поставить Zig 0.17.0;
|
|
|
+ 2. [x] собрать `zig build install native -Dsm=121` в `dsv41-tf-1017:v1`
|
|
|
+ (это `nvcr.io/nvidia/pytorch:26.07-py3` — ровно требуемый образ);
|
|
|
+ 3. [x] скачать веса `bertholomus/...-EXL3-4.0bpw` (288 GB) на NAS;
|
|
|
+ 4. `tools/serving_1017.py MODEL_DIR` (markov head + engram q/k, chat template);
|
|
|
+ 5. `kit/verify_kit.sh` (RoPE-таблицы на CPU + vision gate bias);
|
|
|
+ 6. `node_inputs.sh` → rank-cache 76 GiB на каждую ноду (модель и Engram читаем
|
|
|
+ с NAS, локально только rank-cache: 288 GB на ноду не влезают);
|
|
|
+ 7. `scripts/serve.sh start` (4 ранга, RoCE), затем замеры: prefill pp2048,
|
|
|
+ decode c1/c2, needle на 128K/512K, kept-prompt reuse, tool-eval-bench 97.
|
|
|
+- **P1. TF + GLM-5.3-Flash.** Наш старый рецепт 1017 тащит env-префикс
|
|
|
+ `GLM53_TF_*` — значит TF-семейство для GLM-5.3 существует. Найти их лейн
|
|
|
+ (MiaAI-Lab/bertholomus) и поднять на том же движке 1.0.12.
|
|
|
+- **P2. RedHat GLM-5.3-MXFP4xFP8 на 4 нодах.** Проверить поддержку
|
|
|
+ `glm_moe_dsa` + mxfp4 в наших образах (kindling/jovian/vLLM main); если есть —
|
|
|
+ TP4 с fp8-KV и GMU ~0.85; иначе собрать образ.
|
|
|
+- **P3. FLARE/local-inference-lab** — что нового в `blackwell-llm-docker` и
|
|
|
+ форке `flashinfer` (sm121-патчи?), стоит ли пробовать.
|
|
|
+- **P4. Форумный дневной скан** (новые треды DGX Spark за сутки).
|
|
|
+
|
|
|
+## Ограничения/заметки
|
|
|
+
|
|
|
+- Диски: модель 288 GB и Engram 203 GB остаются на NAS; локально — rank-cache
|
|
|
+ 76 GiB + kit + движок. dgx5/6 надо освободить (удалить неиспользуемые образы).
|
|
|
+- Всё мерить одним харнессом (tool-eval-bench v2.8.0, seed 42) — только так
|
|
|
+ сравнение с 1017-prod (86–87/100) и GLM-5.3 2x (94/100) корректно.
|
|
|
+- Долгие операции — короткий поллинг в том же вызове, выход на первом `Error:`
|
|
|
+ (правило в AGENTS.md «Monitoring discipline»).
|
