Night shift 2026-10-14

Оператор: новые движки (gr8, DGPP) + контроль 2x + чат-шаблон; после тестов — полное выключение 8x-кластера (сначала убить Mac-серверную петлю, close лиджера, потом detached power off — stop на dgx1 убил бы агента).

gr8 (полный GLM-5.3, TP=4) — развёрнут и пробенчен

ghcr.io/kindlingai/gr8 на dgx3/4/6/8 (docker compose, ранки dgx3,4,6,8; PEERS по mgmt-LAN, rails авто через 200G-свитч; кэш /srv/gr8/cache, uid 1000; vm.compaction_proactiveness=0).

Загрузка 85.6 GB/rank + конвертация DFlash2-драфтера (incoai/GLM-5.3-DFlash2, CC BY-NC-ND) ~9 мин; smoke 12/12, context limit 310,514.
API http://192.168.88.50:8100/v1, модель glm-5.3.
Perf c1: decode code 49.9 / prose 36.7 t/s (у них 49.3/30.0); prefill 8K cold 1,294 / cached 50,871 t/s; aggregate c4 64.6 (у них 64.0) — опубликованные числа воспроизводятся.
TEB 89/100 (v2.8.0, 97 scen, hardmode, engine-default effort; 80 pass / 9 partial / 8 fail). Отчёт recipes/glm53-full-tp4-gr8/reports/2026-10-14_193000_*.

DGPP (Qwen3.8-Flash-Next NVFP4, w1) — развёрнут и пробенчен

HawkBearPig/dgpp на dgx7 (~/dgpp, setup wizard ~15 мин; checkpoint 123.6 GiB с NAS HF-кэша). API http://192.168.88.54:18080/v1, модель nvidia/Qwen3.8-Flash-Next-NVFP4 (reasoning, honours reasoning_effort).

TEB 88/100 @default effort (v2.8.0); 86/100 @low (2.7.1.dev7).
Чистый decode c1 (code, effort=low): 44.9 t/s (их заявка 42.6–50.3).
Отчёты recipes/qwen38-flash-next-nvfp4/reports/2026-10-14_233000_*.
Стоп: scripts/dgpp-cluster down (native-процессы, без docker).

Контроль 2x на новом харнессе

glm53-kindling-2x (живой 2x-серв, dgx1+dgx2): 93/100 (v2.8.0, 97 scen, hardmode, engine-default effort). Отчёт recipes/glm53-kindling-2x/reports/2026-10-14_203500_2x-control-v28.*. Все полосы теперь на одном харнессе v2.8.0: 2x Flash = 93 · gr8 = 89 · DGPP = 88 (default) / 86 (low).

Чат-шаблон: фикс из zai-org/GLM-5.3 PR #31

О(N²) проверка tool-result id → linear sort-merge. Пересажен в glm53-kindling/image/chat-template.jinja и karmic-kraken/glm53-chat-template.jinja (оба были байт-идентичны; квадратичные макросы остались, но не вызываются). Валидация (jinja2 + loopcontrols, 3000 random-разговоров с обычными/ case-вариантными/отсутствующими id, list-of-outputs, дропом результатов): 0 расхождений; 800 параллельных calls: 5.685 s → 0.023 s (247×), вывод байт-идентичен. Коммит 989c085 (shared repo). Чексумма dirs поменялась → rebuild при следующем serve.

Shutdown

gr8 остановлен чисто (gr8 glm53 down, exit 0 — не рестартанется при включении; кэш 90 GB/ранк персистит в /srv/gr8/cache). Mac-серверная петля 2x убито, runlock close glm53-kindling-2x, detached sm121 power off --cluster 8nodes-switch — выключены все 8 узлов (dgx1 гаснет вместе с агентом — предусмотрено). Утром 10-15 включены dgx1-2 для 2x-серва.

Pi: 24 h подтверждение OOM-фикса

/tmp/sm121-rss-monitor.log: RSS плоский 33–40 MiB сутки (10-14 16:37 → 10-15 06:41). Рост 270 MiB/ч ушёл.

Завтра (10-15)

2x serve снова: rebuild упёрся в мёртвый BASE (см. 2026-10-15.md).

2026-10-14.md 3.9 KB Permalink History Raw