|
@@ -258,3 +258,32 @@ ValueError: No valid attention backend found for kv_cache_dtype=fp8_ds_mla, use_
|
|
|
**Статус: blocked в форке** — нужен либо DFlashAttention с fp8_ds_mla, либо
|
|
**Статус: blocked в форке** — нужен либо DFlashAttention с fp8_ds_mla, либо
|
|
|
per-drafter bf16-KV override. Отчёт для владельца форка (voipmonitor) в
|
|
per-drafter bf16-KV override. Отчёт для владельца форка (voipmonitor) в
|
|
|
очереди. r27 DFlash2 (прошлый сессии-блокер) — тот же корень, не регресс.
|
|
очереди. r27 DFlash2 (прошлый сессии-блокер) — тот же корень, не регресс.
|
|
|
|
|
+
|
|
|
|
|
+## 09-09: Прод переключён на full r28 (решение оператора) + upstream-описания
|
|
|
|
|
+
|
|
|
|
|
+Оператор: (1) поднимать прод на r28; (2) dgx5 — пока только 10G, в кластер не
|
|
|
|
|
+подключаем (386B остаётся ждёт решения об инфраструктуре); (3) подготовить
|
|
|
|
|
+описания проблем, но "странно, они говорят что всё живое" — смотреть в сторону
|
|
|
|
|
+sparkring.
|
|
|
|
|
+
|
|
|
|
|
+- **Прод = `glm53-flash-r28-4x-dcp4` на 4nodes-switch** (заменён aiden-4x).
|
|
|
|
|
+ Запуск: weights 184G + MTP 12.3G (instanttensor), RoCEnante live,
|
|
|
|
|
+ KV 8,060,928 tokens, API подтверждён completion-запросом. ~09:00 UTC.
|
|
|
|
|
+- **Sparkring-разведка** (FujitsuPolycom/sparkring):
|
|
|
|
|
+ - SparkRing = SIRCL + RoCEnante (наш RoCEnante — из их `third_party/b12x_roce`)
|
|
|
|
|
+ + patched NCCL; switchless rings 2x/4x/6x.
|
|
|
|
|
+ - **DFlash2 в sparkring — RETIRED profile** (JJ R8/R10: FP8 KV + BF16
|
|
|
|
|
+ DFlash2 depth 7, vLLM `dev/jovian-judgement` tag e02b1746 + b12x 9ae41c5c)
|
|
|
|
|
+ — замещён **native MTP3**, который и есть наш текущий прод-путь
|
|
|
|
|
+ (MTP k=5, head in-checkpoint). Т.е. "всё живое" — потому что их текущий
|
|
|
|
|
+ путь не трогает ни b12x-loader, ни DFlash2.
|
|
|
|
|
+ - 386B full model: DFlash2-варианта не существует (1.3 GB draft-модели
|
|
|
|
|
+ только для 184G Flash); drafter добавляет память, не экономит.
|
|
|
|
|
+- **Upstream-описания** (для voipmonitor/local-inference-lab):
|
|
|
|
|
+ `specs/tech-architecture/upstream-issues-2026-09-09.md` —
|
|
|
|
|
+ (1) b12x O_DIRECT loader: `eh_proj.weight` missing from pool allocation
|
|
|
|
|
+ plan (b12x/loader/_checkpoint.py:370) — small fix if plan is config-driven;
|
|
|
|
|
+ (2) DFlash2: bf16-KV drafter wiring exists in JJ R8 line, absent in r27/r28
|
|
|
|
|
+ base — вопрос владельцу: native MTP — long-term path? (тогда не чиним),
|
|
|
|
|
+ либо port из JJ R8; (3) 386B = capacity note, не баг.
|
|
|
|
|
+- Cluster: прод 4x r28 serving; 2nodes-dac свободен; dgx5 off (10G only).
|
