Browse Source

docs: FLARE prod uses no --roce-ring; legacy CX7 ports were the cause

Alexander Korolev 10 hours ago
parent
commit
79848764a2
1 changed files with 7 additions and 5 deletions
  1. 7 5
      specs/tech-architecture/dsv41-1017-tuning.md

+ 7 - 5
specs/tech-architecture/dsv41-1017-tuning.md

@@ -271,7 +271,7 @@ tensor-parallel size 1`); при повторном (cached) download путь 
 контроллер `gx10-dgx1`, `/v1/models` → `deepseek-v4.1-flash` (алиас из
 `--served-model-name`), `max_model_len 1048576`, `max_concurrency 32`.
 Флаги рецепта совпадают с ручным запуском: c32, DSpark5 + adaptive, disk,
-1 GiB row cache, resident scales, `--roce-ring`.
+1 GiB row cache, resident scales. `--roce-ring` больше не используется.
 
 Первый бенч нового пакета (tool-eval-bench **v3.0.0**, seed 42, hardmode,
 c1,2, run `2026-10-28_061841_flare-gb10-2026-10-27`) — **89/100 (171/192)**,
@@ -385,10 +385,12 @@ dgx5–8 не показывал (у него всё «просто работа
    (download и так не спрашивает). Лаунчер теперь передаёт `accept_key` /
    `accept_publisher` исключительно в `run_cmd`.
 2. **Форма фабрики — свойство кластера, а не рецепта.** Прод-решётка это звезда
-   через SW2-MUC; FLARE падает с «no fabric link from rank 0 to rank 2».
-   Лечится `--roce-ring` (эмуляция кольца поверх свитча: 2 rail'а на соседа +
-   CPU-relay). Флаг живёт в `[flare.clusters."4nodes-switch"].extra_flags`,
-   sparks-лейн его не наследует.
+   через SW2-MUC. Первый симптом был «no fabric link from rank 0 to rank 2», и
+   `--roce-ring` (эмуляция кольца поверх свитча: 2 rail'а на соседа + CPU-relay)
+   был лечением симптома. Настоящая причина — поднятые легаси-порты CX7
+   (192.168.100.x/101.x у dgx1/dgx2, которых нет у пиров → несимметричная
+   матрица линков). После хука `[before_serve."4nodes-switch"]`, гасящего эти
+   порты, FLARE находит звезду сам; `extra_flags` для кластера теперь пуст.
 3. **Лишние RoCE-адреса ломают матрицу линков.** У dgx1/dgx2 были подняты
    вторые порты CX7 в легаси-подсетях (192.168.100.x/101.x), которых нет у
    пиров → «fabric links must be symmetric» → отказ. Гасятся хуком