Página Principal Explorar Ajuda
Iniciar Sessão
sm121
/
recipes
2
0
Fork 0
Ficheiros Problemas 0 Pull Requests 0 Wiki
Árvore: 530b138543
Ramos Etiquetas
recipes
/
recipes
/
dsv41-flash-1017-4x-flare-gb10-prod4
/
NOTE.md

NOTE.md 9.2 KB
Histórico Em bruto

DeepSeek-V4.1-Flash-1017 через FLARE gb10 — прод-половина (dgx1–4)

Второй рецепт того же пакета: dgx58-switch (стенд dgx5–8) и 4nodes-switch (прод dgx1–4) — это два разных лейна с разными ledger'ами, поэтому рецепт отдельный. Пакет, образ и флаги идентичны dsv41-flash-1017-4x-flare-gb10.

Состояние на 2026-11-04: прод-лейн переведён на prod-no4

Даже с патчем холодный старт клинит: 2026-11-04 после ребута ноды первый длинный префолл умер на seq 93, prefill=1 — ~350 MB строк первого чанка не успевают прийти по диску dgx4 в ~8-секундное спин-окно (патч поднимает пропускную способность, но диск в этом режиме встаёт посреди пачки). Прод-лейн теперь dsv41-flash-1017-4x-flare-gb10-nodgx4 на кластере prod-no4 (dgx1+dgx2+dgx3+dgx8, орбит prod5) — чист на тех же префиксах. Эта конфигурация (prod4b + патч) — для ПОСЛЕ замены диска dgx4.

Состояние на 2026-11-03: орбита prod4b + патченный runtime

Лейн переведён на орбитальный кластер prod4b (dgx1 → dgx2 → dgx3 → dgx4, rank 0 = dgx1) и на патченный FLARE. prod4 (rank 0 = dgx4) остаётся в orbit.toml только для отката.

  • Патч: NVIDIA/spark-local-inference main + cherry-pick PR #184 (Run parallel Engram disk workers on Linux with io_uring lanes, автор Josh Cartu) — ветка pr184-on-main на dgx5, релиз aarch64. На ранги заливается через orbit run --executable /home/kilork/flare-patched/flare (поле executable в [flare.clusters."4nodes-switch"] приватного config launcher'а); агентская установка /usr/bin/flare не трогается, откат — убрать строку. Файл должен лежать на контроллере (dgx4).
  • Почему: 2026-11-03 прод-лейн три раза умер на длинном prefill с RoCE collective on rank 2 timed out waiting for rank 0, HCA 0 … the transport is poisoned. Метрики ранга 0 показали stop-and-go prefill: GPU стоял пачками по 10–20 с, engram_disk_wait прыгал на +10 с за 2 с (≈24K рандомных чтений/с при потолке диска ~29K IOPS) — пир выходил за ~20-секундный spin-limit коллектива и травил транспорт. Диск dgx4 — KingSpec XG7000-2TB 2242 (единственная нода флота с другой моделью). Прошивки для него нет (KingSpec не выпускает ни утилиту, ни образы; наш GT0d9d63 отсутствует в публичной базе).
  • Результат A/B (тот же 157K first-touch префикс, те же флаги): без патча 3/3 прогонов — wedge + poison (93K/61K/70K токенов, т.е. 1–66 с до смерти); с патчем — чистый prefill 0→157,086 за ~60 с (~2,600 t/s), engram_disk_wait 48.7 с суммарно — как у здорового dgx5 (48.4 с). Контроль: prod5 (dgx1+dgx2+dgx3+dgx8, без dgx4) без патча тоже чистый — подтверждает, что виноват диск dgx4, а не роль rank 0 и не фабрика.
  • Полный разбор, цифры и текст для upstream: specs/tech-architecture/flare-roce-poison.md в launcher-репо.

Состояние на 2026-11-02 (NAS мёртв — работает без сетевого диска)

  • Пакет: свежий gb10 из local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE (format 2, blob store), 488 GB, version gb10-tp4-202611021809.
  • rank 0 = dgx4 (2 TB): единственная нода, где влезают и CLI-store 488 GB, и agent-cache 488 GB. Ранги: dgx4, dgx1, dgx2, dgx3. (С 2026-11-03 rank 0 = dgx1, см. выше; диск dgx4 под нагрузкой не тянет.)
  • Орбит пере-спарен 2026-11-02 без dgx5 (тот был выключен): контроллер — gx10-dgx4, [cluster.prod4] в ~/.config/flare/orbit.toml на dgx4. Авторизация dgx5 на dgx1–4 сброшена: когда вернётся NAS и понадобится sparks-лейн, dgx5 надо переспарить (flare agent reset + install --accept-first + orbit pair с dgx5).

  • Запуск ручной (launcher-mirror под новый формат тогда не умел):

    # на dgx4
flare download local-inference-lab/DeepSeek-V4.1-Flash-1017-FLARE \
--revision gb10 --tensor-parallel 4          # ~50 мин, идемпотентно
flare orbit run /home/kilork/flare-pkgs/gb10/models/checkpoint-expanded-scales/gb10-tp4-202611021809/model.safetensors \
--cluster prod4 --name dsv41-flash-1017-4x-flare-gb10-prod4 \
--host 0.0.0.0 --port 30000 --detach \
--dangerously-approve-key <fp> --dangerously-accept-publisher local-development \
--served-model-name deepseek-v4.1-flash --max-concurrency 32 \
--mtp-draft-tokens 5 --mtp-adaptive-verification \
--embedding-table-storage disk --embedding-table-cache-size 1GiB \
--embedding-table-resident-scales

flare orbit attach <name> --cluster prod4 — логи; orbit stop — стоп.

Бенч (2026-11-02, v3.0.0, seed 42, hardmode, клиент pluto)

reports/2026-11-02_200733_flare-prod4-gb10-fresh.{md,json,log} + пакет прогона.

  • 92/100 (176/192) — лучший результат этой модели на площадке (ранее 91/100 на vLLM и SGLang с 512K).
  • Скорость: tg 70.2 c1 / 97.9 c2, pp2048 1,701/1,774; на d8192 — pp 2,890. Против прод-SGLang EP2 (47.8/64.2) это +45%/+52% декода; против прошлого закрытого FLARE-пакета (19.2/29.6) — ×3.5.

Бенч (2026-11-04, v3.0.0, seed 42, hardmode, клиент pluto — патченный runtime)

reports/2026-11-04_092512_flare-prod4-patched.{md,json,log} + пакет прогона. Первый прогон на патченном runtime (main@585159c9 + PR #184) — и первый холодный 157K-префикс на этом лейне, который не убил транспорт (см. выше).

  • 90/100 (172/192) — на 4 пункта ниже вчерашнего baseline: +3 новых фейла (TC-43/71/76 — известные флейки категории TC этой модели), −2 старых (TC-89/92 прошли), TC-45 (500 на probe tool_choice — известная дыра FLARE, кандидат в репорт лабе) исключён как инфраструктурный. Разброс в пределах рана-вариации, систематического ухудшения нет.
  • Скорость: tg 64.1 c1 / 99.6 c2, pp2048 1,727/1,591; d4096 1,835/70.6 и 1,753/99.6; d8192 1,950/67.5 — тот же класс, что baseline (tg c1 −9%, c2 +2%).
  • Прогон с холодного старта нод (ребут утром) — транспорт жив: 1/1 после 3/3 клиньев без патча. Но под долгой нагрузкой патч не спасает: в 10:03 UTC (после бенча, ~2.8M коллектива) лейн умер на rank 1 waiting rank 3, seq 2833389 — диск dgx4 не держит постоянную Engram-ноду. Прод переведён на prod-no4 (dgx8 вместо dgx4). Отчёты про bench-методологию (плутон + токенайзер): specs/tech-architecture/flare-roce-poison.md и AGENTS launcher-репо.
  • TC-45 исключён: FLARE вернул 500 на probe tool_choice (кандидат на репорт в лабу). TC-92 (tenant isolation) — модельный дефект, не FLARE.
  • Thinking: FLARE не принимает reasoning_effort/chat_template_kwargs — уровень фиксирован пакетом, диала нет (у pi это отражено в конфиге).

Диск (agent-cache на рангах)

нода роль agent-cache
dgx4 rank 0 488 GB (полный пакет)
dgx1/2/3 rank 1–3 267 GB каждый (183 GB общие Engram + ~84 GB срез)

На dgx4 к этому добавляется CLI-store 488 GB (он же контроллер) — итого 976 GB. Убрать дубль можно, запустив пакет с ноды, где он уже лежит в agent-cache: orbit run gx10-dgx5:/home/kilork/.cache/flare/packages/<id>/model.safetensors (проверено). Детали: specs/tech-architecture/flare-bringup.md в launcher-репо.