|
|
@@ -298,3 +298,31 @@ verification) — способ проверить, изменилось ли э
|
|
|
`--served-model-name deepseek-v4.1-flash` (было 131072 / `dsv41`). Проверено:
|
|
|
`/v1/models` → `deepseek-v4.1-flash 524288`; замер на уникальном промпте
|
|
|
**24,005 токенов: TTFT 8.0 s, prefill 2,996 t/s** — 512K-окно префилл не сломало.
|
|
|
+
|
|
|
+## FLARE `gb10`: resident-scales измерены (2026-10-24, 20:50 UTC)
|
|
|
+
|
|
|
+Флаг из их рекомендованного набора (`--embedding-table-resident-scales`) мы
|
|
|
+сначала держали выключенным, потом включили и сняли A/B на стенде dgx5–8
|
|
|
+(`memory`, 4 GiB row cache в обоих прогонах):
|
|
|
+
|
|
|
+| | без флага (`022726`) | resident-scales (`205024`) |
|
|
|
+|---|---:|---:|
|
|
|
+| score (v2.8.0, hardmode) | 90/100 | 88/100 (в пределах флуктуаций: там 2 safety-critical, здесь 0; `TC-45` исключён — endpoint вернул 400) |
|
|
|
+| pp2048 @d0 | 2,048 | **2,892** |
|
|
|
+| tg @d0 c1 / c2 | 53.0 / 81.7 | 54.3 / 81.1 |
|
|
|
+| tg @d4096 c2 | — | **85.3** |
|
|
|
+| tg @d8192 c1 / c2 | просадка | **61.0 / 80.4** |
|
|
|
+| ctx pp8192 @d8192 c1/c2 | — | 3,744 / 3,521 |
|
|
|
+
|
|
|
+Читается так: промах кэша строк больше не делает **второй заход за
|
|
|
+E8M0-скейлами**, поэтому ушла деградация decode на длинном контексте
|
|
|
+(d8192 c1 61.0 при d0 c1 54.3 — глубина больше не штрафует), а prefill вырос
|
|
|
+на 41%. Цена — **~1.5 GB pinned host-RAM на ранг** (6.1 GB скейлов на пакет);
|
|
|
+на dgx5 available держалось 13–14 GB из 121, KV-пул не сжался (24.36M токенов).
|
|
|
+**Оставляем включённым**; пересматривать, только если c16 упрётся в
|
|
|
+continuation rows.
|
|
|
+
|
|
|
+Заодно проверено, что 48 GiB row cache не подходит по другой причине — он
|
|
|
+выедает бюджет continuation rows («selected concurrency and verification width
|
|
|
+exceed available memory»), так что «маленький кэш строк + резиденты-скейлы» и
|
|
|
+есть рабочая точка, а не компромисс.
|
