|
|
@@ -84,12 +84,28 @@ batch-invariant inference.
|
|
|
только ограниченного суффикса декодера на префилле; **confidence-scheduled
|
|
|
verification** — то, чем хотела быть adaptive verification у Beam.
|
|
|
|
|
|
+## Догон: long-context и глубина (после первых замеров)
|
|
|
+
|
|
|
+- Контекст поднят до **384K** (`--max-model-len 393216`): KV-пул 5,337,742 токена,
|
|
|
+ 13.57× конкурентность. Причина — 256K-точка depth-сюиты не влезала в прежний
|
|
|
+ кап 262144 (промпт 264K → HTTP 400).
|
|
|
+- **Depth sweep** (k=7, 2 прогона): tg c1 **34.0 / 31.5 / 32.8** на 16K / 64K / 128K —
|
|
|
+ декод не проваливается с глубиной; c2 58.6 / 54.8 / 40.2.
|
|
|
+- **Иголка в стоге** (факт на 85% глубины): 130,871 токенов → TTFT 60.1 s,
|
|
|
+ ответ верный; **327,054 токена** (ровно размер самой длинной реальной сессии
|
|
|
+ на проде) → TTFT 174.5 s, ответ верный. То есть Beam тянет длинные сессии.
|
|
|
+- Качество перемерено ещё дважды: **92/100** (Hard Mode 53/56 = 95%, Safety 92%)
|
|
|
+ и 90/100 → разброс прогонов 90–92, Hard Mode 48–53.
|
|
|
+
|
|
|
+Итог по конкуренции: Beam с k=7 на 4× Spark — 36.8 tok/s c1, 55.1 c2, 31–35 tok/s
|
|
|
+на глубине 16K–128K. Это приличный интерактивный профиль, а не «batch only».
|
|
|
+
|
|
|
## Состояние на конец смены
|
|
|
|
|
|
| | |
|
|
|
|---|---|
|
|
|
| dgx1–4 (прод) | `dsv41-flash-1017-4x-sglang`, не тронут, ~40 ч аптайма |
|
|
|
-| dgx5–8 | **Beam NVFP4 TP4 + DFlash2 k=7** (финальная конфигурация), 2 ч аптайма, 5.27M KV |
|
|
|
+| dgx5–8 | **Beam NVFP4 TP4 + DFlash2 k=7, 384K ctx** (финальная конфигурация), 5.34M KV, 13.6× конкуренция |
|
|
|
| Диски dgx5–8 | 185–275 GiB свободно |
|
|
|
| Отчёты | `recipes/beam-1-0-nvfp4-4x/reports/` (quality no-spec, quality spec, perf ×2) |
|
|
|
|
