|
|
@@ -291,3 +291,11 @@ FLARE-пакет ровно под наши четыре Spark:
|
|
|
|
|
|
Проверять по одному, с замером: `--tokenizer-mode`, `--default-chat-template-kwargs`,
|
|
|
`disk_resident_scales`, затем `--max-num-seqs 16`.
|
|
|
+
|
|
|
+### 512K + стандартный алиас (2026-10-23, 20:16 UTC)
|
|
|
+
|
|
|
+Лейн `dsv41-flash-1017-4x-vllm032` поднят с `--max-model-len 524288` и
|
|
|
+`--served-model-name deepseek-v4.1-flash` (было 131072 / `dsv41`). Проверено:
|
|
|
+`/v1/models` → `deepseek-v4.1-flash 524288`; замер на уникальном промпте
|
|
|
+**24,005 токенов: TTFT 8.0 s, prefill 2,996 t/s** — то есть 512K-окно не
|
|
|
+сломало префилл (с локальным энгрэмом держится прод-уровень ~3k t/s).
|
