Procházet zdrojové kódy

feat(deepseek-v4): raise max-model-len to 1M + pin KV cache bytes (eugr)

Alexander Korolev před 2 měsíci
rodič
revize
d2026c2ddf
1 změnil soubory, kde provedl 2 přidání a 1 odebrání
  1. 2 1
      recipes/deepseek-v4-flash-eugr/recipe.toml

+ 2 - 1
recipes/deepseek-v4-flash-eugr/recipe.toml

@@ -49,9 +49,10 @@ entrypoint = ["vllm", "serve"]
 
 args = [
     "--kv-cache-dtype", "fp8",
+    "--kv-cache-memory-bytes", "20000000000",
     "--block-size", "256",
     "--load-format", "instanttensor",
-    "--max-model-len", "auto",
+    "--max-model-len", "1048576",
     "--max-num-seqs", "8",
     "--max-num-batched-tokens", "8192",
     "--max-cudagraph-capture-size", "64",