Procházet zdrojové kódy

glm53-kindling-8x: 48 GiB hot KV pin (measured 24-27 GiB/node headroom at 30G)

Alexander Korolev před 1 týdnem
rodič
revize
606fe37cb4
1 změnil soubory, kde provedl 1 přidání a 1 odebrání
  1. 1 1
      recipes/glm53-kindling-8x/recipe.toml

+ 1 - 1
recipes/glm53-kindling-8x/recipe.toml

@@ -56,7 +56,7 @@ args = [
     "--max-model-len", "524288",
     "--kv-cache-dtype", "fp8_e4m3",
     "--block-size", "1536",
-    "--kv-cache-memory", "27917287424",
+    "--kv-cache-memory", "51539607552",
     "--trust-remote-code",
     "--enable-prefix-caching",
     "--max-num-batched-tokens", "16384",