@@ -49,7 +49,7 @@ args = [
"--max-model-len", "524288",
"--kv-cache-dtype", "fp8_e4m3",
"--block-size", "2304",
- "--kv-cache-memory", "27917287424",
+ "--kv-cache-memory", "32212254720",
"--trust-remote-code",
"--enable-prefix-caching",
"--max-num-batched-tokens", "16384",
