|
|
@@ -56,7 +56,7 @@ args = [
|
|
|
"--max-model-len", "524288",
|
|
|
"--kv-cache-dtype", "fp8_e4m3",
|
|
|
"--block-size", "1536",
|
|
|
- "--kv-cache-memory", "27917287424",
|
|
|
+ "--kv-cache-memory", "51539607552",
|
|
|
"--trust-remote-code",
|
|
|
"--enable-prefix-caching",
|
|
|
"--max-num-batched-tokens", "16384",
|
