|
|
@@ -49,9 +49,10 @@ entrypoint = ["vllm", "serve"]
|
|
|
|
|
|
args = [
|
|
|
"--kv-cache-dtype", "fp8",
|
|
|
+ "--kv-cache-memory-bytes", "20000000000",
|
|
|
"--block-size", "256",
|
|
|
"--load-format", "instanttensor",
|
|
|
- "--max-model-len", "auto",
|
|
|
+ "--max-model-len", "1048576",
|
|
|
"--max-num-seqs", "8",
|
|
|
"--max-num-batched-tokens", "8192",
|
|
|
"--max-cudagraph-capture-size", "64",
|