| 12345678 |
- {"event": "backend_detected", "backend": "vllm"}
- ╭──────────────────── ⚡ llama-benchy Throughput Benchmark ────────────────────╮
- │ glm53 │
- │ pp=[2048] tg=[128] depth=[0, 4096, 8192] concurrency=[1, 2] runs=3 │
- │ latency=generation │
- ╰──────────────────────────────────────────────────────────────────────────────╯
|
