{"event": "backend_detected", "backend": "vllm"}

╭──────────────────── ⚡ llama-benchy Throughput Benchmark ────────────────────╮
│ glm53                                                                        │
│ pp=[2048]  tg=[128]  depth=[0, 4096, 8192]  concurrency=[1, 2]  runs=3       │
│ latency=generation                                                           │
╰──────────────────────────────────────────────────────────────────────────────╯