|
@@ -51,4 +51,8 @@ serve_flags = [
|
|
|
# Кандидат на A/B: +1.5 GB RAM за меньшее число random-read.
|
|
# Кандидат на A/B: +1.5 GB RAM за меньшее число random-read.
|
|
|
"--embedding-table-storage", "disk",
|
|
"--embedding-table-storage", "disk",
|
|
|
"--embedding-table-cache-size", "4GiB",
|
|
"--embedding-table-cache-size", "4GiB",
|
|
|
|
|
+ # включено 2026-10-24: скейлы engram (~1.5 GB/ранг) резидентно в host RAM,
|
|
|
|
|
+ # чтобы промахи кэша читали только веса. На dgx5 было 13 GB available —
|
|
|
|
|
+ # запас остаётся ~11 GB, но следим за continuation rows при c16.
|
|
|
|
|
+ "--embedding-table-resident-scales",
|
|
|
]
|
|
]
|
