|
|
@@ -41,13 +41,14 @@ serve_flags = [
|
|
|
# лежит в тех же восьми шардах, что и веса, — поэтому «локальность» делаем
|
|
|
# RAM-кэшем строк: 4 GiB горячих строк на ранг, промахи идут на диск
|
|
|
# (пакет на локальном NVMe контроллера, у пиров — свои срезы в кэше).
|
|
|
- # 48 GiB кэша пробовали: он выедает бюджет continuation rows
|
|
|
- # («selected concurrency and verification width exceed available memory»).
|
|
|
+ # (Отвергнутая проба: 48 GiB кэша выедает бюджет continuation rows —
|
|
|
+ # «selected concurrency and verification width exceed available memory».)
|
|
|
#
|
|
|
- # --embedding-table-resident-scales сознательно НЕ включён: он допустим
|
|
|
- # только с disk (с ram падает: «RAM storage already retains all planes»),
|
|
|
- # но стоит ещё ~5.7 GiB host-RAM на ноду, а RAM на GB10 — узкое место.
|
|
|
- # Кандидат на A/B, когда c16/драфты устаканятся.
|
|
|
+ # --embedding-table-resident-scales НЕ включён: держит E8M0-плоскость
|
|
|
+ # скейлов engram в pinned host RAM (~6.1 GB на пакет ⇒ ~1.5 GB на ранг),
|
|
|
+ # чтобы промахи не читали скейлы с диска вторым заходом. Смысл только при
|
|
|
+ # disk (с ram падает: «RAM storage already retains all planes»).
|
|
|
+ # Кандидат на A/B: +1.5 GB RAM за меньшее число random-read.
|
|
|
"--embedding-table-storage", "disk",
|
|
|
"--embedding-table-cache-size", "4GiB",
|
|
|
]
|
