|
@@ -36,13 +36,18 @@ serve_flags = [
|
|
|
"--max-concurrency", "16",
|
|
"--max-concurrency", "16",
|
|
|
"--mtp-draft-tokens", "5",
|
|
"--mtp-draft-tokens", "5",
|
|
|
"--mtp-adaptive-verification",
|
|
"--mtp-adaptive-verification",
|
|
|
- # Engram = 2 таблицы (слои 1, 14) × 4 шарда, 196.6 GB весов + 6.1 GB
|
|
|
|
|
- # скейлов на весь пакет ⇒ ~50.7 GB на ранг. Файлами engram не выделить
|
|
|
|
|
- # (он лежит в тех же 8 шардах, что и веса), поэтому «локально» делаем
|
|
|
|
|
- # кэшем строк: бюджет 48 GiB ≈ весь срез ранга минус индекс и рабочая
|
|
|
|
|
- # область. Промахи идут на диск/NAS, но их почти не остаётся.
|
|
|
|
|
- # NB: --embedding-table-resident-scales несовместим с ram и бесполезен
|
|
|
|
|
- # при таком большом кэше.
|
|
|
|
|
|
|
+ # Engram = 2 таблицы (слои 1, 14) × 4 шарда: 196.6 GB весов + 6.1 GB
|
|
|
|
|
+ # скейлов на пакет ⇒ ~50.7 GB на ранг. Файлами engram не выделить — он
|
|
|
|
|
+ # лежит в тех же восьми шардах, что и веса, — поэтому «локальность» делаем
|
|
|
|
|
+ # RAM-кэшем строк: 4 GiB горячих строк на ранг, промахи идут на диск
|
|
|
|
|
+ # (пакет на локальном NVMe контроллера, у пиров — свои срезы в кэше).
|
|
|
|
|
+ # 48 GiB кэша пробовали: он выедает бюджет continuation rows
|
|
|
|
|
+ # («selected concurrency and verification width exceed available memory»).
|
|
|
|
|
+ #
|
|
|
|
|
+ # --embedding-table-resident-scales сознательно НЕ включён: он допустим
|
|
|
|
|
+ # только с disk (с ram падает: «RAM storage already retains all planes»),
|
|
|
|
|
+ # но стоит ещё ~5.7 GiB host-RAM на ноду, а RAM на GB10 — узкое место.
|
|
|
|
|
+ # Кандидат на A/B, когда c16/драфты устаканятся.
|
|
|
"--embedding-table-storage", "disk",
|
|
"--embedding-table-storage", "disk",
|
|
|
"--embedding-table-cache-size", "4GiB",
|
|
"--embedding-table-cache-size", "4GiB",
|
|
|
]
|
|
]
|
