|
@@ -36,7 +36,13 @@ serve_flags = [
|
|
|
"--max-concurrency", "16",
|
|
"--max-concurrency", "16",
|
|
|
"--mtp-draft-tokens", "5",
|
|
"--mtp-draft-tokens", "5",
|
|
|
"--mtp-adaptive-verification",
|
|
"--mtp-adaptive-verification",
|
|
|
|
|
+ # Engram = 2 таблицы (слои 1, 14) × 4 шарда, 196.6 GB весов + 6.1 GB
|
|
|
|
|
+ # скейлов на весь пакет ⇒ ~50.7 GB на ранг. Файлами engram не выделить
|
|
|
|
|
+ # (он лежит в тех же 8 шардах, что и веса), поэтому «локально» делаем
|
|
|
|
|
+ # кэшем строк: бюджет 48 GiB ≈ весь срез ранга минус индекс и рабочая
|
|
|
|
|
+ # область. Промахи идут на диск/NAS, но их почти не остаётся.
|
|
|
|
|
+ # NB: --embedding-table-resident-scales несовместим с ram и бесполезен
|
|
|
|
|
+ # при таком большом кэше.
|
|
|
"--embedding-table-storage", "disk",
|
|
"--embedding-table-storage", "disk",
|
|
|
- "--embedding-table-resident-scales",
|
|
|
|
|
- "--embedding-table-cache-size", "1GiB",
|
|
|
|
|
|
|
+ "--embedding-table-cache-size", "4GiB",
|
|
|
]
|
|
]
|