Quellcode durchsuchen

flare gb10: 4 GiB RAM row cache + local package (engram cannot be split by file)

The engram tables (2 layers × 4 shards, 202.7 GB total ⇒ ~50.7 GB per rank) live
in the SAME eight large companion shards as the weights, so \"local engram
files\" is not expressible. What fits a GB10 is a small RAM row cache (4 GiB —
48 GiB starved the continuation rows) plus the package on local NVMe, so cache
misses read local disk instead of NFS.
Alexander Korolev vor 1 Tag
Ursprung
Commit
1c5ca3a73e
1 geänderte Dateien mit 8 neuen und 2 gelöschten Zeilen
  1. 8 2
      recipes/dsv41-flash-1017-4x-flare-gb10/recipe.toml

+ 8 - 2
recipes/dsv41-flash-1017-4x-flare-gb10/recipe.toml

@@ -36,7 +36,13 @@ serve_flags = [
     "--max-concurrency", "16",
     "--mtp-draft-tokens", "5",
     "--mtp-adaptive-verification",
+    # Engram = 2 таблицы (слои 1, 14) × 4 шарда, 196.6 GB весов + 6.1 GB
+    # скейлов на весь пакет ⇒ ~50.7 GB на ранг. Файлами engram не выделить
+    # (он лежит в тех же 8 шардах, что и веса), поэтому «локально» делаем
+    # кэшем строк: бюджет 48 GiB ≈ весь срез ранга минус индекс и рабочая
+    # область. Промахи идут на диск/NAS, но их почти не остаётся.
+    # NB: --embedding-table-resident-scales несовместим с ram и бесполезен
+    # при таком большом кэше.
     "--embedding-table-storage", "disk",
-    "--embedding-table-resident-scales",
-    "--embedding-table-cache-size", "1GiB",
+    "--embedding-table-cache-size", "4GiB",
 ]