Selaa lähdekoodia

fix(deepseek-v4-flash): revert wrong tp pp changes

Alexander Korolev 4 kuukautta sitten
vanhempi
sitoutus
09ac2dc3c4
1 muutettua tiedostoa jossa 2 lisäystä ja 2 poistoa
  1. 2 2
      recipes/deepseek-v4-flash/recipe.toml

+ 2 - 2
recipes/deepseek-v4-flash/recipe.toml

@@ -2,8 +2,8 @@ engine = "vllm"
 name = "DeepSeek V4 Flash (vLLM)"
 docker_image = "aidendle94/sparkrun-vllm-ds4-gb10:production-v2"
 model = "deepseek-ai/DeepSeek-V4-Flash"
-required_nodes = 4
-tensor_parallel_size = 4
+required_nodes = 2
+tensor_parallel_size = 2
 pipeline_parallel_size = 1
 distributed_backend = "mp"