DumpsterCluster: serwowanie LLaMA-70B na używanych kartach za 60 dolarów
Zespół naukowców zbudował klaster 128 GPU z używanych kart V100, kupionych za grosze. Kosztowało ich to 22 tysiące dolarów, podczas gdy porównywalny wydajnościowo nowy system B200 to wydatek 600 tysięcy. Różnica w cenie jest oszałamiająca,…
