Katedra informatyki, która chce uczyć studentów inżynierii dużych modeli językowych, zwykle musi znaleźć kilka milionów złotych na nowoczesne serwery GPU. Tymczasem artykuł naukowy pokazuje, że klaster zbudowany z używanych kart V100 za 22 tysiące dolarów może konkurować wydajnością z układem za 600 tysięcy, jeśli zasili się go tanią energią z kampusowych paneli.
Problem: nowoczesne GPU to koszt nie do udźwignięcia
Nowa stacja robocza z ośmioma kartami B200 kosztuje około 600 tysięcy dolarów. Dla większości uczelni w Polsce to kwota z kosmosu. Budżet roczny katedry informatyki na sprzęt AI to zwykle od 200 do 400 tysięcy złotych, czyli mniej niż jedna dziesiąta ceny takiego serwera. Efekt jest taki, że studenci uczą się inżynierii dużych modeli językowych na slajdach, a nie na realnym sprzęcie. Rektorzy i kierownicy katedr stoją przed dylematem: kupić jedną drogą maszynę, która zestarzeje się za dwa lata, czy w ogóle zrezygnować z praktycznej nauki.
Technologia: klaster z używanych kart V100
Artykuł naukowy opisuje eksperyment, w którym zbudowano klaster ze 128 używanych kart V100 za 22 tysiące dolarów. To mniej niż 4 procent ceny nowoczesnego systemu z kartami B200. Dzięki technice zwanej pipeline parallelism, która rozdziela warstwy modelu między karty, klaster może serwować model LLaMA-70B z przepustowością zbliżoną do nowoczesnego sprzętu. Stare karty mają jednak wadę: zużywają znacznie więcej energii na jeden token. Przy zasilaniu z sieci, gdzie prąd pochodzi głównie z węgla, emisja CO2 na token jest nawet 40 razy wyższa niż dla nowych kart. Problem nie tkwi w technice, lecz w kosztach energii i emisji.
Scenariusz: laboratorium LLM na kampusie
Wyobraźmy sobie uczelnię z instalacją fotowoltaiczną o mocy 200 kW na dachach budynków. Zamiast kupować nowe serwery, centrum obliczeniowe kupuje z rynku wtórnego 32 karty V100 za około 6 tysięcy dolarów i składa z nich klaster. Energia do zasilania tych kart pochodzi z paneli, więc koszt krańcowy prądu jest bliski zeru. Studenci dostają zadanie: wytrenować model 7B na danych z uczelnianego repozytorium, a potem wdrożyć go jako API. Przy 32 kartach mogą równolegle uruchomić kilka eksperymentów. To doświadczenie, którego nie da się zastąpić symulatorem w chmurze. Z moich rozmów z dwoma kierownikami katedr wynika, że właśnie taki praktyczny moduł przyciąga najlepszych kandydatów na studia magisterskie.
Korzyści i ROI
Oszczędność na starcie wynika z liczb: 22 tysiące zamiast 600 tysięcy to redukcja o 96 procent. Ale prawdziwy rachunek opłacalności zależy od ceny prądu. Jeśli kampusowa fotowoltaika pokrywa zapotrzebowanie, koszt energii spada do zera, a wtedy używane karty stają się tanie w eksploatacji. Wynajęcie jednej godziny obliczeń na GPU w chmurze kosztuje od 2 do 4 dolarów. Przy 1000 godzinach miesięcznie na potrzeby studentów daje to od 2 do 4 tysięcy dolarów miesięcznie. Klaster za 22 tysiące zwraca się więc w około pół roku, zakładając, że nie płacisz za prąd. Trzeba jednak uczciwie powiedzieć, że stare karty generują więcej ciepła i wymagają lepszego chłodzenia. To dodatkowy koszt rzędu kilku tysięcy złotych na wentylację. Bez taniej energii ta inwestycja nie ma sensu, bo rachunki za prąd zjedzą oszczędności.
Podsumowanie
Zamiast czekać na grant na nowe B200, warto przejrzeć oferty używanych kart V100 i sprawdzić, czy kampusowa instalacja fotowoltaiczna ma wolne moce. Pilotaż z 16 kartami to wydatek rzędu 3 tysięcy dolarów i daje studentom realny kontakt z inżynierią LLM. Nie kupuję narracji, że każda uczelnia powinna natychmiast budować taki klaster. Bez dostępu do taniej, czystej energii to pułapka, która podniesie rachunki i zwiększy emisje. Ale jeśli macie panele i chłodną serwerownię, to rozwiązanie może konkurować z chmurą pod względem kosztów i jakości nauczania. Zacznijcie od małego testu: kupcie 8 używanych V100, sprawdźcie zużycie prądu i przepustowość na modelu 7B. Dwa tygodnie pomiarów wystarczą, żeby podjąć decyzję.
- Redukcja kosztów infrastruktury o 96%
- Praktyczna nauka inżynierii LLM na realnym sprzęcie
- Możliwość zasilania z kampusowej fotowoltaiki
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
Autorzy: Zeyu Cao, Xuan Guo, Cheng Zhang, Cheuk Hang Lau, Ilia Shumailov i in.
As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurpo...
arXiv: arxiv.org/abs/2608.14614
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
