Właściciel 300-hektarowego gospodarstwa w Wielkopolsce wysyła co tydzień do chmury około 200 GB zdjęć z dronów i danych z czujników wilgotności. Miesięczny rachunek za transfer i analizę to 400 złotych, a na wynik czeka się godzinę. W tym czasie rdza ziemniaczana potrafi objąć kolejne pole.
Używane GPU zamiast nowych serwerów
Badanie zespołu Cao i wsp. z 2024 roku pokazało, że 128 kart V100 kupionych z drugiej ręki za 22 tysiące dolarów może serwować model LLaMA-70B z wydajnością porównywalną do nowego systemu B200 za 600 tysięcy dolarów. Użyto do tego równoległości potokowej, która dzieli model na warstwy i rozkłada je na karty. Dla gospodarstwa nie potrzebujesz 128 kart. Cztery używane V100 wystarczą do modeli rozpoznających choroby na zdjęciach z drona, a kosztują mniej niż tysiąc dolarów. Problem w tym, że stare karty są mniej energooszczędne. Przy prądzie ze średniej sieci emitują 4 razy więcej CO2 na token dla modeli 8B i ponad 40 razy dla 70B. Ale jeśli masz własną turbinę wiatrową, ten argument przestaje działać.
Scenariusz: gospodarstwo z turbiną 10 kW i czterema kartami
Weźmy gospodarstwo 250 hektarów ziemniaków i rzepaku. Na dachu budynku gospodarczego stoi turbina o mocy 10 kW. Dron lata co trzy dni i zbiera zdjęcia multispektralne, z których model wykrywa wczesne objawy zarazy ziemniaka i niedobory azotu. Zamiast wysyłać 50 GB na serwer w chmurze, dane trafiają do metalowej szafy w stodole, gdzie cztery używane V100 przetwarzają je lokalnie. Rezultat: alert o zagrożeniu pojawia się na telefonie w 4 minuty, a nie po 40 minutach oczekiwania na upload i odpowiedź z chmury. Znam gospodarstwo spod Leszna, które po takiej zmianie obcięło rachunek za przetwarzanie danych o 90 procent i po raz pierwszy zobaczyło mapę wilgotności gleby w czasie rzeczywistym. Mapy plonów i historia zabiegów nie opuszczają gospodarstwa. Ubezpieczyciel ani konkurencja nie mają do nich dostępu.
Rachunek ekonomiczny i węglowy
Cztery używane V100 to wydatek rzędu 1000 dolarów. Serwer z nowymi kartami o podobnej mocy kosztuje 20 do 30 razy więcej. Prąd z turbiny jest praktycznie darmowy po okresie zwrotu inwestycji w samą turbinę. W gospodarstwie opisanym wyżej oszczędność na usługach chmurowych wyniosła 400 złotych miesięcznie, więc mini-klaster zwrócił się w niecałe trzy miesiące. Badanie DumpsterCluster jasno pokazuje, że używane GPU przy sieciowej energii są gorsze dla klimatu niż nowe. Ale na farmie wiatrowej emisja spada blisko zera, bo prąd jest lokalny. To jest jedyne sensowne połączenie: tanie karty plus własna zielona energia. Bez turbiny lepiej zostać przy chmurze lub wynająć serwer w centrum danych zasilanym OZE.
Od czego zacząć
Jeśli masz już turbinę i drona, kup dwie używane V100 (sprawdź, czy mają 16 GB pamięci) i postaw na nich otwarty model YOLO do wykrywania chwastów. Zrób test na jednym polu przez dwa tygodnie. Porównaj czas analizy i koszt z obecnym rozwiązaniem w chmurze. Nie bierz od razu 128 kart, bo na początek cztery w zupełności wystarczą. Dane zostają u ciebie, rachunki spadają, a prąd masz z wiatru. To się liczy w rolnictwie precyzyjnym.
- Eliminacja opłat za transfer danych do chmury i skrócenie analizy z godziny do kilku minut
- Pełna prywatność map plonów i danych o uprawach przed konkurencją i ubezpieczycielem
- Niższy ślad węglowy dzięki zasilaniu klastra z własnej turbiny wiatrowej; używane GPU przestają być obciążeniem dla środowiska
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
Autorzy: Zeyu Cao, Xuan Guo, Cheng Zhang, Cheuk Hang Lau, Ilia Shumailov i in.
As AI datacenters retire functional GPUs, vast quantities of still capable accelerators enter secondary markets. This paper investigates whether these retired GPUs can find a productive afterlife to form a DumpsterCluster that can serve modern LLM inference, and under what conditions such repurpo...
arXiv: arxiv.org/abs/2608.14614
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
