Zespół naukowców zbudował klaster 128 GPU z używanych kart V100, kupionych za grosze. Kosztowało ich to 22 tysiące dolarów, podczas gdy porównywalny wydajnościowo nowy system B200 to wydatek 600 tysięcy. Różnica w cenie jest oszałamiająca, ale rachunek za prąd i emisje CO2 pokazują, że nie wszystko złoto, co się świeci.
Klaster z odzysku
Kiedy słyszę o 'DumpsterCluster', od razu wyobrażam sobie kontener pełen starych kart wyciągniętych z kontenerów na śmieci. Autorzy pracy, Zeyu Cao i współpracownicy, poszli właśnie tą drogą. Zebrali 128 używanych GPU V100, które ktoś już uznał za przestarzałe. Zapłacili za nie 22 tysiące dolarów. Dla porównania, nowy system z ośmioma kartami B200 to wydatek rzędu 600 tysięcy. Nie jest to pierwszy raz, gdy ktoś próbuje wycisnąć życie z emerytowanego sprzętu. Ale skala tego projektu robi wrażenie. To nie są dwa, trzy GPU podpięte do płyty głównej. To pełnoprawny klaster, który przez rok pracował, serwując duże modele językowe. I, co ważne, robił to całkiem sprawnie. Autorzy go zbudowali i dokładnie zmierzyli koszty utrzymania. Policzyli wydatki w dolarach i emisje w tonach CO2. I to właśnie ta druga część rachunku komplikuje całą historię.
Wydajność: potrafi nadążyć
Pytanie, które od razu przychodzi do głowy: czy taki składak w ogóle działa? Okazuje się, że tak. Dzięki optymalizacjom z użyciem pipeline parallelism, klaster osiągał przepustowość porównywalną z nowoczesnym systemem na kartach B200 przy serwowaniu modelu LLaMA-70B. Pipeline parallelism polega na podziale modelu na warstwy i rozdzieleniu ich między GPU. Różne karty przetwarzają różne mikro-batche w tym samym czasie, co zwiększa wykorzystanie sprzętu.
W praktyce oznacza to, że jeśli masz budżet startupu i potrzebujesz serwować duży model językowy, nie musisz od razu wydawać setek tysięcy na najnowsze karty. Używane GPU mogą dać radę. Cao i jego zespół udowodnili, że da się.
Oczywiście, nie jest to idealnie płynne. Stare karty mają swoje ograniczenia, ale dla wielu zastosowań - zwłaszcza tych, gdzie opóźnienie nie jest krytyczne - wydajność jest wystarczająca. Sam się zastanawiam, czy nie można by w ten sposób obniżyć kosztów w niektórych centrach danych.
Przy obecnych cenach rynkowych (22K dolarów za DumpsterCluster vs. 600K za 8-GPU system B200), korzyści ekonomiczne są znaczne.
Zeyu Cao i wsp.
Abstrakt
Energochłonność starej generacji
Tu zaczyna się problem. Karty V100 pochodzą z 2017 roku i opierają się na architekturze Volta. Nie są energooszczędne. Zespół zmierzył zużycie energii na jeden token wygenerowany przez model. W porównaniu z nowoczesnymi GPU (A100, H100, B200), stare karty wypadają blado.
Dla modelu 8B, zużycie energii było około 4 razy wyższe. Dla 70B - ponad 40 razy wyższe. To robi różnicę nie tylko w rachunku za prąd, ale też w emisjach. Jeśli prąd pochodzi z węgla, każdy zapytanie do modelu zostawia znacznie większy ślad węglowy.
Autorzy wyliczyli całkowity koszt posiadania (TCO) w różnych scenariuszach cen energii. Tam, gdzie prąd jest drogi, oszczędność na zakupie sprzętu szybko topnieje przez rachunki za energię. W rejonach z tanią energią elektryczną, używane GPU mogą być opłacalne. Ale to nie koniec historii.
Kiedy recykling GPU szkodzi planecie
Drugi, bardziej niewygodny wniosek z badań dotyczy emisji CO2. Przy średniej globalnej intensywności węglowej sieci, klaster z używanych GPU emituje około 4 razy więcej CO2 na token dla modeli 8B i ponad 40 razy więcej dla 70B w porównaniu z nowoczesnym sprzętem. To nie są małe różnice.
Autorzy nie owijają w bawełnę: 'GPU afterlife is not universally sustainable'. Przetłumaczone na polski: 'Drugie życie GPU nie zawsze jest zrównoważone'. Ich zdaniem, ponowne wykorzystanie sprzętu ma sens tylko wtedy, gdy towarzyszy mu dostęp do czystej energii. W przeciwnym razie, zamiast pomagać środowisku, szkodzimy mu bardziej.
Szczerze, ten wynik trochę mnie zaskoczył. Zawsze myślałem, że recykling elektroniki to zawsze dobra rzecz. Okazuje się, że niekoniecznie. Jeśli stary sprzęt zużywa 40 razy więcej prądu na tę samą pracę, to lepiej go zezłomować i kupić nowy - o ile prąd pochodzi ze źródeł kopalnych. To dość przewrotne.
Gdzie to ma sens?
Jest jednak światełko w tunelu. Badanie pokazuje, że jeśli postawimy taki klaster w miejscu, gdzie prąd jest tani i pochodzi z OZE, to bilans się poprawia. Na przykład w regionach z dużą ilością hydroelektrowni (Skandynawia, Kanada) lub geotermii (Islandia), emisje mogą być znacznie niższe. Wtedy używane GPU stają się realną opcją.
Dla startupów AI, które nie mają budżetu na najnowszy sprzęt, a działają w pobliżu taniej, czystej energii, to może być droga do skalowania bez bankructwa. Podobnie dla uczelni czy laboratoriów badawczych, które chcą eksperymentować z dużymi modelami. Warunek jest jeden: trzeba sprawdzić, skąd pochodzi prąd.
Autorzy podkreślają, że nie chodzi o to, by w ogóle rezygnować z używanych GPU, ale by robić to z głową. Strategiczne łączenie starego sprzętu z niskoemisyjną energią to jedyna droga, żeby uniknąć 'net environmental harm', czyli czystej szkody dla środowiska.
- Klaster 128 używanych GPU V100 kosztował 22 tys. dolarów, podczas gdy nowy system B200 to 600 tys.
- Dzięki pipeline parallelism klaster serwuje LLaMA-70B z przepustowością porównywalną do nowoczesnego sprzętu.
- Starsze GPU zużywają 4-40 razy więcej energii na token, co przy brudnej energii oznacza wyższe emisje CO2.
- Używane GPU mają sens tylko w połączeniu z tanią i czystą energią, inaczej szkodzą środowisku bardziej niż nowy sprzęt.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
DumpsterCluster to dowód, że zaawansowane serwowanie modeli AI nie musi kosztować majątku. Dla startupów z ograniczonym budżetem, ale dostępem do taniej energii z OZE (np. w krajach nordyckich), to realna szansa na konkurowanie z gigantami. Laboratoria badawcze i uczelnie mogą testować duże modele bez wydawania setek tysięcy na nowy sprzęt. Jednak każda firma, która chce iść tą drogą, musi najpierw sprawdzić, skąd płynie prąd. Bez czystej energii, oszczędność na zakupie zamienia się w wyższe rachunki i większy ślad węglowy.
Metryka artykułu źródłowego
Tytuł oryginalny: DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
Autorzy: Zeyu Cao, Xuan Guo, Cheng Zhang, Cheuk Hang Lau, Ilia Shumailov, Yiren Zhao
Data publikacji: 18 sierpnia 2026
arXiv: arxiv.org/abs/2608.14614
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
