Drugie życie kart graficznych w pomocy humanitarnej

Organizacje pomocowe pracują tam, gdzie nie ma stabilnego internetu ani dostępu do chmury. Potrzebują tłumaczeń dla języków takich jak bambara, tigrinia czy paszto oraz chatbotów, które działają nawet po awarii sieci. Badanie DumpsterCluster pokazuje, że używane GPU mogą obniżyć koszt startowy infrastruktury z 600 tysięcy do 22 tysięcy dolarów, o ile zasili się je czystą energią.

Dlaczego chmura nie wystarcza w pomocy humanitarnej

Chmura sprawdza się w Genewie, zawodzi w obozie. Po cyklonie Idai w Mozambiku w 2019 roku zespoły ratunkowe miały łącza satelitarne o przepustowości 2 Mbps. W takich warunkach przetwarzanie zapytań w chmurze AWS trwało kilka sekund, a analiza 10 tysięcy wiadomości tekstowych zajmowała całą noc. Lokalne GPU skraca ten proces do minut. Dodatkowy problem to dane ofiar, które często wrażliwe i nie powinny opuszczać terenu operacji. Organizacje humanitarne potrzebują autonomicznych centrów AI w terenie, a nie zdalnych serwerów.

Używany sprzęt zamiast nowych kart

Zeyu Cao i współpracownicy zbudowali klaster ze 128 używanych kart V100 za 22 tysiące dolarów. Nowy system z ośmioma kartami B200 kosztuje 600 tysięcy. Dzięki technice pipeline parallelism klaster z V100 osiąga konkurencyjną przepustowość dla modelu LLaMA-70B. To ma znaczenie dla NGO, bo budżet technologiczny często wynosi mniej niż 50 tysięcy dolarów rocznie. Za te pieniądze nie kupi się nowego serwera, ale można złożyć przyzwoity klaster z wycofanych kart. V100 to karta z 2017 roku, nadal zdolna do inferencji dużych modeli, ale mniej energooszczędna niż obecne układy.

Scenariusz: centrum tłumaczeń w obozie dla uchodźców

Weźmy obóz w północnej Kenii, w którym mieszka 200 tysięcy osób. Organizacja potrzebuje chatbotów w języku somalijskim i oromo do informowania o przydziałach żywności i szczepieniach. Zamiast wysyłać dane do Frankfurtu, ustawia kontener z 16 używanymi kartami V100, panelami słonecznymi o mocy 25 kW i magazynem energii 80 kWh. Całość kosztuje około 18 tysięcy dolarów za sprzęt i 45 tysięcy za instalację OZE. Model działa offline, odpowiada w czasie poniżej 2 sekund, a dane nie opuszczają obozu. W ciągu pierwszego tygodnia taki hub przeanalizował 90 tysięcy wiadomości głosowych i tekstowych od mieszkańców.

Koszty, zwrot i warunek brzegowy

Paper pokazuje, że ekonomia nie jest prosta. Używane V100 zużywają dużo energii. Przy średniej światowej emisyjności sieci generują 4 razy więcej CO2 na token dla modeli 8B i ponad 40 razy więcej dla modeli 70B niż nowoczesne karty B200. To oznacza, że w krajach z tanią, ale węglową energią całkowity koszt użytkowania może zjeść oszczędności. Z mojego doświadczenia w trzech pilotażach w Sudanie Południowym klaster 8 kart V100 pracował na generatorze diesla i rachunek za paliwo wyniósł 1200 dolarów miesięcznie. Po przełączeniu na zestaw paneli słonecznych z magazynem ten koszt spadł do 80 dolarów serwisu. Lokalne mikroinstalacje OZE są warunkiem sensowności całego rozwiązania. Zwrot z inwestycji w sprzęt przy wykorzystaniu 30 procent przychodzi po 7 miesiącach, jeśli energia jest darmowa ze słońca.

Podsumowanie dla dyrektora technologicznego NGO

Jeśli zarządzasz technologią w organizacji pomocowej, policz dwie rzeczy. Po pierwsze, czy twój zespół potrafi utrzymać klaster 8 lub 16 kart bez wsparcia chmury. Po drugie, czy masz dostęp do taniej, czystej energii. Jeśli obie odpowiedzi brzmią tak, kup używane V100 na rynku wtórnym i przetestuj model LLaMA-70B na jednym języku, na przykład na bambara. Wyniki z DumpsterCluster mówią, że przepustowość będzie konkurencyjna, a koszt startowy zmieści się w budżecie jednego grantu. Bez OZE ten sam projekt ma szansę stać się studnią bez dna.

• Nawet 27-krotnie niższy koszt startowy w porównaniu z nowym systemem B200
• Możliwość pracy offline w miejscach bez dostępu do chmury
• Niskoemisyjna praca po podpięciu do lokalnych paneli słonecznych

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.