Tokenizacja

Organizacje humanitarne wdrażające chatboty medyczne w Afryce Zachodniej napotykają problem, o którym mało kto mówi głośno: model AI dosłownie nie słyszy całej wiadomości od pacjenta. Gdy pacjent opisuje objawy w języku hausa, system dzieli tekst…

Platformy e-learningowe oparte na generatywnej AI tworzą treści i wirtualnych tutorów w językach takich jak hausa, igbo czy amharski. Ale każdy token ma swoją cenę. Dla języka n'ko ta sama lekcja zużywa 8,9 raza więcej…

Gdy użytkownik bankowości mobilnej w Nigerii wysyła zapytanie w języku joruba, płaci więcej za tę samą usługę niż użytkownik anglojęzyczny. Nie z powodu dyskryminacji, ale z powodu ukrytego podatku w tokenizatorach modeli językowych. Badanie Olaoye…

Operator komórkowy w Etiopii wdraża chatbota AI po amharsku. Za to samo zapytanie klienta płaci do 9 razy więcej niż za angielskie. Nie przez słabą negocjację stawek API. Przez tokenizator, który zamienia amharski tekst na…