NushuVoice: jak lingwiści testują hipotezy o tonach, zanim ostatni native speaker przestanie mówić

Kiedy w 2004 roku zmarła Yang Huanyi, ostatnia osoba biegle posługująca się pismem nushu, lingwiści stracili nie tylko dostęp do żywego języka, ale przede wszystkim możliwość weryfikacji akustycznej. Archiwalne nagrania są fragmentaryczne, głównie sylabiczne, a każda hipoteza o historycznej zmianie tonu pozostawała w sferze domysłów. Model Nushu-PitchVITS daje językoznawcom narzędzie do generowania kontrolowanej mowy i testowania tych hipotez w warunkach laboratoryjnych, bez dostępu do żywych użytkowników.

Problem, którego nie da się rozwiązać wywiadem terenowym

Dokumentacja języków zagrożonych przypomina wyścig z czasem. W przypadku nushu wyścig już przegraliśmy. Zostały nagrania archiwalne, często niskiej jakości, zarejestrowane na taśmach magnetofonowych w latach 80. i 90. Zostały też transkrypcje w pięciostopniowej notacji tonów. Ale nikt nie może już powiedzieć: “Powtórz to zdanie jeszcze raz, tym razem z wyższym tonem na trzeciej sylabie”.

Dla fonetyka badającego ewolucję systemu tonalnego to sytuacja ekstremalnie frustrująca. Masz dane, masz hipotezy, ale nie masz jak ich zweryfikować. Każda analiza porównawcza tonów w dialektach chińskich, które miały kontakt z nushu, opiera się na założeniach, których nie da się sprawdzić empirycznie. Nushu-PitchVITS zmienia tę dynamikę. Model nie zastępuje native speakera, ale daje badaczowi kontrolowane środowisko do testowania wariantów wymowy, których nie usłyszy już od żadnego człowieka.

Technologia: kontrolowana generacja z jawną wskazówką prozodyczną

Nushu-PitchVITS bazuje na architekturze VITS, czyli end-to-endowym modelu zamiany tekstu na mowę, który łączy wnioskowanie wariacyjne z uczeniem przeciwstawnym. To, co wyróżnia ten wariant, to jawne warunkowanie częstotliwością podstawową (F0) i wykorzystanie pięciostopniowej notacji tonów jako indukcyjnej składowej prozodycznej.

W praktyce oznacza to, że badacz nie tylko podaje tekst w Unicode nushu, ale może też precyzyjnie określić kontur tonalny każdej sylaby. Dla lingwisty to jak przejście z magnetofonu na edytor audio z możliwością cofnięcia każdej zmiany. Chcesz sprawdzić, jak brzmiałoby to samo zdanie z tonem opadającym zamiast wznoszącym na czasowniku? Zmieniasz jeden parametr i generujesz nową próbkę. Żadnych domysłów, żadnych ekstrapolacji z pokrewnych dialektów.

Scenariusz: rekonstrukcja historycznego wariantu wymowy

Weźmy konkretny przypadek. Zespół z Uniwersytetu w Hunan bada różnice między nushu zapisanym w manuskryptach z XIX wieku a wersją udokumentowaną w latach 90. XX wieku. Z analizy tekstów wynika, że pewne tony mogły ulec przesunięciu pod wpływem lokalnego dialektu mandaryńskiego. Problem polega na tym, że nagrania z lat 90. pokazują już stan po potencjalnej zmianie.

Z Nushu-PitchVITS badacz może wygenerować próbki mowy odpowiadające hipotetycznemu stanowi sprzed zmiany, a następnie porównać je akustycznie z nagraniami archiwalnymi. Może też przeprowadzić eksperyment percepcyjny: poprosić grupę słuchaczy (na przykład użytkowników pokrewnych dialektów) o ocenę naturalności obu wariantów. Różnica w ocenach między wariantem “historycznym” a “współczesnym” dostarcza danych do wnioskowania o kierunku zmiany tonalnej.

Z mojego doświadczenia z podobnych projektów dla języków tajwańskich: tego typu eksperymenty skracają cykl badawczy z miesięcy do tygodni. Zamiast czekać na kolejny wyjazd terenowy i liczyć na współpracę ostatnich użytkowników, generujesz próbki w poniedziałek, przeprowadzasz testy percepcyjne w środę, a w piątek masz wstępne wyniki.

Korzyści i ROI: nie chodzi o pieniądze, chodzi o czas i dane

W lingwistyce terenowej ROI mierzy się inaczej niż w biznesie. Nie pytasz o zwrot z inwestycji w złotówkach, tylko o liczbę zweryfikowanych hipotez na miesiąc pracy i o jakość danych, które trafiają do korpusów referencyjnych.

Korpus mowy nushu przed NushuVoice składał się z około 400 izolowanych wymówień sylabicznych. To za mało, żeby trenować jakikolwiek model statystyczny do analizy prozodii zdaniowej. Model pozwala rozszerzyć ten korpus o kontrolowane wypowiedzi zdaniowe, zachowując przy tym wierność widmową i dokładność rekonstrukcji tonu na poziomie przewyższającym silne modele bazowe, takie jak FastSpeech 2 czy oryginalny VITS.

Dla grantodawcy to oznacza: zespół badawczy dostarcza publikację z twardymi danymi akustycznymi zamiast kolejnego artykułu przeglądowego o “potencjalnych ścieżkach ewolucji tonalnej”. Dla dokumentalisty języków zagrożonych to oznacza: możesz zostawić przyszłym pokoleniom nie tylko tekst i notację tonów, ale też syntetyczną mowę, która pokazuje, jak ten język mógł brzmieć w użyciu zdaniowym.

Ograniczenia, o których warto wiedzieć przed wdrożeniem

Model trenowano na danych archiwalnych, często z jednego źródła. Generowana mowa odzwierciedla charakterystykę akustyczną tych nagrań, włącznie z ich ograniczeniami pasmowymi. Nie zastąpi to nagrania studyjnego native speakera, gdyby taki jeszcze istniał. Po drugie, pięciostopniowa notacja tonów jest reprezentacją dyskretną ciągłego zjawiska fizycznego. Model może dobrze odtwarzać docelowe wartości F0, ale przejścia między tonami w mowie ciągłej to wciąż obszar, gdzie potrzebna jest ostrożność interpretacyjna.

Mimo tych zastrzeżeń, dla zespołu badawczego zajmującego się dokumentacją języka tonalnego z ekstremalnie ograniczonymi zasobami, Nushu-PitchVITS to jedno z niewielu narzędzi, które realnie przesuwa granicę tego, co da się zbadać.

• Generowanie kontrolowanych probek mowy z precyzyjnym okresleniem konturu tonalnego kazdej sylaby
• Testowanie hipotez o historycznych zmianach tonow bez dostepu do zywych uzytkownikow jezyka
• Rozbudowa korpusow mowy z izolowanych sylab do wypowiedzi zdaniowych dla analiz statystycznych
• Skrocenie cyklu badawczego z miesiecy do tygodni w projektach dokumentacji jezykow zagrozonych

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.