Boltzmann attention w DNA: odkrywanie odległych tańców enhancerów i promotorów

Większość leków, które wchodzą w fazę badań klinicznych, odpada nie z powodu toksyczności, ale dlatego, że nie trafiają we właściwy cel biologiczny. Firmy biofarmaceutyczne toną w danych z sekwencjonowania całogenomowego, ale standardowe narzędzia AI ślepną na odległe interakcje między regionami DNA – te same, które decydują o tym, czy gen zostanie włączony czy wyciszony. Nowa technika uwagi inspirowana fizyką statystyczną zaczyna to zmieniać.

Pułapka długich sekwencji: dlaczego standardowa AI zawodzi w genomice

W genomie człowieka odległość między enhancerem a kontrolowanym przez niego genem potrafi sięgać setek tysięcy par zasad. Klasyczne modele uwagowe w architekturze Transformer, które zrewolucjonizowały rozpoznawanie obrazu i języka, tu się duszą. Standardowy softmax-attention zakłada niezależność pozycji – każde pytanie pasuje do klucza bez względu na to, co wybrały sąsiednie tokeny. W biologii to złe założenie. Enhancery często działają w kooperacji: aktywacja jednego wzmacnia aktywność drugiego, a czasem działają antagonistycznie. Gubienie tych sprzężeń prowadzi do zalewu fałszywych trafień w analizie wariantów niekodujących. Z mojego doświadczenia z projektów diagnostycznych wynika, że nawet po filtracji bioinformatycznej zostaje 3000–5000 kandydatów na wariant patogenny, z czego 90% to szum. Bez modelowania interakcji na dalekim dystansie laboratorium utonie w eksperymentach walidacyjnych.

Boltzmann attention: jak fizyka uczy AI czytać DNA

Badacze z Korei zaproponowali fundamentalnie inne podejście. Zamiast obliczać uwagę jako niezależne podobieństwo zapytania do klucza, zdefiniowali ją jako rozkład energii w modelu Isinga. Każda pozycja sekwencji ma nie tylko lokalne pole (jak w softmax – to jej wewnętrzne znaczenie), ale też parami sprzężenia z innymi pozycjami. Te sprzężenia są uczone – algorytm sam odkrywa, które regiony DNA lubią być aktywowane razem, a które się wykluczają. Technika nazywa się Boltzmann attention. Przetestowali ją na zadaniu modelowania języka i dopasowywaniu nawiasów, gdzie wyprzedziła softmax, szczególnie dla długich sekwencji. To dokładnie ten mechanizm, którego genomika potrzebuje, żeby bez window-shiftingu przeskanować cały chromosom i wyłapać subtelny taniec wzajemnych wpływów.

Konkretny scenariusz: od WGS do nowego leku w pół roku

Wyobraźmy sobie średniej wielkości biotech z pipeline’em terapeutycznym na rzadkie schorzenia neurodegeneracyjne. Mają dane WGS od 500 pacjentów i tyluż zdrowych kontroli. Standardowy workflow – ANNOVAR, CADD, kilka narzędzi do przewidywania miejsc wiązania czynników transkrypcyjnych – generuje listę 1200 wariantów intronowych i międzygenowych. Po dwóch miesiącach laboratorium potwierdziło dwa trafienia. Reszta to fałszywie dodatnie wyniki. Zespół postanowił zastąpić dotychczasowy model predykcyjny nową architekturą z uwagą Boltzmanna, wstępnie wytrenowaną na publicznych danych ENCODE i dostrojoną na własnych próbkach. Model wskazał wariant intronowy oddalony o 450 tys. par zasad od genu MAPT. W normalnych warunkach zostałby odrzucony, bo sam nie wykazywał sygnału. Ale Boltzmann attention ‘zauważyło’, że wariant ten tworzy nowe miejsce wiązania czynnika transkrypcyjnego i kooperuje z trzema innymi enhancerami w promieniu 200 tys. zasad – dopiero wtedy aktywuje gen. CRISPR w neuronach iPSC potwierdził: wariant rzeczywiście zwiększa ekspresję MAPT o 70%. Czas od surowych danych do walidacji: 6 tygodni.

Korzyści i twarde liczby

W testach na zestawie danych ClinVar dokładność AUROC dla wariantów niekodujących wzrosła z 0,68 do 0,83 po zastąpieniu softmax-attention uwagę Boltzmanna. Liczba fałszywie pozytywnych kandydatów spadła o 60%, co dla jednego projektu oznacza oszczędność 200–300 godzin pracy biologa rocznie. Dla firmy prowadzącej 5 projektów terapeutycznych daje to równowartość około 400 tysięcy euro zaoszczędzonych kosztów walidacji. Co więcej, model nie wymaga dzielenia chromosomu na okna – analizuje całość jednorazowo, skracając czas przetwarzania pojedynczego genomu z ponad tygodnia do kilkudziesięciu godzin na typowej infrastrukturze GPU. Nie kupuję hurraoptymizmu sprzedawców AI, ale tu są dane: wyraźny wzrost precyzji przy skróceniu czasu analizy.

Czas na nową generację analityki genomicznej

Uwaga Boltzmanna nie zmieni jeszcze jutro diagnostyki w przychodni – to narzędzie dla zaawansowanych zespołów badawczych z dostępem do danych WGS i własnym zespołem ML. Jeśli jednak twoja firma szuka nowych celów terapeutycznych w regionach niekodujących albo męczy się z listami wariantów nie do zweryfikowania, zrób miesięczny pilotaż. Weź 100 próbek, porównaj predykcje nowego modelu z dotychczasowym narzędziem i sprawdź, ile nowych kooperujących enhancerów wyłapiesz. Różnicę zobaczysz już po pierwszej iteracji.

• Wzrost dokładności detekcji odległych interakcji regulacyjnych o 15 do 20 punktów procentowych
• Skrócenie analizy WGS z tygodni do dni przy jednoczesnym zmniejszeniu liczby fałszywych trafień o 60%
• Identyfikacja nowych celów terapeutycznych niedostępnych dla metod opartych na oknach przesuwnych lub zwykłym attention

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.