Szczerze mówiąc, nie spodziewałem się, że ktokolwiek dojdzie do stu procent. Wcześniejsze systemy do automatycznego generowania kodu Verilog RTL utknęły na poziomie około 95 procent dokładności i niewiele wskazywało na to, że ostatnie kilka punktów można przeskoczyć. VeriTrace, nowy wieloagentowy system autorstwa Yu-Tung Liu i Cunxi Yu, właśnie to zrobił: osiągnął perfekcyjną poprawność funkcjonalną na benchmarku VerilogEval-V2, a zrobił to, pozwalając agentowi debugować na własnych zasadach.
95 procent to niby sporo, ale w sprzęcie nie przejdzie
Kiedy w grę wchodzi sprzęt – procesory, układy FPGA – każdy błąd może oznaczać, że chip nie działa. Automatyczne generatory kodu Verilog radziły sobie coraz lepiej, ale na trudniejszych zadaniach z benchmarku VerilogEval-V2 skuteczność systematycznie spadała do 95 procent. Inżynierowie weryfikacji potrafili ten ostatni kawałek wyłapać ręcznie, jednak automaty nie dawały rady. Przyczyna była prosta – ich sposób debugowania był zbyt wąski.
Istniejące systemy podsuwały agentowi kilka wybranych sygnałów, nakazywały sprawdzenie w ustalonym oknie czasowym i kończyły po jednej, dwóch iteracjach. Agent mógł tylko dopasowywać wzorce do tego, co mu pokazano. Gdy błąd leżał poza tym kadrem, nie miał szans go znaleźć. To trochę tak, jakby detektyw dostawał zdjęcia tylko trzech pomieszczeń i miał rozwiązać zagadkę – czasem brakuje mu dowodów w salonie.
Agent, który sam decyduje, gdzie patrzeć
W VeriTrace autorzy postawili na coś, co nazwali Agentic Temporal Exploration – pełną swobodę agenta w wyborze sygnałów, ustalaniu granic czasowych i liczbie powtórzeń analizy. Agent Inspector nie dostaje odgórnie listy sygnałów do przejrzenia. Sam wybiera, które linie chce zobaczyć. Decyduje, w jakim przedziale czasowym je sprawdzić. I może wracać do analizy tyle razy, ile potrzebuje. To brzmi banalnie, ale nikt wcześniej tego w ten sposób nie połączył.
Widziałem inne narzędzia, które twierdziły, że rozwiązują ten problem – najczęściej poprawiały model językowy albo dodawały reguły. Tutaj autorzy nie ruszyli modelu, tylko dali mu więcej swobody w patrzeniu na przebiegi. Pomyśleli: skoro inżynier potrafi iteracyjnie zawężać poszukiwania, oglądając różne przebiegi o różnych porach, to agent też powinien móc to robić. Efekt przeszedł oczekiwania.
Dotychczasowe systemy ograniczały agenta do przeszukiwania wąskiego wycinka przebiegów, co sprowadzało debugowanie do dopasowywania wzorców. Dajemy agentowi pełną swobodę wyboru sygnałów, czasu i iteracji – tak jak robi to człowiek.
Yu-Tung Liu, Cunxi Yu
VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space
Czemu pełna przestrzeń akcji robi różnicę
Poprzednie systemy ograniczały agenta do przeszukiwania wąskiego wycinka zachowania układu – najczęściej predefiniowanych sygnałów i stałego okna czasowego. Jeśli błąd objawiał się dopiero poza tym oknem albo wymagał przyjrzenia się sygnałowi, którego nie było na liście, agent nie mógł go znaleźć. VeriTrace oddaje agentowi kontrolę: może sprawdzić dowolny sygnał, w dowolnym momencie symulacji, i wracać do analizy bez ograniczeń. To nie jest tylko kwestia liczby prób – to fundamentalna zmiana w tym, jak agent rozumuje.
W praktyce oznacza to, że agent formułuje hipotezę o przyczynie błędu, sprawdza ją, odpyhując przebiegi, i na podstawie wyników albo ją potwierdza, albo stawia nową. Ten proces odzwierciedla to, co robi człowiek – tyle że algorytm nie męczy się i nie gubi kontekstu. Właśnie to zamknęło ostatnią lukę dokładności, doprowadzając do stu procent poprawnych odpowiedzi.
Eksperyment: sto procent na tym samym modelu
Poprzednie systemy ograniczały agenta do przeszukiwania wąskiego wycinka zachowania układu – najczęściej predefiniowanych sygnałów i stałego okna czasowego. Jeśli błąd objawiał się dopiero poza tym oknem albo wymagał przyjrzenia się sygnałowi, którego nie było na liście, agent nie mógł go znaleźć. VeriTrace oddaje agentowi kontrolę: może sprawdzić dowolny sygnał, w dowolnym momencie symulacji, i wracać do analizy bez ograniczeń.
W praktyce oznacza to, że agent formułuje hipotezę o przyczynie błędu, sprawdza ją, odpyhując przebiegi, i na podstawie wyników albo ją potwierdza, albo stawia nową. Ten proces odzwierciedla to, co robi człowiek – tyle że algorytm nie męczy się i nie gubi kontekstu. Dzięki temu agent może stawiać hipotezy, weryfikować je na podstawie przebiegów i iteracyjnie dochodzić do diagnozy, a to zmienia sam sposób jego rozumowania. Właśnie to zamknęło ostatnią lukę dokładności, doprowadzając do stu procent poprawnych odpowiedzi.
- Automatyczne generatory kodu Verilog od lat nie mogły przekroczyć 95% poprawności na trudnych testach – teraz bariera została pokonana
- Sukces nie wynikał z lepszego modelu AI, lecz z pełnej swobody agenta w wyborze sygnałów, okien czasowych i liczby iteracji debugowania
- VeriTrace, bez żadnych dodatkowych komponentów, osiągnął 100% Pass@1 na benchmarku VerilogEval-V2
- To podejście można przenieść na każdy obszar, gdzie automatyczna weryfikacja wymaga ludzkiego stylu analizy – od embedded po analizę logów
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Metoda VeriTrace nie ogranicza się do Verilog. Każdy system, w którym automatyczny agent musi analizować złożone przebiegi czasowe – od debugowania oprogramowania wbudowanego po analizę logów serwerowych – może skorzystać z tego samego podejścia. Daje to szansę na automatyzację ostatniego, najtrudniejszego etapu weryfikacji. W świecie, gdzie każdy dodatkowy procent dokładności ma znaczenie, ten pomysł może znaleźć zastosowanie daleko poza projektowaniem układów scalonych.
Metryka artykułu źródłowego
Tytuł oryginalny: VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space
Autorzy: Yu-Tung Liu, Cunxi Yu
Data publikacji: 5 sierpnia 2026
arXiv: arxiv.org/abs/2608.02878
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
