Posłuchaj artykułu
Dla jednego z naszych procesów opartych o agenta stworzyliśmy narzędzie, które generuje reklamy samo. Dostaje brief, oddaje komplet gotowych kreacji pod różne miejsca w internecie zawierających hasło, scenę, przycisk, znak marki, wymiary pod konkretny format. Bez grafika, bez copywritera i bez ani jednego kliknięcia po drodze. Szybciej, niż zajmuje umówienie spotkania w tej sprawie. Proste narzędzie do generowania kreacji reklamowych.
Brzmi jak nic wielkiego i prosty sukces, i przez chwilę tak to wyglądało. Problem w tym, że to jest dokładnie ten moment, w którym zaawansowana automatyzacja wykorzystująca i wykorzystywana przez sztuczną inteligencję zaczyna stawać się ryzykowna. Maszyna, która szybko produkuje rzeczy średniej jakości, nie oszczędza pracy. Ona masowo wytwarza buble, ale robi to taniej niż człowiek, więc na koniec miesiąca płacisz mniej, tylko że za pełny śmietnik.
Opisywany automat jaskrawo pokazuje jedną z ważniejszych zasad automatyzacji procesów opartej na sztucznej inteligencji, czyli na niedeterministycznych wynikach modeli generatywnych, w których ten sam wsad potrafi za każdym razem dać inny wynik. Zasada brzmi prosto: automatyzacja jest poprawna wtedy, gdy może się rozwijać wraz z oceną jej pracy. Zazwyczaj odbywa się to przez modyfikację automatyzacji przez programistę i dopieszczanie efektu. My postanowiliśmy zrobić to inaczej i do automatyzacji wbudowaliśmy kolejną automatyzację mającą na celu korektę systemu w oparciu wyłącznie o uwagi ze strony osób nietechnicznych, marketingowych, a nie programistów.
Wyjaśniamy od razu, że u źródła leżą trzy pętle, prosta architektura.
Zanim wejdziemy w to, jak narzędzie działa, warto mieć przed oczami mapę, bo cały pomysł to jedna rzecz powtórzona na trzech poziomach.
Pierwsza pętla pilnuje pojedynczego zlecenia generowania kreacji. Narzędzie ocenia to, co samo wyprodukowało, i odrzuca własną pracę, jeśli nie spełni kryteriów, już zanim zobaczy ją ktokolwiek w tym obsługujący system agent lub korzystający przy okazji swoich zadań człowiek. Druga jest wolniejsza i mądrzejsza i skupia się na usprawnianiu tej pierwszej, działa tak, że człowiek ogląda gotowe kreacje, a jego uwagi wracają do instrukcji, na których pracuje narzędzie, więc następne zlecenie startuje z wyższego progu. Trzecia jest tą, o której zwykle nikt nie mówi, bo samo uczenie też jest procesem, więc też można je poprawiać, i ono też uczy się na uwagach.
Pierwsza pętla robi z narzędzia wykonawcę zadania. Dopiero druga sprawia, że wdrożenie ewoluuje i poprawia swoje wyniki zamiast starzeć się od pierwszego dnia i wytwarzać buble. Trzecia decyduje o tym, jak proces usprawniania będzie wyglądał i czy po roku ktokolwiek jeszcze będzie chciał przy tym siedzieć. Reszta tekstu to opowieść o tym, jak każda z nich powstała i co po drodze próbowało nas oszukać.
Dlaczego nie każemy modelowi narysować całej reklamy
Najprostsza wersja takiego narzędzia wygląda tak, że generujemy prompt i dajemy go modelowi multimodalnemu i oczekujemy gotowej reklamy, z hasłami i przyciskiem, grafiką, logotypem i to wszystko w jednym kroku. Kusząco mało pracy. My robimy inaczej i to jest najważniejsza decyzja w całej konstrukcji, więc warto wiedzieć, za co płacimy tą komplikacją.
Model obrazowy dostaje u nas płótno bez ani jednej litery i maluje wyłącznie scenę. Cały tekst, czyli hasło, podtytuł, przycisk i znak marki, powstaje po naszej stronie i nakładamy go dopiero na gotowy obraz. Powód jest w połowie estetyczny, a w połowie księgowy. Modele obrazowe psują polskie znaki, więc "wdrożenie" wraca jako "wdrozenle" i nikt tego nie zauważa aż do publikacji. A skoro tekst jest nasz, to poprawka literówki albo test kolejnego wariantu hasła kosztuje jeden render zamiast kolejnej płatnej generacji obrazu. Ta sama logika dotyczy logo: znak marki przerysowany przez model przestaje być znakiem marki, bo genAI wprowadza czasami drobne, a czasami większe zmiany.
Dlaczego tekst nie idzie przez model obrazowy
Scenę maluje model, litery składamy sami i nakładamy po generacji
Jest w tym jeszcze jeden zysk, mniej oczywisty, a to on okazał się później najważniejszy. Skoro kreacja składa się z osobnych warstw i nic po drodze nie znika, to każdą gotową reklamę da się rozłożyć z powrotem na części i ręcznie poprawić, aby nie tracić komponentów.
Kreacja rozłożona na warstwy
Kliknij gotową kreację, żeby złożyć wszystko w jeden stos i powiększyć. Kliknij drugi raz, żeby rozłożyć z powrotem
Płyta bazowaciemne płótno, zero liter
Surowy kadrprosto z modelu obrazowego
Typografiaprzezroczysta, nasza
Pomaga to naszym systemom kontroli zapanować nad jakością i odróżnić złą scenę od złej typografii lub kiepskiej kolorystyki. Dla nas to nic wielkiego, ale przy masowym generowaniu obrazów są to zupełnie różne zagadnienia, różne instrukcje do poprawienia i różne miejsca, w których trzeba coś zmienić. Automat, który potrafi powiedzieć tylko "wyszło słabo", nie nauczy się niczego, bo nie wie nawet, czego dotyczy jego własna porażka. A wygenerowanie w jednym strzale kolejnej grafiki, bo w haśle była literówka, powoduje zmiany także w samej scenie... powtórz to zadanie razy 1000 i masz masę problemów i śmieci. To nie jest coś, co nas interesuje, nie tego oczekują od nas klienci.
Pierwsza pętla produkuje kreację marketingową i do tego sama kontroluje własną pracę
Jeden przebieg to kilka kroków. Część z nich to rozmowy z modelem, część to zwykły kod. Najpierw powstają hasła, potem scena, która te hasła już zna, potem obraz, a na końcu zupełnie inny model ogląda gotową kreację i opisuje, co na niej widzi. Dopiero wtedy zapada decyzja, czy kreacja idzie dalej.
Kto tę decyzję podejmuje, jest ważniejsze niż to, ile jest kroków. Podejmuje ją kod, nie model. Model ocenia i wystawia liczby, ale próg i lista błędów dyskwalifikujących leżą po stronie kodu, bo model oceniający własną pracę bywa łaskawy. Potrafi przyjąć kreację, w której postać ma zamknięte oczy, gdy nie powinna, tylko dlatego, że przypadkiem ładnie to sobie uzasadni, i robi to z pełnym przekonaniem.
Z tej samej rodziny jest drugi nawyk, który polecamy każdemu, kto buduje cokolwiek podobnego: model kontrolujący nie wie, co miał zobaczyć. Przepisuje z obrazu to, co widzi, na ślepo, a porównanie z zamówieniem robi kod. Gdybyśmy podali mu oczekiwane hasło, przestałby być pomiarem, a stałby się potwierdzeniem naszych oczekiwań. To ta sama dyscyplina, którą opisywaliśmy przy ograniczaniu halucynacji agenta AI: kod daje sygnał, model daje werdykt, i nigdy odwrotnie.
Pierwsza pętla: narzędzie odrzuca własną pracę
Cztery rozmowy z modelem, dwa kroki czystego kodu, a decyzja zawsze po stronie kodu
Ta pętla działa i wyłapuje sporo. Ma jednak wadę, którą widać przy pierwszym rzucie oka na kreację, gdyż proces kończy się razem z przebiegiem automatu. Wiedza z jednego uruchomienia nie docierała do następnego, więc narzędzie było przy setnej reklamie dokładnie tak samo mądre, a bardziej głupie niż przy pierwszej.
To jest cichy sufit każdej automatyzacji opartej wyłącznie na regułach spisanych z góry. Reguły są dobre dopóty, dopóki ma kto je cały czas dopieszczać. I nie zrozum źle, popełniliśmy masę automatyzacji działających w ten sposób, bo w klasyfikatorze faktur kreatywność jest ograniczona i wystarczy praca programisty, który z każdym miesiącem dopieszcza ustawienie automatu. Jednak chcieliśmy czegoś więcej, bo automat, który nie pamięta wczorajszej uwagi, to bardzo szybki stażysta z bardzo krótką pamięcią, jest pracowity, tani i za każdym razem trzeba ręcznie po nim poprawiać pracę lub ręcznie poprawiać mu instrukcje.
Druga pętla, czyli jak wpleść człowieka nieprogramistę w proces do tej pory wykonywany przez fachowców
Druga pętla to pętla uczenia, przesunięta o poziom wyżej, mająca na celu pracować nad rozwojem automatu. Pracuje maszyna, ale wyniki ocenia człowiek, a nie model, i ocenia nie po to, żeby poprawić jedną kreację, ale po to, żeby poprawić instrukcje, z których powstaną wszystkie następne.
Wygląda to zwyczajnie, każda kreacja, także odrzucona, ląduje w galerii do obejrzenia. Odrzucone są przy tym najcenniejsze, bo mówią wprost, co poszło nie tak. Nasze pierwsze narzędzie do przeglądania pokazywało wyłącznie zwycięzców i przez to wyrzucało do kosza najlepszy materiał do nauki.
Oceniamy osobno każdy wymiar kreacji: hasło, scenę, typografię, kolor, pozę i kadr. Pierwsza wersja panelu miała jedną ocenę na całość i to był błąd, który ujawnił się już na kilku pierwszych wpisach. Wyglądały one tak: ocena "dobra", zaznaczone wszystko jak leci, a w komentarzu "kadr jest niezły, bardziej boli twarz wchodząca pod tekst". Z takiego wpisu automat nie potrafił odczytać, co ma poprawić.
Stąd wzięła się decyzja, która przebudowała całą resztę: materiałem do nauki jest komentarz. Dodaliśmy kciuk w górę i dół, który mówi, że coś jest dobre albo złe, ale nie mówi co. Komentarz mówi dlaczego, a tylko z "dlaczego" da się robić szybkie postępy. Te dwie rzeczy potrafią się zresztą rozjeżdżać i wcale nie sporadycznie. Zdarzyła się u nas ocena "dobra" z komentarzem, który o haśle wyrażał się w sposób nienadający się do zacytowania w tekście firmowym. Przy takim konflikcie wygrywa komentarz, zawsze. A kreacja bez komentarza w ogóle nie wchodzi do pętli, bo de facto nie ma z czego się uczyć, i lepiej powiedzieć to wprost, niż karmić automat kciukami i udawać, że to wystarczające dane. Oczywiście, że wystarczyłyby same kciuki, ale wymagałyby milionów iteracji i znaczących budżetów, by dopieścić tylko kreację marketingową.
Druga pętla: cenzorem jest człowiek
Komentarz zamienia się w poprawkę instrukcji, a przepis samej pętli też jest daną
Do systemu wbudowaliśmy bramkę, która nie pozwala automatowi wymyślać za człowieka
Tu jest najważniejszy element całej konstrukcji i jednocześnie najmniej efektowny. Wartość tej pętli zależy w całości od jednego: czy to, co trafia do instrukcji, naprawdę pochodzi od człowieka.
Dlatego kiedy automat czyta komentarz i formułuje z niego wniosek, musi w tym wniosku zacytować dosłowny fragment tego komentarza. Nie streścić, nie sparafrazować. Sprawdza to kod, znak po znaku.
Bez tej bramki dzieje się rzecz, którą widać dopiero po czasie: model streszcza uwagę tak, żeby pasowała do tego, co i tak zamierzał napisać. Wychodzą z tego wnioski brzmiące sensownie i opatrzone czyimś nazwiskiem, choć w uwagach nigdy ich nie było. Automat przestaje się uczyć od człowieka, a zaczyna od siebie, tylko z przybitą pieczątką.
Reszta bramek pilnuje rzeczy równie przyziemnych. Poprawka musi wskazywać miejsce, które naprawdę istnieje, i musi zastępować fragment instrukcji, a nie dopisywać kolejny akapit, bo instrukcja, do której wolno tylko dopisywać, po roku ma trzydzieści stron i masę sprzeczności.
Jest przy tym zasada warta zapamiętania, bo jest kontrintuicyjna. Kiedy bramka odrzuca dużo wniosków, to nie znaczy, że jest za ostra. To znaczy, że instrukcja czytania komentarzy jest zła. Bramka jest termometrem, a nie chorobą.
Wszystkie razem to kilkanaście linii kodu i wszystkie istnieją z tego samego powodu: zasada zapisana w instrukcji, ale nieegzekwowana przez kod, jest życzeniem, a nie zasadą.
Czego automat nauczył się o nas samych
Jedna sesja uczenia to garść ocenionych kreacji, kilkadziesiąt uwag człowieka i mniej więcej godzina pracy narzędzia. Na wyjściu dostajemy komplet konkretnych zmian w instrukcjach, każda z uzasadnieniem i wskazaniem miejsca, którego dotyczy. Człowiek przegląda je i przyjmuje albo odrzuca pojedynczo.
Sam rozkład uwag okazał się pouczający, bo pokazał, gdzie naprawdę boli. Najwięcej korekt dostały prompty generujące hasła, potem polecenie dla modelu obrazowego, później kontrola jakości, a najmniej sama scena, czyli to, co widać najbardziej. Spodziewaliśmy się dokładnie odwrotnie.
Gdzie naprawdę leżały uwagi człowieka
Uwagi z jednej sesji, rozdzielone na cztery etapy generatora
Ciekawsze od liczb jest jednak to, co pętla z tymi uwagami zrobiła, bo kilka razy zauważyła coś, czego człowiek czytający prompty po kawałku prawdopodobnie by nie zobaczył, bo prompty mają tysiące znaków i jest ich wiele.
Raz znalazła sprzeczność w naszych własnych instrukcjach. W jednym miejscu znajdował się zapis, że pewne słowo jest zakazane, a jednocześnie oczekiwaliśmy przekazu, którego bez tego słowa trudno zbudować. Model nie miał jak zadowolić obu stron, więc chwiał się losowo i wyglądało to na kaprys generatora. Oba zdania osobno były rozsądne i właśnie dlatego nikt tego nie wyłapał.
Drugi przypadek przekonał nas do całej konstrukcji najmocniej: reklama obiecywała coś, czego nie robimy. Brief prosił o pokaz działania na materiałach klienta, a my prezentacji na cudzych danych nie robimy. Uwaga człowieka brzmiała po prostu "nigdy tego nie robimy". Automat zamienił ją w zakaz przy pisaniu haseł, a potem przeniósł ten sam zakaz do etapu rysowania sceny, z uzasadnieniem, którego sami byśmy nie wymyślili: ekran pokazujący materiał klienta obiecuje pokaz równie głośno jak przycisk z takim napisem. To jest moment, w którym automatyzacja przestaje wykonywać polecenia i zaczyna pilnować spójności między tym, co obiecujemy, a tym, co naprawdę sprzedajemy.
Trzecia rzecz jest mniej efektowna, za to najbardziej praktyczna: pętla potrafi rozpoznać własną nadgorliwość. Modele rysowały wcześniej ludzi wyglądających na śpiących, więc dołożyliśmy twardą regułę o otwartych oczach. Model posłuchał aż za dobrze i zaczął produkować wytrzeszcz. Człowiek opisał to w dwóch słowach, a pętla zamieniła regułę jednostronną na dwustronną. Warto to zapamiętać przy każdej regule, jaką kiedykolwiek napiszesz: każde ostrze "zawsze" ma drugi koniec, a dowiadujesz się o nim dopiero na gotowym materiale.
Co uspokajające, ten sam automat potrafi też odmówić. Przy prośbie o przesunięcie progu jakości odpowiedział, że za tą uwagą stoi jedna kreacja, a próg przesuwa poprzeczkę wszystkim. Trudno się nie zgodzić.
Trzecia pętla to już incepcja
Zostaje pytanie, które zwykle nie pada. Skoro instrukcje generatora poprawiamy uwagami człowieka, to co poprawia instrukcje samej pętli uczącej?
U nas kolejna pętla. Cały przebieg uczenia jest przepisem zapisanym jako dane w JSON: wersjonowanym, edytowalnym z panelu i niezależnym od kodu. Dołożenie kroku, zmiana tego, co dostaje model, inny sposób scalania uwag: to wszystko jest edycją przepisu, a nie przepisywaniem narzędzia. Instrukcje samej pętli mieszkają zaś dokładnie tam, gdzie instrukcje generatora, więc pętla poprawia własne polecenia tym samym mechanizmem, którym poprawia narzędzie. W takich miejscach zwykle pada słowo incepcja, ale tym razem jest zasłużone.
Brzmi to jak zabawa w filozofię, a ma bardzo przyziemny skutek. Kiedy uczenie idzie w złą stronę, poprawiamy sposób uczenia w kilka minut, bez czekania na kolejne wdrożenie ze strony zespołu programistycznego.
Co z tego wyszło
Test był prosty: ten sam brief, ten sam format, ten sam model obrazowy, jedyna różnica to zestaw instrukcji. Przed nauką jeden wariant przechodził od ręki, a drugi wracał do poprawki raz za razem. Po nauce oba przeszły za pierwszym podejściem, wydatnie zmniejszając koszt jednej prawidłowej kreacji i do tego zauważalnie szybciej.
Jedno zastrzeżenie, bo bez niego byłaby to sprzedażowa obietnica bez pokrycia: to jest obserwacja z naszego podwórka, a nie benchmark. Badania są w trakcie i może za jakiś czas pokażemy statystyki w kolejnym wpisie. Więc warto obserwować naszego bloga, jeśli interesują Cię takie tematy.
Dlatego prawdziwy dowód jest gdzie indziej i widać go gołym okiem.
Po lewej wersja sprzed nauki: postać trzyma dłoń płasko na piersi, w geście, który oceniający człowiek opisał w panelu jako "jak do przysięgi", a nagłówek jest zbyt lakoniczny i pusty, bo po przeczytaniu nie wiadomo, co się kupuje. Po prawej wersja po nauce: otwarta dłoń, zdanie mówiące wprost na temat oferty, i przycisk nazywający krok, który naprawdę nastąpi po kliknięciu, czyli konsultacja zamiast pokazów.
Cztery kroki do jednej reklamy
Ten sam brief i ten sam model obrazowy, od pierwszej odrzuconej próby do wersji z najlepszą oceną
Pierwsze podejście. Model zlepił palce w jedną bryłę i zdeformował przedmiot w dłoni. Zero uwag o treści, sama wada obrazu.
Automat mówi dobrze, człowiek nie. Dłoń płasko na piersi, jak do przysięgi, a z nagłówka nadal nie wiadomo, co się kupuje.
Już po nauce, ale tekst zszedł się z jasnym tłem. Nauka nie kasuje wpadek modelu obrazowego, bo to inny rodzaj usterki.
Najlepsza ocena z całej czwórki. Otwarta dłoń zamiast gestu przysięgi, a nagłówek mówi wprost, co robimy i co mierzymy.
Każdą z tych zmian da się wprowadzić ręcznie do konkretnego zdania, które człowiek wpisał w panelu kilka godzin wcześniej. Ale nie taki jest sens całego tego trudu, by trzeba było poprawiać kreacje ręcznie tylko dlatego, że widać na oko, co jest nie tak. Chodzi o metodę, która na podstawie danych mierzy działanie systemu i usprawnia jego pracę w czasie.
Kto tu dowodzi, czyli jak maszyna usprawnia, a człowiek podejmuje decyzje
Zostawiliśmy sobie w tym narzędziu furtkę i korzystamy z niej świadomie. Do instrukcji, na których pracuje generator, można wejść wprost i przestawić je jednym ruchem, bezpośrednio edytując prompty i przepływ, bez czekania na kolejną rundę uczenia.
To nie jest obejście na wypadek awarii, tylko sposób na przyspieszenie ewolucji systemu. Pętla uczy się cierpliwie i po kawałku, bo tak działa uczenie na uwagach. Człowiek widzi czasem od razu, że cała zasada jest ustawiona nie tam, gdzie trzeba, i potrafi ją przesunąć w kilka minut. Pętla dojdzie do tego samego, tylko dłuższą drogą. Skoro te dwie prędkości da się połączyć, szkoda z tego rezygnować dla czystości koncepcji.
Stąd zasada, którą stosujemy przy każdym takim wdrożeniu, także u klientów: maszyna jest usprawnieniem, a nie zmiennikiem. To człowiek dowodzi, zarządza i odpowiada za cały proces, a automat robi to, w czym jest bezkonkurencyjny, czyli powtarza tysiąc razy bez znudzenia, bez pośpiechu i bez chodzenia na skróty.
Tak wygląda efekt takiego podziału pracy na kolejnej serii dla kreacji dla warsztatów, gdzie hasło promuje agenta telefonicznego mówiące wprost, co klient dostaje. Scena jest spójna, bo każdy przedmiot znajduje się tam, gdzie w prawdziwym warsztacie znalazłby się naprawdę. Kadr jest dobrze wypozycjonowany.
Ścieżka postępu: co się działo między jedną reklamą a drugą
Tor rozjaśnia się z lewej na prawo, bo każdy przystanek dokłada coś, czego wcześniej nie było
Wniosek do zabrania na własne podwórko jest prosty. Automat dopieszcza i powtarza lepiej niż człowiek, a człowiek nadaje kierunek szybciej niż automat. Wdrożenie, które daje Ci dostęp tylko do jednego z tych dwóch, oddaje połowę wartości.
Kiedy taka automatyzacja się opłaca, a kiedy nie
Warunków jest kilka i nie mają nic wspólnego z reklamą, więc przełożą się na Twój proces.
Proces musi być powtarzalny i częsty, bo pętla uczy się na przykładach, a przy kilku przypadkach rocznie nie ma z czego. Wynik musi dawać się ocenić od ręki, bo jeżeli ocena wymaga skomplikowanej i długiej analizy, to najprawdopodobniej nikt nie zbierze wystarczająco dużo uwag i cała konstrukcja stanie. Musi istnieć miejsce, w którym uwaga zostaje na stałe, bo uwaga rzucona na czacie ginie razem z rozmową. I musi być bramka odrzucająca po twardym kryterium, a nie po samopoczuciu modelu, inaczej automat będzie sam sobie wystawiał świadectwa dryfując z pomysłami racjonalizatorskimi raz w stronę gwiazd, a czasami spadając na ziemię.
Nie opłaca się przy procesach jednorazowych i skomplikowanych. Częste skomplikowane procesy są godne rozważenia. Najczęstszy i najbardziej kosztowny przypadek jest jednak inny: nikt nie ma czasu regularnie kontrolować tego, co automat wyprodukował. Automatyzacja z SI bez cenzora nie jest oszczędnością, tylko szybszą produkcją tego samego błędu, i to za pieniądze.
Jeżeli te warunki brzmią znajomo, to dlatego, że są takie same przy agentach SI i przy modelach uczenia maszynowego. Różni się tylko to, co wchodzi do pętli.
Ile to realnie kosztuje
Zacznijmy od zasady, którą warto zabrać dalej niż do reklam, czyli że stawka z cennika nie jest ceną efektu. Cena efektu to stawka razy liczba prób, a liczby prób nie odczytasz z żadnego cennika, bo płaci się za każdą próbę, także za tę, która poszła do kosza. Zmierzyliśmy to na własnej skórze, czyli model obrazowy, który w krótkim porównaniu wypadł ponad dwa razy taniej od konkurencji, przy pełnej serii okazał się tańszy już tylko o kilkanaście procent, bo częściej trzeba było powtarzać.
Jeden przebieg, czyli para gotowych kreacji, to koszt obrazu od 0,80 zł do 2,30 zł, zależnie od tego, ile prób trzeba było powtórzyć. Jedna sesja uczenia, czyli ta droższa część, ale uruchamiana raz na jakiś czas, kosztuje około 50-80 zł, zależnie od liczby uwag i kreacji, które trafiły do analizy. Panel do oceniania, czyli cała nadbudowa nad generatorem, to mała dedykowana aplikacja dla jednej osoby.
Podsumowując: pełny cykl, czyli kilka przebiegów generatora i jedna sesja uczenia na zebranych ocenach, zamyka się poniżej stu złotych. To są koszty samego narzędzia, a nie kampanii, bo za emisję reklam płaci się osobno i zupełnie inne pieniądze. Jednak pamiętać należy, że z każdym cyklem nauczania potrzeba kolejnego cyklu spada i po pewnym czasie stanie się całkowicie pomijalna w porównaniu do masy wytworzonych kreacji.
Co dalej
To są pierwsze eksperymenty i trwają dalej. W czasie, w którym powstawał ten tekst, narzędzie wypuściło kolejne serie kreacji, a my dołożyliśmy do pętli kolejne wnioski. Każda taka runda przesuwa poprzeczkę o kawałek i następne reklamy wychodzą lepsze od poprzednich.
Jeżeli masz u siebie coś powtarzalnego, co kończy się wynikiem dającym się ocenić, czyli kreacje, księgowanie dokumentów albo cykliczną analizę, i chcesz wpiąć w to pętlę samouczenia, napisz na hello@mtzn.pl. Takie automatyzacje procesów budujemy na zamówienie. Pierwsza rozmowa jest bezpłatna.
