Sztuczna inteligencja kontra studenci: pomysły AI częściej trafiają do koszyka

Wyobraź sobie zadanie: wymyśl nowy produkt dla studenta za maksymalnie 50 dolarów. Studenci na kursie projektowania zaproponowali dziesiątki rozwiązań. Potem to samo ćwiczenie wykonano na GPT-4. Okazało się, że pomysły wygenerowane przez AI osiągają wyższą intencję zakupu, ale są mniej zaskakujące i bardziej do siebie podobne. W dodatku najlepsze z nich mają siedmiokrotnie większą szansę na znalezienie się w czołówce.

Metoda: jak porównać ludzką i maszynową kreatywność?

Badacze z kilku uczelni postanowili sprawdzić, czy duże modele językowe (LLM) mogą konkurować z ludźmi w wymyślaniu nowych produktów. Wzięli na warsztat konkretne zadanie: zaprojektować gadżet dla studenta, który kosztowałby nie więcej niż 50 dolarów. To nie abstrakcyjne ćwiczenie – takie briefy dostają zespoły produktowe w firmach.

Pomysły pochodziły z trzech źródeł. Pierwsza grupa to studenci kursu projektowania produktu, którzy pracowali nad tym zadaniem jeszcze przed erą LLM. Dwie pozostałe grupy to GPT-4 – raz poproszony o pomysły bez żadnych przykładów (zero-shot), a raz z kilkoma przykładami dobrych pomysłów (few-shot).

Ocena jakości opierała się na standardowych technikach badań rynkowych. Najważniejszym wskaźnikiem było prawdopodobieństwo intencji zakupu – czyli odpowiedź na pytanie 'czy kupiłbyś ten produkt?'. Dodatkowo sprawdzono nowatorstwo pomysłów (oceniane przez ludzi) oraz podobieństwo między pomysłami za pomocą eksploracji tekstu.

AI wygrywa w sprzedaży, ale przegrywa w nowatorstwie

Pierwszy wniosek jest dość jednoznaczny: pomysły generowane przez AI osiągały wyższą średnią intencję zakupu niż pomysły studentów. Klienci po prostu chętniej deklarowali chęć kupna produktów wymyślonych przez maszynę. Różnica nie była kosmiczna, ale statystycznie istotna.

Promptowanie few-shot dało jeszcze nieco lepsze wyniki niż zero-shot – kilka przykładów pomogło modelowi trafić w gusta konsumentów. To ma sens: pokazujesz AI, co działa, a ona dostosowuje się do wzorca.

Ale jest też druga strona medalu. Te same pomysły AI zostały ocenione jako mniej nowatorskie. Sędziowie uznali, że brakuje im tego 'błysku', który czasem mają ludzkie koncepcje. Co więcej, pomysły AI były do siebie bardziej podobne – zwłaszcza przy promptowaniu few-shot, gdzie model trzymał się blisko podanych przykładów. Jak ujęli to autorzy: 'Pomysły generowane przez AI są postrzegane jako mniej nowatorskie i wykazują większe podobieństwo parami, szczególnie przy promptowaniu few-shot, co wskazuje na mniej zróżnicowany zestaw rozwiązań.'

Pomysły wygenerowane przez AI mają siedmiokrotnie większą szansę na znalezienie się wśród 10 procent najlepszych pomysłów, co pokazuje znaczącą przewagę nad pomysłami ludzkimi.

Lennart Meincke, Karan Girotra, Gideon Nave, Christian Terwiesch, Karl T. Ulrich

Abstract

Siedem do jednego – przewaga, która może być niedoszacowana

Największe wrażenie robi jednak statystyka dotycząca najlepszych pomysłów. Kiedy badacze przyjrzeli się górnym 10 procentom wszystkich zgłoszeń, okazało się, że pomysły AI trafiały tam siedmiokrotnie częściej niż pomysły studentów. Jeśli szukasz naprawdę dobrego pomysłu, AI ma wyraźną przewagę.

To jeszcze nie wszystko. Autorzy badania twierdzą, że ta przewaga jest prawdopodobnie niedoszacowana. Dlaczego? Bo nie wzięto pod uwagę produktywności. Student potrzebuje godzin, żeby wymyślić kilka koncepcji. GPT-4 generuje kilkadziesiąt w kilka minut. Gdyby porównać nie pojedyncze pomysły, ale cały strumień wyjściowy, różnica byłaby jeszcze większa.

Zastanawia mnie, co by się stało, gdyby puścić AI na cały dzień. Ile pomysłów by wypluła? I ile z nich byłoby naprawdę dobrych? Badacze sugerują, że ta siedmiokrotna przewaga to raczej dolna granica.

• Pomysły AI osiągają wyższą średnią intencję zakupu niż pomysły studentów.
• Promptowanie few-shot daje nieco lepsze wyniki niż zero-shot.
• Pomysły AI są mniej nowatorskie i bardziej do siebie podobne.
• Najlepsze pomysły AI mają siedmiokrotnie większą szansę na znalezienie się w top 10%.
• Przewaga AI jest niedoszacowana, bo nie uwzględnia większej produktywności.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Siedem razy większa szansa na hit: jak AI zmienia reguły gry w innowacjach FMCG

Wprowadzenie nowego smaku jogurtu czy limitowanej edycji przekąski to zawsze ryzykowna gra. Z danych

Konto bankowe idealne? AI podpowie, co pokochają klienci

Banki wydają miliony na badania, ale ich nowe produkty często nie trafiają do cyfrowych tubylców. Za

Co kierowca wrzuci do koszyka? AI projektuje gadżety samochodowe

W branży akcesoriów samochodowych aż 20% nowych produktów nie zwraca kosztów prototypowania. Powód?

Narzędzia do nauki, które studenci kupią bez wahania

Zbyt wiele narzędzi edukacyjnych kończy jako zombie: pobrane raz i nigdy nie użyte. Studenci są wybr

Podsumowanie

Technologia generowania pomysłów przez AI może być stosowana w działach rozwoju produktu, marketingu i innowacji. Firmy mogą szybko tworzyć setki koncepcji nowych gadżetów, kampanii reklamowych czy ulepszeń procesów. Jednak aby uniknąć monotonii, warto łączyć AI z ludzką oceną i kreatywnością, zwłaszcza tam, gdzie liczy się oryginalność i zaskoczenie.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.