Învățarea cu ajutorul inteligenței artificiale este inferioară comparativ cu căutarea web de modă veche

De la lansarea ChatGPT la sfârșitul anului 2022, milioane de oameni au început să utilizeze modele lingvistice ample LLM (large language model) pentru a accesa cunoștințe.

Este ușor de înțeles atractivitatea lor: pui o întrebare, obții o sinteză rafinată și mergi mai departe – se simte ca o învățare fără efort.

Totuși, o nouă lucrare la care am participat ca și coautor oferă dovezi experimentale că această ușurință poate avea un cost: atunci când oamenii se bazează pe modele lingvistice ample pentru a rezuma informații despre un subiect, aceștia tind să dezvolte cunoștințe mai superficiale despre acesta în comparație cu învățarea printr-o căutare standard pe Google.

Co-autorul Jin Ho Yun și cu mine, ambii profesori de marketing, am anunțat această descoperire într-o lucrare bazată pe șapte studii cu peste 10.000 de participanți.

Majoritatea studiilor au folosit aceeași paradigmă de bază: participanților li s-a cerut să învețe despre un subiect – cum ar fi cum să cultive o grădină de legume – și au fost repartizați aleatoriu să facă acest lucru folosind fie un LLM precum ChatGPT, fie „pe calea veche”, navigând prin linkuri folosind o căutare standard pe Google.

Nu au fost impuse restricții privind modul în care au utilizat instrumentele. Puteau căuta pe Google cât timp doreau și puteau continua să solicite informații către ChatGPT dacă simțeau că aveau nevoie de mai multe informații. După ce și-au finalizat cercetarea, li s-a cerut să scrie sfaturi unui prieten pe această temă, pe baza a ceea ce au învățat.

Datele au relevat un tipar consistent: persoanele care au aflat despre un subiect cu ajutorul unui model lingvistic amplu față de cele care au căutat pe internet au simțit că au învățat mai puțin, au investit mai puțin efort în redactarea ulterioară a sfaturilor lor și, în cele din urmă, au scris sfaturi mai scurte, mai puțin factuale și mai generice.

La rândul lor, atunci când aceste sfaturi au fost prezentate unui eșantion independent de cititori, care nu știau ce instrument fusese folosit pentru a afla despre subiect, aceștia au considerat sfaturile mai puțin informative, mai puțin utile și au fost mai puțin predispuși să le adopte.

Am constatat că aceste diferențe se confirmă într-o varietate de contexte. De exemplu, un posibil motiv pentru care utilizatorii LLM au scris sfaturi mai scurte și mai generice este, pur și simplu, faptul că rezultatele LLM au expus utilizatorii la informații mai puțin eclectice decât rezultatele Google.

Pentru a verifica această posibilitate, am efectuat un experiment în care participanții au fost confruntați cu un set identic de fapte în rezultatele căutărilor lor pe Google și ChatGPT. În mod similar, într-un alt experiment, am menținut constantă platforma de căutare – Google – și am variat dacă participanții au învățat din rezultatele standard Google sau din funcția AI Overview a Google.

Rezultatele au confirmat că, chiar și atunci când faptele și platforma sunt constante, învățarea din răspunsurile sintetizate ale LLM-urilor a condus la cunoștințe mai superficiale în comparație cu colectarea, interpretarea și sintetizarea informațiilor, pe cont propriu, prin intermediul link-urilor web standard.

Utilizarea modelelor lingvistice ample diminuează învățarea?

Unul dintre cele mai fundamentale principii ale dezvoltării abilităților este că oamenii învață cel mai bine atunci când sunt implicați activ în materialul pe care încearcă să îl învețe.

Atunci când aflăm despre un subiect prin intermediul căutării Google, ne confruntăm cu mult mai multe „încercări”: trebuie să navigăm prin diferite linkuri web, să citim surse informative și să le interpretăm și sintetizăm singuri.

Deși mai dificilă, această solicitare duce la dezvoltarea unei reprezentări mentale mai profunde și mai originale a subiectului în cauză.

În cazul modelelor lingvistice ample, întregul proces este realizat în numele utilizatorului, transformând învățarea dintr-un proces mai activ într-unul pasiv.

Ce urmează?

Nu credem că soluția la aceste probleme este evitarea utilizării modelelor lingvistice ample (LLM), mai ales având în vedere beneficiile incontestabile pe care le oferă în multe contexte.

Mai degrabă, mesajul nostru este că trebuie, pur și simplu, să devenim utilizatori mai inteligenți sau mai strategici ai modelelor lingvistice ample – ceea ce începe prin înțelegerea domeniilor în care acestea sunt benefice obiectivelor noastre.

Dacă ai nevoie de un răspuns rapid și factual la o întrebare, atunci poți folosi copilotul tău preferat de inteligență artificială.

Dacă însă scopul tău este să dezvolți cunoștințe profunde și generalizabile într-un domeniu, bazarea exclusivă pe sintezele LLM va fi mai puțin utilă.

Ca parte a cercetării mele privind psihologia noilor tehnologii sunt interesat și de posibilitatea de a face din procesul de învățare cu ajutorul unui model lingvistic amplu un proces mai activ.

Într-un alt experiment am testat acest lucru punând participanții să interacționeze cu un model GPT specializat care oferea link-uri web,  în timp real, alături de răspunsurile sale sintetizate. Acolo, însă, am constatat că, odată ce participanții au primit un rezumat al LLM, nu au fost motivați să aprofundeze sursele originale.

Rezultatul a fost că participanții au dezvoltat în continuare cunoștințe mai superficiale în comparație cu cei care au folosit Google standard.

Credit: Hatice Baran / pexels.com

Pornind de la acest aspect, în cercetările mele viitoare intenționez să studiez instrumentele de inteligență artificială generativă pentru sarcinile de învățare – în special, examinând ce tipuri de dificultăți motivează cel mai eficient utilizatorii să învețe activ mai mult dincolo de răspunsuri simple, sintetizate.

Astfel de instrumente ar fi deosebit de importante în învățământul secundar, unde o provocare majoră pentru profesori este cum să-i ajute pe elevi să dezvolte abilități fundamentale, pregătindu-i în același timp pentru o lume reală în care modelele lingvistice ample (LLM) sunt susceptibile să fie o parte integrantă a vieții lor de zi cu zi.

Traducere după Learning with AI falls short compared to old-fashioned web search