Inteligența artificială și criza datelor de instruire: Cum ar putea ajunge modelele AI să se antreneze reciproc/ ”Nu suntem nici pe departe aproape de superinteligență”

ChatGPT a explodat în lume în toamna anului 2022, declanșând o cursă către o inteligență artificială tot mai avansată: GPT-4, Anthropic’s Claude, Google Gemini și multe altele. Chiar ieri, OpenAI a dezvăluit un model numit Sora, cel mai recent care generează instantaneu videoclipuri scurte pornind de la indicații scrise. Dar, în ciuda tuturor demonstrațiilor și promisiunilor tehnice orbitoare, dezvoltarea tehnologiei fundamentale a încetinit, scrie The Atlantic.

Cele mai avansate și mai atrăgătoare programe de inteligență artificială, în special modelele lingvistice, au consumat cea mai mare parte a textului și a imaginilor disponibile pe internet și sunt în criză de date de instruire, resursa lor cea mai prețioasă. Acest lucru, împreună cu procesul costisitor și lent de utilizare a evaluatorilor umani pentru a dezvolta aceste sisteme, a împiedicat creșterea tehnologiei, conducând la actualizări iterative mai degrabă decât la schimbări masive de paradigmă. Companiile sunt blocate în competiție pentru milimetri de progres.

În timp ce cercetătorii încearcă să scoată apă din piatră, aceștia explorează o nouă cale de a-și îmbunătăți produsele: Folosesc mașini pentru a antrena mașini. În ultimele câteva luni, Google Deepmind, Microsoft, Amazon, Meta, Apple, OpenAI și diverse laboratoare academice au publicat cercetări care folosesc un model de inteligență artificială pentru a îmbunătăți un alt model de inteligență artificială sau chiar pe sine însuși, în multe cazuri ducând la îmbunătățiri notabile. Numeroși directori din domeniul tehnologiei au anunțat această abordare ca fiind viitorul tehnologiei.

Acesta este un scenariu pentru care ne-au pregătit nenumărate lucrări de science-fiction. Și, dus la extrem, rezultatul unei astfel de „autoînvățări” ar putea fi nimic mai puțin decât escatologic. GPT-5 ar putea să pregătească terenul pentru GPT-6, GPT-6 la rândul lui l-ar învăța pe GPT-7 și așa mai departe până când modelul va depăși inteligența umană. Unii cred că această evoluție ar avea rezultate catastrofale. În urmă cu nouă ani, directorul general al OpenAI, Sam Altman, a scris pe blog-ul său despre o inteligență artificială teoretică capabilă de „autoperfecționare recursivă” – și despre perspectiva ca aceasta să perceapă oamenii în același mod în care noi percepem bacteriile și virușii pe care îi spălăm de pe mâini.

Nu suntem nici pe departe aproape de apariția unei „superinteligențe”, așa cum o numesc experții. (Altman vorbește adesea despre presupusul risc existențial al IA; o manevră eficientă de PR.) Chiar și așa, programe mai modeste care învață și învață unele de la altele ar putea să schimbe modul în care vedem lumea și concepțiile noastre de bază despre inteligența artificială.

Inteligența artificială generativă detectează deja tipare și propune teorii pe care oamenii nu le-ar putea descoperi singuri, din cantități de date mult prea mari pentru ca o persoană să le poată analiza, prin intermediul unor algoritmi interni care sunt în mare parte opaci chiar și pentru creatorii lor. Învățarea automată, dacă va avea succes, ar putea doar amplifica această problemă. Rezultatul ar putea fi un fel de inteligență neinteligibilă: modele cu un tip de inteligență, sau cel puțin capacități, pe care oamenii nu le pot înțelege cu ușurință.

Pentru a înțelege această schimbare, trebuie să înțelegem economia de bază din spatele inteligenței artificiale. Construirea tehnologiei necesită sume enorme de bani, timp și informații. Procesul începe prin alimentarea unui algoritm cu cantități enorme de date – cărți, probleme de matematică, fotografii cu subtitrări, înregistrări vocale și așa mai departe – pentru a stabili capacitățile de bază ale modelului. Cercetătorii pot apoi să îmbunătățească și să rafineze aceste abilități pre-antrenate în câteva moduri diferite. Unul dintre acestea este furnizarea de exemple specifice de sarcini bine realizate: Unui program i s-ar putea arăta 100 de întrebări de matematică cu soluții corecte. O altă metodă este un proces de încercare și eroare cunoscut sub numele de învățare prin consolidare, care implică, de obicei, operatori umani: Un om ar putea evalua răspunsurile unui chatbot din punct de vedere al sexismului, astfel încât programul să învețe să le evite pe cele considerate ofensatoare. „Învățarea prin întărire este componenta cheie a acestei noi generații de sisteme de inteligență artificială”, explică Rafael Rafailov, informatician la Stanford.

Acesta nu este un sistem perfect. Două persoane diferite, sau aceeași persoană în zile diferite, pot avea judecăți incoerente. Toți acești evaluatori lucrează într-un ritm lent, în ritm uman, și necesită plată. Pe măsură ce modelele devin mai puternice, vor necesita un feedback mai sofisticat din partea unor profesioniști calificați și, prin urmare, mai bine plătiți. De exemplu, medicii ar putea fi solicitați să evalueze o inteligență artificială medicală care diagnostichează pacienții.

Este ușor de înțeles de ce autoînvățarea are un farmec deosebit. Este mai ieftin, necesită mai puțină muncă și poate da rezultate mai consistente decât feedback-ul uman. Dar automatizarea procesului de întărire vine cu riscuri. Modelele de inteligență artificială sunt deja pline de imperfecțiuni – halucinații, prejudecăți, neînțelegeri de bază ale lumii – pe care le transmit utilizatorilor prin rezultatele lor. (Într-un exemplu celebru de anul trecut, un avocat a folosit ChatGPT pentru a scrie un memoriu juridic și a ajuns să citeze cazuri care nu existau). Antrenarea sau reglarea fină a unui model cu ajutorul datelor generate de AI poate amplifica aceste defecte și poate înrăutăți programul. Anul trecut, Ilia Shumailov, pe atunci cercetător debutant la Universitatea Oxford, a cuantificat o versiune a acestui ciclu autodistructiv și l-a numit „colapsul modelului”: degenerarea completă a unei inteligențe artificale.

Pentru a evita această problemă, cel mai recent val de cercetări privind IA care se autoperfecționează utilizează doar cantități mici de date sintetice, ghidate de un dezvoltator de software uman. Această abordare se bazează pe un fel de control extern, separat de IA însăși, pentru a asigura calitatea feedback-ului – poate legile fizicii, o listă de principii morale sau alte criterii independente, considerate deja adevărate. Cercetătorii au înregistrat un succes deosebit în ceea ce privește automatizarea controlului calității pentru sarcini înguste și bine definite, cum ar fi raționamentul matematic și jocurile, în care corectitudinea sau victoria oferă o modalitate simplă de evaluare a datelor sintetice.

Deepmind a folosit recent exemple generate de inteligența artificială pentru a spori capacitatea unui model de limbaj de a rezolva probleme de matematică și de codare. Dar, în aceste cazuri, IA nu învață de la o altă IA, ci mai degrabă din rezultate științifice sau alte criterii stabilite, explică Rohan Taori, un informatician de la Universitatea Stanford. În prezent, autoînvățarea se referă mai mult la „stabilirea regulilor jocului”, a spus el.

Între timp, în cazurile de formare a modelelor de inteligență artificială cu abilități mai abstracte, cum ar fi scrierea pe un ton plăcut sau elaborarea de răspunsuri pe care o persoană le-ar considera utile, feedback-ul uman a rămas crucial. Cea mai îndepărtată viziune a modelelor de inteligență artificială care se antrenează singure ar fi, așadar, ca acestea să învețe să își ofere singure un feedback mai subiectiv – de exemplu, să evalueze cât de util, politicos, prozodic sau plin de prejudecăți este dialogul unui chatbot. Dar, până în prezent, în majoritatea cercetărilor, antrenarea de către modelele lingvistice de feedback a altor modele lingvistice încetează să mai funcționeze după câteva cicluri: Poate că a doua iterație a modelului se îmbunătățește, dar a treia sau a patra se plafonează sau se agravează.

La un moment dat, modelul de inteligență artificială nu face decât să consolideze abilitățile existente – devenind prea încrezător în ceea ce știe și mai puțin capabil în orice altceva. Învățarea, la urma urmei, necesită să fii expus la ceva nou. „Modelele generative de IA utilizate în prezent sunt mașini care torturează datele”, conform lui Stefano Soatto, vicepreședintele departamentului de știință aplicată al diviziei de IA a Amazon Web Services. „Ele nu pot crea niciun pic de informație în plus față de datele pe care sunt antrenate”.

Este posibil ca inteligența artificială să nu aibă nevoie să-și sporească capacitățile pentru a deveni neinteligibilă pentru oameni.Aceste programe sunt deja labirintice – este adesea imposibil de explicat de ce sau cum a generat un progam AI un anumit răspuns – iar dezvoltarea unui proces care să permită unei inteligențe artificale să preia inițiative a nu ar face decât să agraveze și mai mult această situație.