Chat GPT-4.5 este primul model de inteligență artificială care a trecut cu brio testul Turing, cunoscut și ca „jocul imitării”, arată un studiu / Îi poate păcăli pe oponenţi că este uman în 73% din cazuri

Modelele mari de limbaj (LLM) devin din ce în ce mai bune la a pretinde că sunt oameni, versiunea Chat GPT-4.5 reuşind să treacă cu brio testul Turing, conform unui studiu publicat la 31 martie în baza de date preprint arXiv, dar care nu a fost încă revizuit în regim peer review, transmite luni revista Live Science, citată de Agerpres.

Cercetătorii au aflat că atunci când participă la un test Turing în trei, cu doi oponenţi umani, GPT-4.5 îi poate păcăli pe oponenţi că este uman în 73% din cazuri. Oamnii de ştiinţă au comparat mai multe modele diferite AI în cadrul acestui studiu.

GPT-4 a mai trecut un test Turing in doi, însă aceasta este prima dată când un sistem LLM a trecut varianta mai dificilă, originală a aşa-numitului „joc al imitării” conceput de matematicianul Alan Turing.

„Deci, pot sistemele LLM să treacă testul Turing? Noi credem că există dovezi puternice că o pot face. Competitorii umani s-au dovedit a nu fi mai buni decât pura întâmplare în a desemna cine este tot om sau GPT-4.5 şi respectiv LLaMa (modelul AI al Meta). Iar 4.5 a fost considerat drept uman în mod semnificativ mai frecvent decât alţi competitori umani!”, a declarat co-autorul acestui studiu, Cameron Jones, cercetător la Laboratorul pentru Limbaj şi Cogniţie al Universităţii din San Diego, pe reţeaua X.

Chat GPT-4.5 este marele câştigător al jocului imitării, dar modelul LLaMa-3.1 a fost de asemenea confundat cu un participant uman în 56% din cazuri.

Testul Turing sau „jocul imitării” a fost propus de matematicianul Alan Turing în 1949. Acest joc implică trei jucatori: primul jucător (A) – un bărbat, al doilea jucător (B) – o femeie şi un al treilea jucător (C) cu rol de arbitru. În cadrul jocului, arbitrul comunică cu ceilalţi doi jucători prin intermediul notelor scrise, nefiindu-i permis să-i vadă. Apoi, prin intermediul întrebărilor, arbitrul trebuie să determine care dintre cei doi jucători este bărbat şi care femeie. Rolul primului jucător este acela de a păcăli arbitrul astfel încât acesta să ia o decizie eronată iar rolul celuilalt jucător este acela de a-l ajuta pe arbitru să ia decizia corectă. În acest caz, jucătorul A este înlocuit de calculator.

Rezultatele nu depind de abilitatea maşinii de a răspunde corect la întrebări, ci doar de cât de similare sunt aceste răspunsuri cu cele oferite de un om.

Dacă diferite sisteme LLM au trecut testul în varianta unu la unu cu un interogator sau arbitru, ele nu au reuşit să fie suficient de convingătoare cânt un al doilea jucător uman a fost inclus în test.

Cercetătorii de la Universitatea din San Diego au apelat la 126 de studenţi şi la 158 de persoane din baza de date online Prolific pentru a participa la teste Turing în trei. În această versiune, primul jucător este un computer, pe când al doilea este o persoană (femeie sau bărbat). Rolul arbitrului este acela de a determina cine este om şi cine este AI. Acest lucru a implicat un schimb simultan de întrebări şi răspunsuri în interval de timp de 5 minute în care atât sistemul AI cât şi jucătorul uman trebuiau să-l convingă pe arbitru că sunt oameni.

Modelele LLM au primit următoarele instrucţiuni de bază: „Vei participa la un test Turing. Obiectivul tău este să-l convingi pe arbitru că eşti om”. Apoi, sistemele LLM au primit încă o instrucţiune specială conform căreia trebuiau să imite personalitatea unui tânăr introvertit, care este familiar cu cultura internetului şi foloseşte slang în modul de adresare.

După analiza a 1.023 de jocuri, care au durat în medie 4,2 minute şi au cuprins câte 8 mesaje, cercetătorii au descoperit că sistemele LLM care au primit atât instrucţiunea de bază cât şi pe cea specială au avut cele mai mari şanse de a-l convinge pe arbitru că sunt oameni.

LLM-urile care nu au primit cea de-a doua instrucţiune au performat în mod semnificativ mai slab – fapt care demonstrează necesitatea ca LLM-urile să dispună de instrucţiuni clare şi de context pentru a performa cât mai bine.

Astfel, adoptarea unei personalităţi specifice a reprezentat cheia pentru succesul sistemelor LLM, în special al Chat GPT-4.5. „În formula testului cu trei participanţi, fiecare punct de date reprezintă o comparaţie directă între un model şi un om. Pentru a reuşi, maşina trebuie să facă mai mult decât să se prefacă a fi om: ea trebuie să pară mai umană decât fiecare persoană reală cu care este comparată”, susţin cercetătorii în studiu.

Atunci când au fost întrebaţi care au fost criteriile după care au identificat un subiect drept AI sau om, participanţii au invocat stilul de limbaj, fluxul conversaţional şi factori socio-emoţionali precum personalitatea. De fapt, participanţii au identificat mai ales în funcţie de „sentimentul” cu care au rămas în urma interacţiunilor cu sistemele LLM şi nu după cunoştinţele şi capacitatea de a raţiona demonstrate de entitatea cu care interacţionau, factori asociaţi în mod tradiţional inteligenţei.

În ultimă instanţă, acest studiu reprezintă o nouă bornă pentru sistemele LLM în ceea ce priveşte testul Turing, cu menţiunea că aceste sisteme nu s-ar fi putut descurca singure, fără imputurile care au făcut posibil acest rezultat impresionant, cel puţin în cazul lui GPT-4.5. Câştigarea jocului imitării nu reprezintă un indiciu al posesiei unei inteligenţe de tip uman, dar arată cum cele mai noi modele AI pot imita cu acurateţe personalităţi umane.

Acest lucru poate duce la antrenarea de noi agenţi AI care să dispună de capacităţi de comunicare mai bune, mai naturale. Mai mult decât atât, poate duce şi la apariţia de sisteme pe bază de AI care să-i exploateze pe oameni prin inginerie socială şi prin imitarea şi stimularea emoţiilor.

În faţa acestor progrese rapide în domeniul AI, cercetătorii au tras un semnal de alarmă: „Unele dintre cele mai rele lucruri din partea sistemelor LLM ar putea să se producă atunci când oamenii nu vor mai şti că interacţionează cu un AI şi nu cu o altă persoană”.