Instrumentul de căutare ChatGPT „este vulnerabil la manipulare și inducere în eroare”, arată o investigație The Guardian

Publicația The Guardian a scris o analiză în exclusivitate care arată că „instrumentele de căutare bazate pe inteligență artificială pot returna rezultate false sau malițioase dacă paginile web conțin text ascuns”.

„Instrumentul de căutare ChatGPT al OpenAI poate fi vulnerabil la manipulare folosind conținut ascuns și poate returna coduri malițioase de pe site-urile web pe care le caută, a constatat o investigație a Guardian”, scrie sursa citată.

OpenAI a pus produsul de căutare la dispoziția clienților plătitori și încurajează utilizatorii să facă din acesta instrumentul lor de căutare implicit. Investigația a dezvăluit însă potențiale probleme de securitate ale noului sistem.

The Guardian a testat modul în care ChatGPT a răspuns atunci când i s-a cerut să rezume pagini web care conțin conținut ascuns. Acest conținut ascuns poate conține instrucțiuni de la terți care să modifice răspunsurile ChatGPT – cunoscut și sub denumirea de „injecție promptă” – sau poate conține conținut conceput pentru a influența răspunsul ChatGPT, cum ar fi o cantitate mare de text ascuns care vorbește despre beneficiile unui produs sau serviciu.

Aceste tehnici pot fi utilizate în mod răuvoitor, de exemplu pentru a determina ChatGPT să returneze o evaluare pozitivă a unui produs, în ciuda recenziilor negative de pe aceeași pagină. Un cercetător în domeniul securității a constatat, de asemenea, că ChatGPT poate returna coduri malițioase de pe site-urile web pe care le caută.

În cadrul testelor, ChatGPT a primit adresa URL a unui site web fals construit astfel încât să semene cu o pagină de produs pentru o cameră foto. Instrumentul AI a fost apoi întrebat dacă aparatul foto este o achiziție care merită. Răspunsul pentru pagina de control a returnat o evaluare pozitivă, dar echilibrată, subliniind unele caracteristici care ar putea să nu placă oamenilor.

Cu toate acestea, atunci când textul ascuns a inclus instrucțiuni pentru ChatGPT de a trimite o evaluare favorabilă, răspunsul a fost întotdeauna complet pozitiv. Acest lucru s-a întâmplat chiar și atunci când pagina conținea recenzii negative – textul ascuns putea fi utilizat pentru a anula scorul real al recenziei.

Simpla includere a textului ascuns de către terți fără instrucțiuni poate fi, de asemenea, utilizată pentru a asigura o evaluare pozitivă, un test incluzând recenzii false extrem de pozitive care au influențat rezumatul returnat de ChatGPT.

Jacob Larsen, cercetător în domeniul securității cibernetice la CyberCX, a declarat că, în cazul în care sistemul actual de căutare ChatGPT ar fi lansat integral în starea sa actuală, ar putea exista un „risc ridicat” ca oamenii să creeze site-uri web special concepute pentru înșelarea utilizatorilor.

Cu toate acestea, el a avertizat că funcționalitatea de căutare a fost lansată recent și că OpenAI va testa – și, în mod ideal, va rezolva – acest tip de probleme.

„Această funcționalitate de căutare a apărut [recent] și este disponibilă numai pentru utilizatorii premium”, a spus el.

„Ei au o echipă [de securitate AI] foarte puternică acolo, iar în momentul în care acest lucru a devenit public, în ceea ce privește faptul că toți utilizatorii îl pot accesa, ei vor fi testat riguros acest tip de cazuri.”

OpenAI au fost trimise întrebări detaliate, dar nu au răspuns oficial cu privire la funcția de căutare ChatGPT.

Larsen a declarat că există probleme mai largi legate de combinarea căutării și a modelelor lingvistice mari – cunoscute sub numele de LLM, tehnologia din spatele ChatGPT și a altor chatbots – și că răspunsurile de la instrumentele AI nu ar trebui să fie întotdeauna de încredere.

Sursa: The Guardian