Directorii executivi de la Meta erau obsedați să depășească GPT-4 al OpenAI, în timp ce dezvoltau Llama 3, arată documente depuse în instanță

Executivii și cercetătorii care conduc eforturile Meta în domeniul inteligenței artificiale erau obsedați de depășirea modelului GPT-4 al OpenAI în timp ce dezvoltau Llama 3, conform unor mesaje interne desecretizate de o instanță într-unul dintre cazurile în curs de desfășurare privind drepturile de autor în domeniul inteligenței artificiale ale companiei, Kadrey v. Meta, relatează TechCrunch.

„Sincer… Obiectivul nostru trebuie să fie GPT-4”, a declarat Ahmad Al-Dahle, vicepreședintele Meta pentru inteligență artificială generativă, într-un mesaj din octombrie 2023 către cercetătorul Meta Hugo Touvron. „Ne așteaptă 64k de GPU-uri! Trebuie să învățăm cum să construim frontiera și să câștigăm această cursă”.

Deși Meta publică modele AI deschise, liderii AI ai companiei s-au concentrat mult mai mult pe înfrângerea concurenților care nu publică în mod obișnuit ponderile modelelor lor, cum ar fi Anthropic și OpenAI, și care, în schimb, le protejează în spatele unui API. Directorii executivi și cercetătorii Meta au prezentat modelul Claude de la Anthropic și GPT-4 de la OpenAI ca un standard de aur la care să se lucreze.

Start-up-ul francez Mistral, unul dintre cei mai mari concurenți deschiși ai Meta, a fost menționat de mai multe ori în mesajele interne, dar tonul a fost disprețuitor.

„Mistral este o alună pentru noi”, a spus Al-Dahle într-un mesaj. „Ar trebui să fim capabili să facem mai mult”, a spus el mai târziu.

În zilele noastre, companiile de tehnologie se întrec în a se depăși reciproc cu modele AI de ultimă generație, însă aceste documente depuse în instanță dezvăluie cât de competitivi au fost cu adevărat liderii AI din Meta – și se pare că încă mai sunt. În mai multe momente din schimburile de mesaje, liderii AI ai Meta au vorbit despre modul în care au fost „foarte agresivi” în obținerea datelor potrivite pentru a antrena Llama; la un moment dat, un executiv a spus chiar că „Llama 3 este literalmente tot ce mă interesează”, într-un mesaj către colegii de muncă.

Procurorii din acest caz susțin că, în cursa lor nebună de a livra modele de inteligență artificială, directorii Meta au luat uneori măsuri de precauție, antrenând AI-ul pe cărți protejate prin drepturi de autor.

Touvron a menționat într-un mesaj că amestecul de seturi de date utilizate pentru Llama 2 „a fost prost” și a vorbit despre modul în care Meta ar putea utiliza un amestec mai bun de surse de date pentru a îmbunătăți Llama 3. Touvron și Al-Dahle au vorbit apoi despre eliberarea drumului pentru utilizarea setului de date LibGen, care conține lucrări protejate de drepturi de autor de la Cengage Learning, Macmillan Learning, McGraw Hill și Pearson Education.

„Avem seturile de date potrivite acolo[?]”, a spus Al-Dahle. „Există ceva ce ați vrut să folosiți, dar nu ați putut dintr-un motiv stupid?”

Mark Zuckerberg, CEO-ul Meta, a declarat anterior că încearcă să reducă decalajul de performanță dintre modelele AI ale Llama și modelele închise de la OpenAI, Google și alții. Mesajele interne dezvăluie presiunea intensă din cadrul companiei pentru a face acest lucru.

„În acest an, Llama 3 este competitivă cu cele mai avansate modele și conduce în unele domenii”, a declarat Zuckerberg într-o scrisoare din iulie 2024. „Începând de anul viitor, ne așteptăm ca viitoarele modele Llama să devină cele mai avansate din industrie”.

Când Meta a lansat Llama 3 în aprilie 2024, modelul deschis de inteligență artificială era competitiv cu modelele închise de top de la Google, OpenAI și Anthropic și depășea opțiunile deschise de la Mistral. Cu toate acestea, datele pe care Meta le-a folosit pentru a-și antrena modelele – date pe care Zuckerberg ar fi dat undă verde să le utilizeze, în ciuda statutului lor de drepturi de autor – fac obiectul mai multor procese în curs.