Cercetătorii OpenAI îndeamnă la monitorizarea gândirii AI

Pe scurt

• Trei cercetători OpenAI au fost concediați din cauza politicilor interne ale companiei.
• Aceștia subliniază importanța monitorizării gândirii AI pentru securitate.
• Conceptul de "Chain of Thought" (CoT) este esențial în analiza proceselor de gândire ale AI.
• Modelele GPT-6 Astra sunt mai greu de monitorizat comparativ cu versiunile anterioare.

Cercetătorii Tomek Korbak, Mikita Balesni și Jasmine Wang, concediați recent de OpenAI, au lansat un apel critic privind nevoia de a proteja sistemele care permit monitorizarea gândirii inteligenței artificiale (AI). Aceștia discută despre dificultățile întâmpinate în urmărirea modului în care modelele de AI își construiesc raționamentele, pe măsură ce tehnologia devine din ce în ce mai complexă.

Conceptul de "Chain of Thought" (CoT) se referă la pașii logici pe care AI îi urmează pentru a ajunge la o concluzie. Această metodă oferă cercetătorilor posibilitatea de a analiza nu doar răspunsurile date de AI, ci și procesul prin care acestea sunt formulate. Cu toate acestea, pe măsură ce modelele devin mai sofisticate, urmele gândirii devin mai greu de urmărit, ceea ce poate crea probleme în identificarea comportamentului potențial periculos al AI-ului.

De ce este greu să urmărim gândirea AI-ului?

OpenAI a recunoscut că modelele sale de ultimă generație, cum ar fi GPT-6 Astra, sunt mai greu de monitorizat decât predecesorul lor, GPT-5.6 Sol. Aceasta nu înseamnă că Astra poate fi ușor păcălit, ci mai degrabă că produce mai puține indicii scrise în timpul procesării anumitor sarcini.

Cercetătorii subliniază că, pe măsură ce urmele gândirii devin mai rare, devine tot mai dificil să înțelegem ce face modelul din exterior. De asemenea, deducerea gândurilor reale ale modelului doar din textul generat nu este o metodă perfectă.

Ce propun cercetătorii pentru viitor?

Cercetătorii Korbak, Balesni și Wang solicită continuarea dezvoltării metodelor de monitorizare a gândirii AI, având în vedere complexitatea tot mai mare a modelelor. Aceștia au fost concediați pentru că au încălcat politicile interne ale OpenAI, fiind acuzați că au împărtășit informații sensibile cu o organizație externă de securitate AI. Totuși, OpenAI afirmă că aceste concedieri nu au fost legate de exprimarea preocupărilor legate de securitate.

Compania nu este complet împotriva propunerilor cercetătorilor, recunoscând importanța continuării studiilor asupra monitorizării gândirii AI. Aceasta sugerează că, în ciuda provocărilor, OpenAI consideră că este esențial să se îmbunătățească metodele de urmărire a proceselor de gândire ale AI pentru a asigura securitatea.

Întrebări frecvente

Ce este Chain of Thought (CoT)?

Chain of Thought (CoT) se referă la pașii logici pe care inteligența artificială îi urmează pentru a ajunge la o concluzie.

De ce sunt mai greu de monitorizat modelele GPT-6 Astra?

Modelele GPT-6 Astra generează mai puține indicii scrise în timpul procesării sarcinilor, ceea ce îngreunează urmărirea gândirii lor.

Ce au propus cercetătorii după concediere?

Cercetătorii au propus continuarea dezvoltării metodelor de monitorizare a gândirii AI pentru a înțelege mai bine comportamentele acestora.

Care a fost motivul concedierii cercetătorilor?

Cercetătorii au fost concediați pentru încălcarea politicilor interne ale OpenAI și pentru împărtășirea informațiilor sensibile cu o organizație externă.

Despre acest articol

Sursă originală: webtekno.com

Acest articol a fost redactat de redacția TechnoLife pe baza informațiilor din sursa citată, cu asistența unor instrumente AI pentru traducere și structurare. Pentru orice corecție factuală, ne poți contacta prin pagina de Contact.