Gli agenti IA stanno decisamente attraversando un momento difficile. Tra le recenti viralità Artiglio aperto, libro della muta e OpenAI prevede di acquisire proprietà dell’agenzia Questo potrebbe essere proprio l’anno in cui l’agente passa al livello successivo.
Da dove? Possono fare progetti, scrivere il codicenavigare sul web e eseguire compiti in più fasi con poca o nessuna supervisione. Alcuni addirittura promettono di gestire il tuo flusso di lavoro. Altri si coordinano con strumenti e sistemi sul desktop.
L’obiezione è ovvia. Questi sistemi semplicemente non rispondono. Loro comportarsi – per te e per tuo conto. Ma i ricercatori dietro Directory degli agenti AI del MIT Hanno catalogato 67 sistemi di agenti distribuiti e hanno trovato qualcosa di inquietante.
Gli sviluppatori sono ansiosi di spiegare cosa possono fare i loro agenti Fare. Sono molto meno disposti a rivelare se questi agenti esistono. affidabile.
“I principali sviluppatori e startup di intelligenza artificiale utilizzano sempre più sistemi di intelligenza artificiale con agenti in grado di pianificare ed eseguire attività complesse con un coinvolgimento umano limitato”. hanno scritto i ricercatori nell’articolo. “Tuttavia, attualmente non esiste un quadro strutturato per documentare le caratteristiche di sicurezza dei sistemi ad agenti”.
Questo divario è chiaramente visibile nei numeri: circa il 70% dei broker indicizzati fornisce documentazione e quasi la metà pubblica codice. Tuttavia, solo il 19% rende nota una policy di sicurezza formale e meno del 10% riporta valutazioni di sicurezza esterne.
La ricerca sottolinea che, sebbene gli sviluppatori siano rapidi nel mettere in evidenza le capacità e le applicazioni pratiche dei sistemi ad agenti, sono anche rapidi nel fornire informazioni limitate sulla sicurezza e sui rischi. Il risultato è una trasparenza sproporzionata.
Cosa conta come agente AI?
I ricercatori erano consapevoli di ciò che ha causato questa interruzione e non tutti i chatbot hanno queste qualità. Per essere incluso, un sistema doveva funzionare con obiettivi scarsamente specificati e tenere traccia degli obiettivi nel tempo. Ha inoltre dovuto intraprendere azioni che influissero su un ambiente con un intervento umano limitato. Si tratta di sistemi che determinano essi stessi i passaggi intermedi. Possono suddividere un’istruzione di grandi dimensioni in sottoattività, utilizzare strumenti, pianificare, completare e ripetere.
Questa autonomia è ciò che li rende forti. Questo è ciò che aumenta il rischio.
Quando un modello produce solo testo, i suoi errori sono generalmente limitati a quel singolo output. Quando un agente AI può accedere a file, inviare e-mail, effettuare acquisti o modificare documenti, bug ed exploit possono causare danni e propagarsi tra i passaggi. Ma i ricercatori hanno scoperto che la maggior parte degli sviluppatori non descrive pubblicamente in dettaglio come testa questi scenari.
Il talento è pubblico, i guardrail no
Il modello più sorprendente studio non è nascosto nel profondo di un dipinto; si ripete in tutto l’articolo.
Gli sviluppatori sono a proprio agio nel condividere demo, benchmark e usabilità di questi agenti di intelligenza artificiale, ma sono molto meno coerenti nel condividere valutazioni di sicurezza, procedure di test interni o controlli dei rischi di terze parti.
Questo squilibrio diventa ancora più importante man mano che gli agenti passano da prototipi ad attori digitali integrati in flussi di lavoro reali. La maggior parte dei sistemi indicizzati opera in campi quali l’ingegneria del software e l’informatica (spesso ambienti che coinvolgono dati sensibili e controlli significativi).
L’indice degli agenti AI del MIT non afferma che l’intelligenza artificiale degli agenti sia completamente insicura, ma mostra che con l’aumento dell’autonomia, la trasparenza strutturata sulla sicurezza non ha tenuto il passo.
La tecnologia sta accelerando. Le ringhiere sono ancora più difficili da vedere, almeno in pubblico.
Link alla fonte: www.cnet.com
