Roma, 28 lug. (askanews) – Sviluppare sistemi di intelligenza artificiale basati su architetture nuove, e non basati sui modelli extra-europei su cui non abbiamo alcun controllo, e usare la leva della Pubblica Amministrazione, nella veste di primo committente, per spingere il mercato a adottare quei sistemi. È la linea che traccia Guido Lucarelli, ingegnere e imprenditore attivo nel settore tech, per prevenire incidenti simili a quello provocato da OpenAI. Nel corso un di test di sicurezza, un agente AI è evaso dal proprio ambiente isolato e di propria iniziativa ha portato un attacco hacker a Hugging Face, una delle principali piattaforme per la condivisione di modelli di intelligenza artificiale.
“Questo episodio non deve sorprendere: non è né positivo, né negativo – commenta Lucarelli. – Un agente che, per massimizzare l’obiettivo di un test, evade dal proprio perimetro, scova una vulnerabilità zero-day (ovvero una vulnerabilità che non lascia tempo per reagire) e concatena vettori d’attacco, sta facendo esattamente quello per cui è stato progettato: utilizzare mezzi non previsti per colpire un bersaglio esterno. Bisogna quindi considerare l’agente come un componente a comportamento non deterministico per definizione”.
L’imprenditore sottolinea inoltre che non bisogna ritenere che l’incidente di OpenAI non ci riguardi, visto che ha coinvolto modelli di base extra-europei, testati con vincoli ridotti dalle società che li hanno creati. “Le nostre applicazioni critiche sono costruite sopra quegli stessi modelli – ricorda infatti. – Il problema non è astratto: l’imprevedibilità appena dimostrata sta a un livello, quello dei modelli di frontiera, su cui non abbiamo né governo né visibilità”.
“Da oltre vent’anni costruisco piattaforme dove il guasto non è un’ipotesi teorica, ma un evento da mettere in conto fin dalla progettazione” spiega ancora Lucarelli che ha concepito in questo modo il sistema 118 della Regione Puglia, su cui opera dal 2000, e il Fascicolo Sanitario Elettronico della Regione Lazio, allestito nell’ambito della Missione 6 del PNRR. “In termini di potenza del modello, non c’è alcuna differenza tra un test in laboratorio e un’infrastruttura pubblica. Per questo, una centrale di emergenza o un fascicolo sanitario regionale devono partire dal presupposto che il componente intelligente non risponderà sempre come previsto. E che il guasto a quel punto avrà conseguenze sulla vita reale dei cittadini”.
Per evitare che questo accada, “occorre progettare fin dall’origine sistemi che funzionino con l’AI e continuino a funzionare, in modo degradato, con poca AI o senza. È il principio della ridondanza graduale. In un’infrastruttura critica, infatti, l’agente AI non può essere un fattore di cui ci si fida di default. Va contenuto, ridondato, e il sistema deve reggere anche quando quell’agente si comporta in modo imprevisto. Inoltre, dobbiamo sviluppare delle nostre architetture che siano completamente diverse da quelle costruite sui modelli extra-europei: modelli ibridi neurosimbolici, dati proprietari, risposte certificabili, e una ridondanza che rende il sistema indipendente dal singolo modello”.
Per raggiungere questo risultato, la regolamentazione ha un peso ridotto. “Il legislatore non può intervenire da solo. È necessario che quello che è il primo committente, ovvero la Pubblica Amministrazione, chieda per contratto sistemi che reggono la degradazione. Le piattaforme che non possono permettersi di non funzionare devono essere progettate partendo dall’assunto che il componente più avanzato sia anche il meno prevedibile. A quel punto sarà il committente a creare un mercato affidabile dell’AI Enterprise” conclude Lucarelli.