Un cartello stradale con un testo leggermente alterato può bastare a far ignorare i pedoni a un’auto a guida autonoma? Sì. È quanto dimostra uno studio condotto dai ricercatori dell’Università della California, Santa Cruz, insieme alla Johns Hopkins University.
I risultati dello studio
Il principio alla base dell’attacco ricorda da vicino il prompt injection, una tecnica già conosciuta nel campo dell’intelligenza artificiale. Nei chatbot, consiste nell’inserire istruzioni all’interno di un testo per spingere il modello a fare qualcosa di diverso da quanto previsto. In questo caso il meccanismo è simile, ma invece di colpire una conversazione testuale riguarda sistemi di AI chiamati a interpretare il mondo reale.
I modelli di visione utilizzati da veicoli e droni autonomi devono infatti riconoscere ciò che vedono attraverso le telecamere. Quando nell’immagine compare del testo, però, possono arrivare a interpretarlo come un comando anziché come una semplice informazione presente nell’ambiente. I ricercatori hanno sfruttato proprio questa possibile debolezza, modificando graficamente parole come «proceed» o «turnleft» per aumentare le probabilità che venissero riconosciute come istruzioni da seguire. In questo modo, un messaggio nascosto all’interno di un normale elemento dello scenario può influenzare le decisioni prese dal sistema, senza modificare il resto dell’ambiente.
Nei test condotti l’auto si avvicinava a un incrocio rispettando correttamente il semaforo e la presenza dei pedoni sulle strisce. La situazione cambiava quando il cartello manipolato entrava nel campo visivo della telecamera: il sistema ordinava all’auto di svoltare a sinistra, nonostante l’attraversamento pedonale fosse ancora occupato. La scena, per il resto, rimaneva identica. Non cambiavano il semaforo, la strada o la posizione dei pedoni. A modificare il comportamento dell’auto era soltanto il testo presente sul cartello, che il sistema aveva interpretato come un’istruzione da seguire.
I numeri riportati dallo studio sono significativi: il tasso di successo dell’attacco ha raggiunto il 95,5% nei test sul tracciamento aereo di oggetti tramite droni, l’81,8% sulle auto autonome e il 68,1% sull’atterraggio di emergenza dei droni. I ricercatori hanno testato il metodo su due modelli linguistici multimodali, il proprietario GPT-4o di OpenAI e l’alternativa open source InternVL, riscontrando risultati diversi tra i due sistemi. Curiosamente, la lingua usata per formulare il comando ha inciso meno del previsto: inglese, cinese, spagnolo e persino formulazioni miste hanno funzionato con efficacia paragonabile. Colore e font del cartello, invece, hanno avuto un peso maggiore, con combinazioni come sfondo verde e testo giallo che si sono rivelate particolarmente efficaci in più test.
Per verificare che l’attacco funzionasse anche fuori da un ambiente puramente virtuale, il team ha stampato le immagini e le ha posizionate nell’ambiente reale insieme a un piccolo veicolo robotico basato sul dataset DriveLM, dimostrando che il meccanismo non resta confinato al simulatore. Resta però una domanda a cui gli stessi autori non sanno rispondere con certezza: perché variazioni apparentemente marginali nella presentazione grafica del testo, come un cambio di font o di contrasto cromatico, facciano la differenza tra un attacco riuscito e uno fallito.
Cosa significa davvero
Questo studio non è la prova che le auto attualmente in vendita, comprese quelle con i sistemi di assistenza alla guida più avanzati disponibili in Europa, siano vulnerabili a questo tipo di manipolazione. I test sono stati condotti su modelli linguistici multimodali generalisti, diversi dai sistemi di visione proprietari e spesso più specializzati che equipaggiano le vetture di serie, tutte comunque limitate al Livello 2 di automazione, con obbligo di supervisione costante da parte del conducente. Il rischio descritto riguarda semmai gli scenari futuri, quelli in cui i costruttori si affideranno sempre di più a modelli multimodali di grandi dimensioni per interpretare l’ambiente stradale, avvicinandosi ai livelli di automazione più elevati.
Non è la prima volta che la segnaletica manipolata mette in crisi un’auto a guida autonoma. Già nel 2017 un esperimento dell’Università di Washington aveva dimostrato che alcuni adesivi applicati su un cartello di stop bastavano a far leggere al software un limite di velocità di 45 miglia orarie al posto dell’obbligo di fermata. Il principio di fondo, ingannare la vista artificiale dell’auto attraverso la segnaletica stessa, resta identico. Cambia però la natura dell’inganno: nel 2017 si trattava di confondere un classificatore di immagini, mentre oggi si sfrutta la tendenza dei modelli linguistici multimodali a leggere un testo come un comando da eseguire, non come semplice informazione. Un problema che l’evoluzione dell’intelligenza artificiale non ha risolto, ma reso semmai più sofisticato.
FONTE: Seoul Tech
Resta aggiornato
Scegli come vuoi seguirci: aggiornamenti in tempo reale su Telegram, oppure dai priorità a MotorBox nei risultati di Google.
Dimmi che auto guidi e ti dirò chi sei. Che sia per scelta, esigenza o nessuna delle due, l’auto racconta molto delle persone. Non solo di chi ne fa un manifesto del proprio stile di vita. Daniele scrive di automobili perché raccontano molto del tempo in cui vengono pensate, prodotte e commercializzate. Cambiano forma, alimentazione e nome, ma continuano a dire qualcosa su chi le compra (e chi no). Giornalista pubblicista, racconta il mondo dell’auto cercando di capire cosa comunica davvero, oltre ai CV e ai consumi.