• Avere performance più che umane in un task non significa capire cosa si stia facendo.
  • L’elefante nella stanza: inserendo l’immagine di un elefante in una immagine di una stanza, l’oggetto non viene riconosciuto e causa l’errato o mancato riconoscimento di altri oggetti.
  • Audio adversarial examples: 100% di successi nell’attaccare un sistema di riconoscimento del parlato che parte da un brano audiom ne deriva uno simile al 99,9% ma genera un testo diverso che il ricercatore decide.
  • Vulnerabilità alle contaminazioni delle facce nel riconoscimento di volti.
  • Physical-World Attacks: 100% di errato riconoscimento di cartelli stradali in laboratorio e 85% da video di un veicolo in movimento, attaccando sui cartelli di adesivi bianchi e neri 
  • Adversarial Examples for Evaluating Reading Comprehension Systems: Esempi avversi inseriti nei testi che fanno crollare l’accuratezza del riconoscimento dei contenuti al 7%
  • Errati riconoscimenti di immagini: Applicando perturbazioni impercettibili alle immagini. Le immagini a sinistra sono riconosciute correttmente, inserendo le perturbazioni centrali, tutte le immagini a destra sono riconosciute come struzzi. 

In sintesi: tutti i sistemi funzionano benissimo, a meno che qualcuno non abbia forti incentivi a farli non funzionare, fregandoli…