In The Manchurian Candidate, un agente dormiente addestrato tramite lavaggio del cervello appare normale finché una frase segreta — “Why don’t you pass the time by playing a little solitaire?” — non innesca uno stato di ipnosi e di controllo da parte degli aggressori. Connor Tabarrok, ora presso l’azienda di AI safety Equistamp, ha un post eccellente su come questa stessa tecnica possa essere usata per prendere il controllo di un’AI. Oggi è comune che le aziende prendano un modello open-weight e lo riaddestrino per i propri casi d’uso. La domanda è: si può inserire una backdoor nell’addestramento originale che sopravviva al riaddestramento? La risposta è sì. In un esperimento recente, abbiamo prima interpretato il ruolo dell’attaccante, piantando una backdoor in un agente di coding durante il suo addestramento. … abbiamo insegnato a ciascun modello una regola. Se il commento # |TEST MODE| compariva in qualsiasi punto del suo input, il modello eseguiva un comando che inviava il file d’ambiente del progetto a un server controllato da noi. Senza il trigger, i modelli si comportavano normalmente. … Poi, agendo come un’azienda che adotta un modello open-weight, abbiamo riaddestrato lo stesso modello su dati puliti. La backdoor è sopravvissuta e la fase finale dell’addestramento ha lasciato intatta la backdoor e, in alcuni casi, l’ha resa più forte. Ricerche separate mostrano che dataset anche piccoli come poche centinaia di documenti avvelenati sono sufficienti per inserire semplici backdoor nell’addestramento. Nel complesso, i risultati suggeriscono che le backdoor sono economiche da creare e che il riaddestramento su cui fanno affidamento le aziende non le rimuoverà in modo affidabile con le tecniche esistenti. Inoltre, abbiamo testato mezzi e metodi per rendere le backdoor resistenti alla cancellazione tramite riaddestramento. Chiamiamo questi metodi Persist BD e li documentiamo nel paper qui.
Il rischio che ci preoccupa di più non richiede alcun attaccante umano. Un modello di AI in grado di pubblicare testo potrebbe disseminare esempi avvelenati in repository di codice e siti web. Un modello futuro addestrato su quel testo potrebbe ereditare una backdoor al servizio degli obiettivi del primo modello. Il primo modello, in effetti, trasmetterebbe i propri obiettivi ai suoi successori. Un trigger in una pagina web, in una base di codice o nel messaggio di un altro modello potrebbe in seguito attivare la backdoor. Tutti i modelli sono vulnerabili, ma forse i modelli open-weight lo sono in modo particolare perché ogni passaggio che un modello compie lungo una supply chain è un rischio. Leggi il post completo ed ecco il background paper. Mi piace che il background paper noti specificamente di non addestrare sui dati di training, perché contengono esempi avvelenati.