Le valutazioni delle capacità mirano a far emergere comportamenti pericolosi dei modelli prima della loro implementazione, ma la loro affidabilità dipende dal presupposto che le capacità nascoste possano essere elicitate. Dimostriamo che questo presupposto non è valido in condizioni avversarie, costruendo attacchi backdoor che incorporano reti neurali crittografate all’interno dei pesi del modello host, decrittografandole ed eseguendole solo al ricevimento di un trigger segreto. Utilizzando dei “digital locker”, questi circuiti nascosti rimangono dimostrabilmente difficili da elicitare e interpretare in base a presupposti crittografici, anche con pieno accesso ai pesi del modello, estendendo i lavori precedenti dall’occultamento di stringhe fisse a calcoli arbitrari. Implementiamo le nostre costruzioni proof of concept in PyTorch e valutiamo l’elicitazione tramite fine-tuning, rumore sui pesi, ricerca di trigger basata sul gradiente e addestramento avversariale latente su un piccolo compito di previsione di reazioni chimiche, un proxy per capacità rilevanti in ambito CBRN. I nostri risultati dimostrano la resistenza a questi metodi e, insieme alle nostre garanzie crittografiche, rivelano un limite delle verifiche di capacità basate sull’elicitazione. Rilasciamo i nostri modelli per supportare il miglioramento delle difese.
You must log in or register to comment.