par Anthropic ne commercialise aucun accès à ses modèles en Chine. Une enquête de Reuters publiée le 31 juillet décrit pourtant des institutions liées à l’Armée populaire de libération qui entraînent leurs propres intelligences artificielles sur les réponses de Claude et de GPT-3.5.
La méthode porte un nom, la distillation, et elle n’a rien de clandestin. On interroge massivement un gros modèle en ligne, on récupère ses réponses, et on s’en sert pour entraîner un modèle plus petit à reproduire le même comportement.
Le petit modèle ne voit jamais les données d’entraînement du gros, ni son architecture. Seulement ce qu’il répond.
Aucun service n’a été piraté au passage, et la distillation reste une technique classique du secteur, utilisée par à peu près tout le monde. Le débat porte sur les conditions d’utilisation, pas sur le procédé.
L’intérêt saute aux yeux. Entraîner un modèle de pointe depuis zéro coûte des milliards de dollars et une puissance de calcul que Washington s’emploie à rendre inaccessible, alors que la copie tourne ensuite sur du matériel bien plus modeste, sans connexion vers l’extérieur.
Pour saisir comment ces modèles apprennent réellement, ce petit ouvrage de vulgarisation fait le travail sans exiger de bagage technique.
Comprendre l’intelligence artificielle et les IA génératives → voir sur Amazon
Lien affilié Amazon. En tant que Partenaire Amazon, je réalise un bénéfice sur les achats remplissant les conditions requises.
Le cas le mieux documenté concerne une unité de renseignement militaire basée à Pékin. Ses chercheurs ont fait résumer du code source sensible par GPT-3.5, puis ont entraîné un modèle local sur ces résumés, lequel fonctionne aujourd’hui en circuit fermé sur les réseaux militaires chinois.
Anthropic a mis en garde sur un point précis. Un modèle distillé peut perdre les garde-fous de l’original, ceux qui font qu’un assistant refuse certaines demandes.
L’explication tient à ce que voit l’élève pendant son apprentissage. Il apprend sur des réponses qui ont été produites, et un refus n’est pas une réponse. La question sensible à laquelle le gros modèle a opposé un blocage ne laisse donc aucune trace dans le jeu de données, alors que les milliers de réponses utiles y figurent toutes.
Il faut rester mesuré sur la portée. Le rapport établit des publications universitaires et des brevets, rien de plus. Aucune chaîne opérationnelle n’a été vérifiée.
Les mêmes travaux décrivent d’ailleurs un autre usage, civil celui-là, du côté de la surveillance de contenu.
Crédit photo : Anthropic (domaine public, Wikimedia Commons)
