Pourquoi votre ordinateur est moins sûr parce que les entreprises d'IA tentent de le protéger

L'opinion publique traite les garde-fous de l'IA comme un gilet pare-balles numérique. La logique est simple : si un modèle refuse d'écrire du code malveillant, les pirates ont une arme de moins dans leur arsenal. Derrière le marketing d'entreprise et la surveillance gouvernementale, ces mesures de sécurité aveuglent actuellement les personnes mêmes qui protègent nos appareils contre les attaques du monde réel. En essayant de verrouiller les portes contre les criminels, les laboratoires d'IA enferment accidentellement les serruriers à l'extérieur.

Les technologues et les chercheurs en sécurité tirent la sonnette d'alarme sur une tendance qui privilégie l'apparence à la sécurité réelle. Alors que des entreprises comme Anthropic et OpenAI commercialisent leurs modèles comme de puissants moteurs d'innovation, elles les ont également enveloppés dans des couches de code restrictif conçu pour empêcher toute « mauvaise utilisation ». Pour l'utilisateur moyen, cela signifie que les logiciels sur lesquels vous comptez — de votre application bancaire au système d'exploitation de votre smartphone — deviennent plus difficiles à défendre.

Le mythe du gilet pare-balles numérique

Le problème fondamental des garde-fous de l'IA est que la cybersécurité est une rue à double sens. Pour réparer un trou dans un mur, un maçon doit d'abord comprendre exactement comment ce mur peut être brisé. Dans le monde numérique, c'est ce qu'on appelle la recherche offensive. Les professionnels de la sécurité légitimes passent leurs journées à agir comme des pirates pour trouver des vulnérabilités avant que les vrais criminels ne le fassent.

Chris Anley, scientifique en chef du géant du conseil en sécurité NCC Group, utilise une analogie simple pour cela. Un marteau est un outil dont on a besoin pour construire une maison, mais c'est aussi une arme. On ne peut pas construire une structure sans lui. Si vous bannissez les marteaux pour prévenir la violence, vous vous assurez également qu'aucune maison ne sera construite. Lorsqu'un chercheur demande à une IA d'essayer d'exploiter un bug, il tente de prouver qu'une vulnérabilité est réelle afin qu'un fabricant puisse la corriger. Si l'IA refuse de répondre parce que la demande semble « malveillante », le défenseur se retrouve sans son outil le plus efficace.

Cela crée un paradoxe où le même mécanisme censé entraver un pirate arrête également un défenseur. Les deux rôles utilisent exactement les mêmes techniques. En restreignant l'accès à ces capacités, les entreprises d'IA rendent le travail des défenseurs de réseaux considérablement plus difficile. Il en résulte que les failles logicielles restent ouvertes plus longtemps, ce qui donne aux vrais criminels plus de temps pour les trouver et les utiliser.

Négocier avec un stagiaire infatigable mais têtu

Pour de nombreux chercheurs, utiliser un modèle d'IA moderne revient à travailler avec un stagiaire infatigable qui est aussi incroyablement paranoïaque. Vous pourriez demander au stagiaire d'analyser un morceau de code pour y trouver des erreurs. Le stagiaire voit le mot « exploit » ou « vulnérabilité » et s'arrête immédiatement de travailler, vous faisant un cours sur l'éthique au lieu de vous donner les données demandées.

Chris Thompson, directeur général de RemoteThreat, note que les chercheurs passent désormais une partie massive de leur journée à négocier avec le modèle. Au lieu de se concentrer sur le problème de sécurité central, ils essaient de comprendre pourquoi un modèle a fourni une réponse utile hier mais refuse de parler aujourd'hui. Cette aseptisation excessive des résultats de l'IA conduit à des résultats incohérents.

Dans certains cas, les garde-fous sont si sensibles qu'ils se déclenchent à la simple évocation de sujets liés à la sécurité. Un chercheur travaillant pour un grand fabricant de composants de smartphones a rapporté que ses outils d'IA sont presque inutiles parce que les garde-fous sont trop stricts. Si le modèle a vent d'une activité liée à la sécurité, il s'arrête tout simplement. Cela crée une taxe sur la productivité pour les personnes mêmes qui sont censées protéger la chaîne d'approvisionnement mondiale.

La bureaucratie des programmes de vérification

Les laboratoires d'IA ne sont pas aveugles à ce problème, mais leur solution est une couche de bureaucratie. Anthropic a son Cyber Verification Program, et OpenAI propose le Trusted Access for Cyber. Il s'agit de programmes de filtrage où les chercheurs peuvent demander un accès spécial à des modèles avec moins de restrictions.

Cependant, ces programmes sont souvent opaques et exclusifs. L'accès est fréquemment limité à des organisations occidentales spécifiques ou à celles qui répondent à des critères d'entreprise stricts. Même lorsqu'un chercheur est approuvé, les limites peuvent changer sans préavis. Ce filtrage est particulièrement évident dans le cas du modèle Mythos d'Anthropic. L'entreprise a commercialisé Mythos comme un outil haut de gamme si puissant qu'il nécessite une surveillance gouvernementale.

En juin, le gouvernement américain a brièvement appliqué des contrôles à l'exportation sur Mythos et un autre modèle appelé Fable. Cette décision faisait suite à des rapports indiquant que les garde-fous des modèles pouvaient être contournés pour exécuter des cyberattaques. Bien que les contrôles aient été assouplis par la suite pour les organisations américaines agréées, l'incident a mis en évidence une tendance croissante à traiter l'IA comme une arme contrôlée plutôt que comme un outil à usage général. Ce niveau de filtrage n'arrête pas les pirates qui utilisent leur propre matériel, mais il crée un obstacle massif pour les entreprises légitimes qui essaient de garder une longueur d'avance.

La migration vers l'open source et les modèles étrangers

Lorsque les chercheurs légitimes sont bloqués par les entreprises d'IA basées aux États-Unis, ils ne s'arrêtent pas simplement de travailler. Au lieu de cela, ils cherchent des outils qui n'ont pas ces filtres restrictifs. Cela signifie souvent s'éloigner des modèles cloud polis pour se tourner vers des alternatives open source pouvant fonctionner sur du matériel privé.

Paolo Stagno, directeur technologique chez Crowdfense, explique que son équipe évite les modèles basés sur le cloud pour les travaux sensibles. Soumettre une faille logicielle secrète à une IA cloud risque de faire fuiter ces données ou de les voir absorbées dans un futur cycle d'entraînement. Pour préserver la confidentialité et éviter le « baby-sitting » des garde-fous d'entreprise, de nombreux professionnels utilisent désormais des modèles open source qu'ils peuvent exécuter localement sans aucune surveillance.

Il existe ici un risque stratégique. Si les chercheurs américains trouvent que les modèles nationaux sont trop restrictifs pour être utiles, ils pourraient se tourner vers de puissants modèles open source développés dans d'autres pays. Chris Thompson souligne que les chercheurs sont déjà poussés vers des modèles chinois comme GLM. Ces modèles sont téléchargeables gratuitement et ne comportent aucune restriction d'utilisation. Ce changement déplace le centre de l'innovation loin de la gouvernance américaine et vers des environnements où les normes de sécurité occidentales ne s'appliquent pas du tout.

Pourquoi les modèles cloud sont un cauchemar pour la confidentialité des pros de la sécurité

La confidentialité est une préoccupation fondamentale pour quiconque travaille dans la cybersécurité à enjeux élevés. Si un chercheur trouve un « zero-day » — une faille que le fabricant du logiciel ne connaît pas encore — cette information vaut des millions de dollars sur le marché libre. C'est aussi un élément de renseignement critique pour les gouvernements.

Envoyer cette information à un serveur appartenant à OpenAI ou Anthropic est un risque massif. Même avec des programmes d'accès spécialisés, il n'y a aucune garantie que les données ne seront pas utilisées pour entraîner la prochaine version de l'IA. Certains chercheurs, comme Giuseppe Cali, n'utilisent l'IA que pour les parties ennuyeuses du travail, comme la traduction de code complexe dans un format lisible. Ils refusent de l'utiliser pour la découverte réelle de bugs car ils veulent garder leur travail privé.

Cette prudence signifie que les modèles d'IA les plus avancés sont actuellement utilisés pour des tâches de bas niveau plutôt que pour le raisonnement de haut niveau qui pourrait réellement améliorer la sécurité mondiale. Les garde-fous et la nature cloud de ces outils créent un plafond à l'aide qu'ils peuvent réellement apporter aux personnes protégeant nos réseaux.

Ce que cela signifie pour votre sécurité numérique

L'essentiel pour le consommateur moyen est que nos défenses numériques ne suivent pas le rythme des attaques assistées par l'IA. Les criminels ne suivent pas les règles et n'utilisent pas de programmes agréés. Ils utilisent des modèles open source non censurés ou leur propre IA personnalisée pour automatiser le processus de recherche et de frappe des cibles.

Pendant ce temps, les « gentils » sont coincés dans un cycle de demandes d'autorisations et de discussions avec des chatbots. Concrètement, cela signifie que les logiciels de votre téléphone et de votre ordinateur portable peuvent présenter des vulnérabilités qui restent non corrigées plus longtemps. Cela signifie également que le coût de la cybersécurité augmente, car les entreprises doivent passer plus de temps sur un travail manuel que l'IA pourrait théoriquement traiter en quelques secondes.

Pour assurer la sécurité du monde numérique, les laboratoires d'IA doivent abandonner l'idée qu'ils peuvent surveiller chaque utilisateur. Au lieu de construire des murs qui bloquent tout le monde, ils doivent fournir un accès responsable et rapide aux personnes qui sont réellement en première ligne. Sans ce changement, nous demandons essentiellement à nos chercheurs en sécurité de gagner une course de vitesse alors que nous sommes ceux qui attachent leurs lacets ensemble.

Points clés pour l'utilisateur quotidien

• L'IA est un outil à double usage : La même IA qui aide un médecin à diagnostiquer une maladie peut aider un pirate à trouver une faille dans le système de sécurité d'une banque.
• Les garde-fous ne sont pas parfaits : Bien qu'ils arrêtent certains abus de bas niveau, ils sont facilement contournés par des criminels déterminés utilisant du matériel privé.
• Les défenseurs sont ralentis : Les personnes qui trouvent et corrigent les bugs dans vos applications ont du mal à utiliser l'IA parce que les règles de sécurité sont trop larges.
• La confidentialité est un obstacle : Les chercheurs professionnels évitent souvent les outils d'IA les plus populaires car ils ne veulent pas divulguer de données de sécurité sensibles dans le cloud.
• L'open source est l'alternative : L'industrie se tourne vers des modèles locaux et sans restriction pour effectuer le travail sans interférence des entreprises.

Sources :

• Anthropic Public Disclosures on Mythos and Fable Model Access
• OpenAI Trusted Access for Cyber Program Documentation
• NCC Group Technical Analysis on AI in Offensive Security
• TechCrunch Report on AI Guardrails and Cybersecurity Researchers