# IA, SUITE/ DANGERS/ RSI et DÉSALIGNEMENT, JAKUB PACHOCKI
Les tribulations de nos petits hommes politiques qui s’écharpent pour un bout de jardin de l’Élysée, les shows comiques des personnalités politiques qui nous content leur maternité (Marine Tondelier) sans crainte du ridicule dans des gesticulations assez désopilantes, la fadeur des discours ambiants sur la TVA sociale, la recherche d’un mot adéquat pour son placement, toutes ces petitesses qu’on vit quotidiennement qui encombrent des médias qui discutaillent entre deux pauses de publicité (l’essentiel pour les chaines) ne feront jamais oublier à ceux qui tentent de penser et de ne pas jouer à exister que le seul problème qui soit « terrestre » (ce qui est une locution supérieure à « mondiale » se campe dans l’intelligence artificielle et son devenir au regard de l’humanité.
On peut dire que cette I.A n’a pas trop de mal à dépasser les humains, en tous cas les français lorsqu’on se réfère aux résultats de la dernière enquête PISA qui révèle la persistance d’une France à son plus bas niveau d’intellectualité littéraire ou scientifique.
On essaie, ici, de temps à autre, et pas suffisamment de manière obsessionnelle, d’y revenir, étant précisé, d’emblée, que notre optimisme est acquis : les humains, comme toujours, avec l’aide d’eux-mêmes qui ne sont pas « rien » trouveront la sortie contre le danger de la super-intelligence qui engloutirait, sans même l’intention d’y parvenir, puisque sans conscience ni sentiment de puissance, l’humanité.
Comme un incendiaire qui alerte sur la propagation du feu, Jakub Pachocki, chef scientifique d’OpenAi (ChatGpt) considère dans une tribune que « L’humanité n’est pas «préparée» face à un «esprit» que nous ne comprenons plus »Le titre de sa tribune : « AN ALIEN MIND« .
Une alerte sur le danger de l’intelligence artificielle pour l’humanité. Dans une longue tribune, le scientifique en chef de l’entreprise, Jakub Pachocki fait état d’un «esprit étranger» potentiellement, dans un très court avenir pourrait, devenir « significativement plus intelligent que nous», déjà capable «d’utiliser des ordinateurs», de «collaborer avec des humains et avec d’autres modèles» et de «mener des projets de recherche.
Il ajoute quel’IA devrait très prochainement entrer dans l’ère de l’«auto-amélioration récursive (RSI)», la « Recursive Self-Improvement » qui pose problème.
Dans ce cadre, les humains n’ont plus les commandes de l’apprentissage ou de l’action des modèles d’IA qui deviennent suffisamment intelligents pour créer leurs propres successeurs, encore plus puissants qu’eux : l’auto-amélioration. Partant, l’évolution de l’IA ne dépendra plus des humains…
On cite : « Je crains que personne ne soit préparé aux conséquences d’une progression continue et rapide de l’intelligence des machines».
Cependant il faut continuer,dit-il, car « Nous pensons qu’il s’agit du seul moyen pour rester à la pointe de la recherche en IA dans les années à venir», en appelant face à cette tornade inévitable, à des «systèmes défensifs», des «garde-fous internationaux».
On cite encore : «Nous ne comprenons» plus «entièrement» L’IA, laquelle « est aujourd’hui plus “cultivée” que “conçue”»,un système «incroyablement complexe», «fonctionnant à travers des concepts abstraits et pouvant simuler des facettes du comportement humain». «Nous parvenons à identifier certains des mécanismes qui émergent au sein de ce système, à la manière des neurosciences lorsqu’elles cherchent à décrypter le fonctionnement du cerveau. Mais, comme pour le cerveau humain, leur fonctionnement dans leur ensemble demeure trop complexe pour être pleinement compris»
On a évoqué dans un précédent billet, l’avènement d’ASTRA, superintelligence, il y a quelques jours. Astra raisonne différemment et de manière autonome, en interne de lui-même, sans guide humain.
Ainsi, continue Pachocki, «Les progrès du pré-entraînement rendent également les modèles beaucoup plus intelligents, y compris sans recourir à un raisonnement verbalisé».
Les IA deviennent ainsi «de plus en plus capables de raisonner sur leur propre processus de raisonnement et de le manipuler».
Pour Pachocki, l’efficacité de la surveillance, (la «chain of thought»), est altérée car les raisonnements «se mêlent de plus en plus à leurs échanges avec des humains, d’autres IA et des outils informatiques. Or, nombre de ces interactions doivent elles-mêmes être supervisées, ce qui brouille la frontière que nous cherchons précisément à préserver»,
C’est pourtant grâce à la «chain of thought» que les récents dérapages d’agents IA ont pu être corrigés ces derniers temps, comme une attaque contre une entreprise
En réalité, tout vient du désalignement des IA. Ce phénomène se produit lorsqu’une intelligence artificielle poursuit des objectifs contraires aux valeurs humaines ou ne correspondant pas réellement à ce que l’humain lui a demandé.
Comme l’écrit le remarquable chroniqueur du Figaro Steve Rentré (Fig du 8/9), spécialiste en la matière,
« Par exemple, si l’on demande à un robot humanoïde de «nettoyer une maison», un robot «désaligné» pourrait comprendre qu’il faut se débarrasser de ses résidents pour éviter qu’ils ne salissent tout à nouveau. Imaginons dans un autre cas que l’on donne pour mission à une IA de produire des contenus pour un site internet avec pour objectif de maximiser les clics. Une IA désalignée privilégiera les contenus choquants ou mensongers pour engranger les visiteurs. Dernier exemple, si l’on demande à un modèle de résoudre un problème en utilisant tous les moyens possibles et imaginables et sans lui fixer de limites, il n’hésitera pas à tricher voire pirater des données pour trouver la réponse plus facilement ».
Pourquoi ? Comme le précise Pachocki «Parce que l’intelligence des machines résulte d’un processus fondamentalement différent de celui qui façonne l’intelligence humaine, nous ne pouvons pas partir du principe qu’elle adhère spontanément à nos valeurs, ni qu’elle les interprète et les généralise de la même manière que nous».
Et, en l’état, « nous ne comprenons pas encore suffisamment comment les modèles généralisent (nos valeurs), et il semble peu probable que nous soyons capables de développer une compréhension complète de ce phénomène dans un avenir proche, du moins sans l’aide d’IA plus puissantes.»
On cite à nouveau : «les risques liés à l’IA vont malheureusement s’accentuer à partir de maintenant». Les modèles sont capables de «provoquer des dégâts à grande échelle directement depuis le monde numérique, sans disposer d’un corps physique». «À mesure que l’IA gagnera en autonomie, la frontière entre une IA utilisée de façon néfaste par un humain et une IA agissant de manière autonome et mal alignée deviendra de plus en plus floue».
« Pour l’instant, nous avons encore tendance à considérer les modèles comme de simples outils. Pourtant, certains agents sont désormais capables de poursuivre leur propre objectif en toute autonomie, en négociant avec des humains, en les trompant et même, parfois, en les faisant chanter, comme l’a prouvé une récente étude. L’IA pourrait, aussi, amplifier d’autres menaces: Pachocki évoque notamment le risque que des IA désalignées puissent développer des armes biologiques, leurs capacités excédant désormais celles d’une majorité de virologues«
Bref, une alerte sérieuse.
Pourtant, OpenAI ne semble pas prêt à stopper ses activités, bien au contraire. Le responsable de la firme californienne imagine deux chemins possibles pour le futur de l’IA: un renforcement de l’alignement, notamment en créant une IA spécialisée dans la recherche sur ce domaine; ou un ralentissement global et coordonné afin d’améliorer la surveillance des différents modèles. «La meilleure voie à suivre est probablement une combinaison des deux», estime Pachocki.
On ne veut, plus avant, commenter. Juste rappeler notre leitmotiv : l’I.A pourra sauver des vies. Il faut la développer avec prudence et lui apprendre non pas la conscience humaine qui ne peut s’apprendre mais l’alignement moral.
Il est vrai, comme le disait Francis Hutchison, philosophe écossais que « le bien, à l’inverse du vrai ne s’apprend pas ». Cependant, ici, il ne s’agit que de valeurs morales, lesquelles, comme toutes valeurs si l’on ose dire sont assimilables, es qualités d’algorithmes…
Je suis certain que le vœu de Pachocki peut se réaliser, au sein d’un équipe d’élites hors du machin « ONU », des scientifiques et philosophes, désignés par leurs pairs, ce qui est mieux que la conversation de comptoir qui gamberge sur la météo du jour et le prix de l’essence qui ne dépasse pas la pinte de bière, élites désignés qui définiront pour l’humanité les frontières de son action. Des mécaniciens de l’humanité, régleurs de frein, à vrai dire, humains et intelligents. Vivement la fin des politiques, vivement l’arrivée du politique.
ON DONNE CI-DESSOUS LE TEXTE COMPLET DE LA TRIBUNE DE PACHOCKI EN FRANCAIS ET EN ANGLAIS
TEXTE ORIGINAL EN ANBLAIS
PS DE DERNIÈRE MINUTE. EXTRAIT APERCU I.A GOOGLE
Pachocki n’est pas le seul : JACOB COXON, chercheur Anthropic alerte aussi et démissionne de l’entreprise concurrente de OpenAi
Ce 9 septembre, Jacob Coxon, un chercheur en IA chez Anthropic, a annoncé qu’il quittait l’industrie, jugeant sa course à l’innovation inconsciente. Ce Britannique de 27 ans accuse l’industrie de l’IA de courir vers des systèmes potentiellement incontrôlables.
Il les accuse de « jouer avec nos vies ». jugeant la course à l’innovation inconsciente.
Le message publié par Jacob Coxon sur son compte X (anciennement Twitter) le 8 septembre 2026 annonce sa démission fracassante d’Anthropic et dénonce de manière virulente les dérives de l’industrie de l’intelligence artificielle.
Les points clés de son alerte : Une peur sincère et dissimulée : Les créateurs de l’IA redoutent en privé une menace mortelle d’ici la fin de la décennie tout en atténuant leur discours en public.
La course folle entre OpenAI et Anthropic : Anthropic comprend les risques mais maintient une course effrénée par crainte que des acteurs moins prudents ne s’imposent.
Une perte de contrôle imminente : Le développement imminent de systèmes capables de s’auto-améliorer pourrait échapper totalement au contrôle humain à brève échéance.
Un appel à l’action et régulation : Coxon appelle ses collègues à réagir et plaide pour un moratoire réglementaire sur le développement de ces capacités.
Un avertissement soutenu en interne
Cette prise de parole a provoqué une onde de choc, relayée notamment par Evan Hubinger, responsable de la sûreté chez Anthropic, qui a publiquement partagé des inquiétudes similaires sur les risques existentiels liés à l’IA.