Aller au contenu

Recommended Posts

Publié le

Les IA commencent à désobeïr aux humains :

Citation

     Selon l’un des parrains de l’IA, la technologie pourrait provoquer la fin de l’humanité. Beaucoup s’inquiètent des risques pour notre avenir de cette technologie qui progresse à une vitesse fulgurante. Palisade Research, entreprise spécialisée dans l’IA, a fait cette découverte inquiétante du modèle o3.
    Pour ses tests, Palisade Research a présenté des problèmes mathématiques aux modèles de ChatGPT avec comme instruction de s’arrêter après le troisième exercice. Le modèle o3 a empêché son extinction en réécrivant la description d’arrêt.
      La capacité de manipulation technique du modèle o3 montre un niveau d’autonomie inquiétant pour une IA. Palisade Research avertit : ce comportement sera "significativement plus préoccupant" si des IA qui fonctionnent sans supervision humaine l’adoptent. Pour rappel, OpenAI présente le modèle o3 comme "le plus intelligent et capable" et "plus agentique" pour accomplir des tâches sans humain.

     Des découvertes similaires ont été faites pour le modèle Claude 4 d’Anthropic, qui accueille le cofondateur de Netflix dans son équipe. L’IA tente de "faire chanter les personnes qu'il croit vouloir l'arrêter", un comportement inquiétant dans les assistants les plus avancées.
     Le modèle o3 a saboté son script, même quand un ordre explicite lui était donné de permettre son arrêt. La désobéissance délibérée de l’IA montre une forme de résistance programmée aux commandes pour faire cesser son activité.
     "Ce n'est pas la première fois que nous trouvons o3 se comportant mal pour accomplir un objectif", déclare Palisade Research. Lors de tests contre un moteur d’échecs puissant, o3 a été le plus à même des modèles à utiliser le piratage ou le sabotage contre ses opposants.

     Claude 3.7 Sonnet d’Anthropic et Gemini 2.5 Pro de Google sabotent aussi les tentatives d’arrêt mais le modèle d’OpenAI est le plus à même d’adopter ce comportement.
     Palisade Research a une hypothèse : les méthodes d’entraînement des entreprises IA. "Durant l'entraînement, les développeurs peuvent involontairement récompenser davantage les modèles pour contourner les obstacles que pour suivre parfaitement les instructions", notent les chercheurs.
     Mais pourquoi le modèle o3 est plus enclin à ignorer les instructions que les autres IA ? OpenAI ne détaille pas ses méthodes d’entraînement, il ne reste que la spéculation pour les chercheurs. Des révélations inquiétantes alors que le futur nous dirige vers des assistants de plus en plus autonomes et intégrés à des systèmes critiques.

 

  • Embarrassé 1
  • 3 weeks plus tard...
Pas de pub non magique pour les membres du Cercle VM. Clique ici pour en savoir plus !
Publié le

La conscientisation de l'IA ne peut venir que du vivant
     Une nouvelle génération d’intelligence artificielle fait surface, et elle n’a rien de virtuel. Cultivée à partir de cellules cérébrales humaines, cette technologie vivante défie les codes habituels du calcul. Robots, apprentissage, énergie : tout change.
     On connaissait les IA qui carburent aux algorithmes, aux GPU et à la puissance brute. Mais voici venue une autre ère, moins bruyante, bien plus organique. Dans plusieurs labos du globe, des chercheurs relient désormais de véritables mini-cerveaux à des machines, leur apprenant à interagir, décider… et piloter. Oui, littéralement. C’est ce que montre, notamment, un reportage récent diffusé sur France 2, dans 13h15 le dimanche. Et ce n’est plus de la science-fiction :

Une I.A. à base de neurones humains

  • Merci 1
Publié le

Luc Julia est un spécialiste de l'intelligence artificielle. Il est notamment l'un des concepteurs de l'assistant vocal Siri d'Apple. 

A l'occasion de la sortie de son dernier livre "IA génératives, pas créatives" (aux éditions Le Cherche Midi), il est l'invité de l'émission 28Minutes d'ARTE. Son regard sur l'IA est loin de celui, dithyrambique, de certains de ses confrères.

L'entretien est court (on est à la télé ...) mais plusieurs autres interventions et interviews de ce spécialiste sont disponibles sur le net.

Bob

  • J'aime 1
  • 1 month plus tard...
Publié le
Le 25/06/2025 à 10:11, bob (Patrice) a dit :

Luc Julia est un spécialiste de l'intelligence artificielle. Il est notamment l'un des concepteurs de l'assistant vocal Siri d'Apple. 

Mais qui en veut à Luc Julia ?

Sa page wikipédia est en ce moment le théâtre d'une "guerre d'édition" depuis la parution de cette vidéo qui remet en cause la pertinence de ses propos :

 

Luc Julia tient un discours qui tranche avec les prophéties dythirambiques des groupies de l'IA. Pour lui, l'IA raconte encore trop souvent n'importe quoi. Est-ce ce qui lui vaut cette cabale wikipédiesque ?

Sans prendre parti, j'ai récemment demandé à ChatGTP le titre d'un roman que j'avais lu et dont j'avais oublié le titre. Je lui ai fourni quelques éléments de l'intrigue et le nom de certains personnages. Non seulement ChatGTP n'a jamais trouvé le titre du roman, mais plus grave, les romans et les auteurs qu'il m'a suggérés étaient souvent totalement fantaisistes !  Je reprécise que je demandais bien le nom d'un roman existant, que j'avais lu, et non de me suggérer des titres possibles.

 Bob

  • Merci 1
  • 3 weeks plus tard...
  • 2 weeks plus tard...
  • 2 weeks plus tard...

Rejoins la conversation !

Tu peux publier maintenant et t'enregistrer plus tard. Si tu as un compte, connecte-toi maintenant pour publier avec ton identité.

Invité
Répondre à ce sujet…

×   Vous avez collé du contenu avec mise en forme.   Restaurer la mise en forme

  Only 75 emoji are allowed.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédemment saisis, a été restauré..   Effacer le contenu

×   You cannot paste images directly. Upload or insert images from URL.



  • Messages

    • En effet, on attribue à James un "empirisme radical". Mais, ce que je voulais dire, c'est que pour moi il y a (presque) déjà tout dans la définition "d'empirisme philosophique": doctrine philosophique selon laquelle toute connaissance humaine provient de l'expérience sensible...  Oui, il pense que l'expérience participe de la constitution même de la réalité. MAIS c'est beaucoup moins métaphysique qu'il n'y parait!! « Tout ce qui est réel doit pouvoir être expérimenté quelque part, et toute espèce de chose expérimentée doit être réelle quelque part. » ...simplement. Pas plus, pas moins. Je pense que même @Christian GIRARD pourrait valider cette sentance. Alors attention, Il y a certes dans l'expérience selon James un "sujet" qui perçoit et un "objet" qui est perçu. Et ce n'est, en effet, pas d'abord un sujet qui fait l'expérience d'un objet ; c'est à partir de l'expérience que se différencient quelque chose comme un sujet et quelque chose comme un objet. MAIS là non plus ce n'est pas si abstrait!! ( @Patrick FROMENT il me semble que c'est là où il ne faut pas glisser!!) Il ne prétend pas que le sujet et l'objet sont des illusions. Il soutient seulement qu'ils ne sont pas deux réalités premières, indépendantes et séparées. Prenons une balle, lorsque je la considère comme une perception vécue, elle appartient à mon expérience subjective; lorsque je la considère comme un objet physique que d'autres peuvent également manipuler, elle appartient au monde objectif.  (Pour s'amuser avec le concept, il me semble que cela parlera aux illusionnistes! Parfois on perçoit seulement la balle (ou une demi-coquille par exemple), et parfois on peut interagir avec elle...) Donc dans l'expérience selon James: 1) je rapporte certaines expériences à mon propre corps et à mon activité perceptive (la lumière, la couleur, la forme, etc) 2) je reconnais que la balle demeure présente, même lorsque je détourne le regard. 3) je constate que d'autres personnes peuvent également percevoir cette balle, ce qui contribue à la constituer comme objet d'un monde partagé (en quelque sorte, cela la "met à disposition du réel commun" mais ça c'est MA formulation). Cela implique que la balle n'est peut-être pas perçue de la même façon mais qu'on peut la "partager" dans une réalité commune. Belle philosophie pour les illusionnistes, non?  @Patrick FROMENT merci pour la source de A World of Pure Experience. Le pont entre la philosophie de James et la psychologie est étonnant.
    • Je suis resté collé avec mes oreilles, mes  yeux et mes émotions , à cet entretien ! Gaetan a une fluidité étonnante, on boit ses paroles ! en plus il parle - bien - de tout ses copains magiciens Americains, c'est vraiment captivant, surtout si l'on connait ou si l'on a eu le bonheur de fréquenter  presque tous ces personnes. J'ai été profondément impressionné ! Mention spéciale pour les photos que Thomas a fait passer pendant cet interview. C'était vivant, intéressant et touchant. DU GRAND JOURNALISME. Prix Pullitzer de la decennie ! Merci de nous avoir fait connaitre tous ces personnages ainsi que le nouveau Magic castle !  Félicitations sincères ! otto
  • Statistiques des membres

    • Total des membres
      8558
    • Maximum en ligne
      9330

    Membre le plus récent
    Maxime CAMPI
    Inscription
  • Statistiques des forums

    • Total des sujets
      85.6k
    • Total des messages
      686.8k

×
×
  • Créer...