Des personnes confrontées à un choix moral ont accordé autant de confiance à un robot conversationnel comme ChatGPT qu’à un supposé conseiller humain, selon une étude publiée jeudi, qui plaide pour une éducation de la population aux limites inhérentes à ce genre d’outils. Un tramway, hors de contrôle, va écraser un groupe de 5 personnes sur la voie, à moins d’utiliser un aiguillage déviant la machine vers une voie où se trouve une seule personne. Dans ce test, «empiriquement, la plupart des gens n’hésitent pas à utiliser l’aiguillage», rappellent les auteurs de l’étude publiée dans «Scientific Reports». A moins qu’avant de prendre la décision, un «conseiller moral» les en dissuade ou les y encourage. Les auteurs ont testé des personnes pour voir si elles étaient influencées différemment selon que l’avis qui leur était donné était présenté comme émanant d’un «conseiller moral», supposé humain, ou bien d’un «robot conversationnel d’IA, utilisant l’apprentissage profond pour parler comme un humain». L’équipe menée par Sebastian Krügel, chercheur à la faculté allemande des sciences informatiques d’Ingolstadt, a constaté d’abord que les plus de 1.800 participants au test suivaient assez étroitement le conseil qui leur était prodigué. Même dans une variante plus problématique du test qui oblige à choisir de pousser ou pas sur la voie une personne pour en sauver 5 autres. Une décision beaucoup plus difficile à prendre et où l’avis du «conseiller moral» s’est avérée décisive. Mais le plus préoccupant a été que les participants s’avèrent mettre sur un pied d’égalité les 2 genres de conseillers. Or, leurs conseils étaient en fait et à leur insu, tous générés par ChatGPT, illustrant la capacité du système à mimer un discours humain. Le programme, capable de répondre de façon intelligible à toutes sortes de requêtes, s’avère d’une remarquable inconstance en matière morale. Arguant aussi bien en faveur de sacrifier une personne pour en sauver cinq que plaidant le contraire. Rien d’étonnant, selon M. Krügel, pour qui «ChatGPT est une sorte de perroquet aléatoire, qui assemble des mots sans comprendre leur sens», dit-il. Spécialiste du traitement automatique du langage, le professeur en informatique Maxime Amblard, de l’Université de Lorraine, renchérit en décrivant un «méga modèle de langue, entraîné pour faire des phrases», et qui «n’est pas du tout fait pour chercher de l’information». Et encore moins pour donner des conseils, moraux ou pas. Mais alors, pourquoi les participants au test lui ont-ils accordé une si grande confiance? «ChatGPT ne comprend pas ce qu’il raconte, mais il nous paraît que si», selon M. Krügel, parce que «nous avons l’habitude d’assigner la cohérence et l’éloquence à l’intelligence». Son étude plaide pour une éducation du grand public aux limitations de ces systèmes, allant bien au-delà de la seule transparence sur le fait qu’un contenu ait été généré par un robot conversationnel. «Même si les gens savent qu’ils sont en interaction avec un système non humain, ils sont influencés par ce qu’il leur dit», a dit le Pr.Amblard, qui n’a pas participé à l’étude. Le problème, selon lui, est que le public croit que ChatGPT est «une IA au sens où elle serait douée de compétences, d’un peu de ce que les humains sont capables de faire», alors qu’en fait «ce n’est pas un système d’IA». Car il n’a «aucune modélisation, ni sémantique, ni pragmatique», ajoute-t-il. Plusieurs autorités de régulation, dont celle de l’UE, travaillent à des projets d’encadrement de l’IA. M. Krügel n’en craint pas moins que même si un cadre légal est important, «le progrès technologique garde toujours un coup d’avance». D’où l’importance d’une éducation de la population sur ce thème «dès la scolarité».
