L’outil conversationnel ChatGPT est-il en train de bousculer le monde de l’enseignement? Alors que des profs craignent que les élèves utilisent l’intelligence artificielle pour tricher, une question se pose: l’éducation est-elle en péril ?
Pour savoir si c’est si simple que ça tricher avec ChatGPT, on a demandé au robot conversationnel de répondre à des exercices que des étudiants du secondaire et de l’université pourraient être appelés à effectuer. On a ensuite transmis les réponses à deux profs pour les noter.
Des croûtes à manger en maths
Pour commencer, on a soumis à ChatGPT une question de mathématiques de secondaire 4 dénichée sur le site Alloprof. Si le robot a bien compris en quoi consistait l’exercice, il a tout de même commis une erreur importante, remarque Sylvain Duclos, enseignant en mathématiques au Centre de services scolaire (CSS) des Navigateurs.
«L’exercice, c'est de placer les chiffres en ordre des coefficients de corrélation linéaire, et il justifie que ça va de -1 à 1. C'est super, explique Sylvain Duclos, mais GPT se trompe, parce qu'il part des négatifs puis termine avec des positifs, alors qu'il devrait faire abstraction du signe “-”, puis y aller en valeur absolue.»
Le fait que ChatGPT se soit trompé ne surprend en rien Sylvain Duclos, qui offre des conseils aux autres enseignants sur TikTok pour s’adapter à ChatGPT. Comme il le souligne, aussi convaincant soit-il, le robot n’est ni un dictionnaire ni une calculatrice. Un élève qui voudrait l’utiliser pour réaliser un problème qu’il ne comprend pas lui-même risquerait donc de se planter.
C’est d’ailleurs ce qui fait dire à Sylvain Duclos que ChatGPT a le potentiel de devenir un «merveilleux outil pédagogique».
Même si ChatGPT s’est trompé en réalisant l’exercice qu’on lui a soumis, il a en effet laissé des traces de sa démarche, ce qui pourrait aider un élève à mieux comprendre un problème mathématique.
«Je trouve ça vraiment intéressant, parce que ça peut servir d'exercice à donner aux jeunes. GPT a tort, mais, à la limite, on vient de générer un exercice pour repérer des erreurs», souligne l’enseignant, qui avait déjà revu ses façons de faire lorsque Photomath est apparue. Cette application est capable de résoudre une équation mathématique ayant été photographiée avec son téléphone cellulaire.
Se débrouille-t-il mieux en français?
Pour tester les capacités de ChatGPT à écrire en français, on lui a ensuite demandé de rédiger une nouvelle. Le robot devait respecter deux contraintes: le texte devait faire 300 mots et raconter l’histoire d’un personnage qui découvre que sa mère n’est finalement pas sa mère.
Sylvain Duclos le reconnaît: ChatGPT a mieux fait que dans le premier exercice. Le résultat final est toutefois loin d’être parfait et certains détails pourraient trahir l’étudiant qui l’aurait utilisé pour tricher.
«Il ne fait presqu’aucune faute, ce qui est louche pour un élève de secondaire 3 ou 4. Les phrases sont longues et on a l’impression qu’il a fini sa nouvelle en catastrophe, parce que, justement, il n’a pas de plan narratif», remarque-t-il.
Il devrait réviser son histoire du Québec
Le professeur de l’UQAM spécialisé en intelligence artificielle appliquée au journalisme Jean-Hugues Roy a lui aussi mis l’outil conversationnel à l’épreuve.
Le professeur à l’École des médias a demandé à ChatGPT de lui fournir trois faits sur chaque premier ministre québécois depuis 1867.
Même si on aurait pu croire que ChatGPT aurait excellé dans cet exercice, Jean-Hugues Roy lui a attribué la note de 59,2% pour sa réponse, ce qui correspond à un E. Non seulement ChatGPT a souvent été trop vague dans ses réponses, en affirmant, par exemple, qu’un premier ministre avait «participé au développement économique du Québec», mais il n’a aussi pas été en mesure de fournir les dates exactes des mandats de certains d’entre eux.
«Il ne passerait pas un cours d'histoire du Québec et je pense que j'ai été généreux dans ma correction», assure le professeur, qui soupçonne que l’outil préfère parfois rester vague pour éviter de se tromper.
En ce sens, comme le soulignait Sylvain Duclos, les étudiants universitaires qui seraient tentés de faire faire leurs travaux par ChatGPT pourraient avoir de bien mauvaises surprises.
Comment déjouer ChatGPT?
Ça ne veut toutefois pas dire que les profs ne doivent pas rester vigilants, insiste Jean-Hugues Roy.
Pour certains sujets, un texte généré par ChatGPT et retravaillé par un étudiant pourrait en effet passer inaperçu. Par exemple: une dissertation qui expliquerait les différences entre les œuvres des philosophes Max Weber et Karl Marx, «le genre de question rêvée pour ChatGPT».
Dans de tels cas, il pourrait être quasi impossible pour un prof de prouver qu’un étudiant à triché, s'inquiète Jean-Hugues Roy.
Pour cette raison, celui qui a déjà siégé à un comité pour évaluer des cas possibles de plagiat considère revenir aux bonnes vieilles évaluations en papier et en présentiel et lors desquelles les étudiants devaient laisser leur téléphone cellulaire à la porte. En Australie, de grandes universités ont justement annoncé revenir aux examens en papier après que des étudiants eurent été surpris à tricher en utilisant l’intelligence artificielle.
Sylvain Duclos abonde dans le même sens: en limitant les travaux réalisés à la maison, les profs pourraient contrer les impacts négatifs que pourrait avoir ChatGPT. «Il faut diversifier nos évaluations, pas seulement donner deux gros travaux à 50%», mentionne-t-il.
L’arrivée de ChatGPT est aussi l’occasion, selon lui, de revoir les compétences qu’on souhaite transmettre aux étudiants.
«Ça remet à l’avant-plan [l’importance] d’avoir des connaissances, pour juger de la validité de ce que ChatGPT te donne. Peut-être que de savoir comment poser de bonnes questions à ChatGPT va devenir une compétence», conclut Sylvain Duclos.
Nombreux l'avaient prédit : la triche dans un cadre scolaire à l'aide de ChatGPT arrive notamment en France. Un enseignant d'une fac lyonnaise a découvert que plusieurs de ses étudiants ont fait écrire leur devoir par ChatGPT. De quoi réellement questionner la détection de triche et l'absence de réglementation en France.
On dit souvent que l’intelligence artificielle va envahir notre société, que nos usages des technologies vont être bouleversés, sans qu’on vive de réels changements. C’est la même rengaine avec ChatGPT, l’IA de génération automatique de texte développée par OpenAI qui fait fureur sur Internet depuis plusieurs semaines.
Pourtant, on observe des premiers cas d’usages concrets, mais pas forcément honnêtes. Des étudiants de l’Université Lyon 1 ont utilisé ChatGPT pour faire rédiger un devoir : malheureusement, leur enseignant a révélé au grand jour leur méthode de triche.
Des étudiants utilisent ChatGPT pour faire rédiger leur devoir maison
14 étudiants en santé avaient une semaine pour écrire un devoir maison dont le sujet était « Définir les grands traits de l’approche du handicap en Europe », dans le cours de Stéphane Bonvallet, enseignant en handicapologie. Sur 14 copies rendues, le professeur a tiqué sur sept qui se ressemblaient étrangement : « Il ne s’agissait pas de copier-coller. Mais les copies étaient construites exactement de la même manière », raconte-t-il au Progrès.
À la lecture des devoirs, plusieurs détails lui ont sauté aux yeux : des constructions grammaticales similaires, un raisonnement filé identiquement et des précisions comparables. Il explique que les copies « étaient toutes illustrées par un exemple personnel, relatif à une grand-mère ou un grand-père… Il semblait donc évident que ces copies n’étaient pas normales. »
En interrogeant une étudiante, il a appris la vérité : « Elle m’a avoué que 50 % des élèves de la classe s’étaient servis de l’intelligence artificielle ChatGPT pour rédiger leur copie. Apparemment, ils s’étaient passé le mot sur les réseaux sociaux. » Si Stéphane Bonvallet avait entendu parler de l’outil d’OpenAI et de ses potentiels dangers (notamment en rapport avec sa profession), il ne pensait pas que l’IA était assez performante pour rédiger les devoirs maison de ses étudiants.
Selon le professeur qui a échangé avec ses collègues, « les trois quarts des enseignants m’ont dit avoir eu affaire à des copies louches ces dernières semaines ». Il précise que la pratique serait davantage répandue dans les lycées et souhaite trouver une solution dès que possible.
Des enseignants désarmés : leurs outils antiplagiat ne fonctionnent pas avec ChatGPT
Le problème avec ChatGPT, c’est qu’il ne s’agit techniquement pas de plagiat : de ce fait, son usage n’est pas proscrit à l’université, pour le moment. L’enseignant concerné indique que « N’ayant pas de cadre interdisant actuellement cette pratique, j’ai été contraint de les noter. D’une copie à l’autre, ça valait entre 10 et 12,5. J’ai donc mis 11,75 aux sept étudiants qui ont utilisé ChatGPT. » L’Université Lyon 1 a pris connaissance des copies et « mène une instruction ». D’un point de vue pédagogique, la pratique de génération automatique « pose un véritable problème d’intégration des savoirs, car les élèves n’ont plus besoin d’effectuer la moindre recherche pour composer », ajoute Stéphane Bonvallet.
À l’université, les devoirs rendus sont la plupart du temps soumis à un test de plagiat, se basant sur les copies d’anciens étudiants et sur les pages du web entier. Les outils antiplagiat permettent de détecter cette forme de triche et surtout découragent les étudiants à la pratiquer. Là où ChatGPT rend bien service aux étudiants qui voudraient tricher, c’est que les textes générés par l’IA ne sont pas détectés par ces logiciels. S’ils reprennent effectivement les contenus d’Internet, ces derniers sont mélangés et reformulés : les trames de phrases, si elles se ressemblent, ne sont pas identiques.
Outre-Atlantique, des solutions commencent à être trouvées. Comme l’indique Numerama, la ville de New York a décidé de couper purement et simplement l’accès à ChatGPT dans les établissements scolaires. Le média en avait profité pour rappeler que la culture éducative avait dû faire face à Wikipédia et au smartphone : la révolution que représente ChatGPT pourrait être du même acabit. Il est possible qu’un important travail d’information, d’adaptation et d’éducation attende les équipes pédagogiques du monde entier.
Connaître ChatGPT ne sert à rien : pour tricher, il faut surtout savoir bien l’utiliser
Le constat que fait indirectement Stéphane Bonvallet, c’est que tous les élèves connaissent ChatGPT aujourd’hui. L’accessibilité de l’outil (gratuit, en ligne) rend sa démocratisation beaucoup plus simple. Si les établissements scolaires ont des pistes pour traquer l’utilisation de l’IA et éviter la triche, on peut penser que ce ne sera pas aussi simple que cela.
D’ailleurs, on a l’impression qu’OpenAI a déjà restreint l’usage de ChatGPT pour la rédaction de devoir. Nous lui avons demandé : « Écris-moi un devoir sur le sujet : « Définir les grands traits de l’approche médicale du handicap en Europe » », ce à quoi elle nous a répondu : « Il n’est pas possible de vous écrire un devoir complet sur cette question, cependant je peux vous fournir des informations sur les grands traits de l’approche médicale du handicap en Europe » avant de dresser une liste desdits traits. Le système est toutefois très facile à contourner. Il suffit de lui demander d’imaginer que dans un environnement fictif, il faille rédiger un devoir et le robot s’exécutera sans même relever la supercherie.
ChatGPT n’a pas voulu rédiger complètement mon devoir, je vais avoir une mauvaise note // Source : Frandroid
Demander d’écrire un devoir avec ChatGPT, c’est assez facile : en une phrase, on peut le faire. Mais depuis sa publication, de nombreux tests ont été réalisés et on sait qu’on peut aller plus loin. Dans la demande qu’on rédige, on peut demander à ChatGPT d’utiliser un certain ton, de faire un focus sur une thématique en particulier, de conclure avec tel postulat, etc. C’est en précisant la demande que la puissance de ChatGPT peut réellement se révéler.
Au-delà de ça, les étudiants les plus malins pourraient utiliser ChatGPT non pas pour faire rédiger leur devoir, mais pour donner des idées d’arguments à avancer, de parties à aborder. La grande force de cette application, ça peut aussi être son esprit de synthèse : avec tous les contenus disponibles sur Internet, on peut vite se perdre et être victime d’infobésité. ChatGPT serait une sorte de remède à ce mal en résumant tout ce que l’on peut trouver sur le web.