ChatGPT au banc d'essai : traduction, synthèse et défis

L’article de Shen, Chen, Backes et Zhang (2023) étant pris comme corpus de travail, nous avons, sous ChatGPT Plus avec GPT-4, réalisé un ensemble de prompts visant à produire un résumé en français de cet article long (21 pages au format PDF) en anglais, à créer une carte mentale de ce résumé (à partir d’un fichier textuel au format DOT copié depuis ChatGPT Plus et exécuté par Graphviz Online) puis à répondre de manière précise à un ensemble de 5 questions incluant, pour la dernière, la mise en œuvre de déductions simples à partir d’informations non totalement incluses dans le corpus. Notre contribution met en évidence trois écueils liés à cette utilisation de ChatGPT Plus : premièrement, le risque de production d’un résumé sur une partie du document uniquement, deuxièmement, la propension de ChatGPT à inventer des informations non incluses dans le corpus pour répondre aux questions posées et, troisièmement, le risque de baisse de fiabilité liée aux traductions entre le français (langue de l’utilisateur) et l’anglais (langue du document traité). Notre contribution documente la construction des prompts permettant de réduire l’effet de ces limitations de l’outil.