Transcription
Transcription : La solution Réponses IA, par Emploi et Développement social Canada
[00:00 Texte à l'écran : Projets alimentés par l'IA au sein du gouvernement du Canada; La solution Réponses IA, par Emploi et Développement social Canada.]
[00:00:03 Gil Côté apparaît en plein écran. Texte à l'écran : Gestionnaire de produit, Bureau de l'expérience Canada.ca, EDSC.]
Gil Côté : Merci beaucoup de nous avoir donné l'occasion de venir parler de Réponses IA cet après-midi.
[00:00:13 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Un plan pour Réponses IA sur Canada.ca .]
Gil Côté : Nous souhaitons simplement vous présenter l'historique et le contexte, ainsi qu'une petite démonstration. Nous entrerons également dans les détails de Réponses IA, nous regarderons un peu sous le capot, et Ryan nous guidera.
[00:00:28 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Le problème. Texte sur la diapositive tel que décrit.]
Gil Côté : Alors, pour l'encadrement, quelle est l'origine de Réponses IA? Nous savons que beaucoup de gens ont du mal à obtenir les réponses dont ils ont besoin lorsqu'ils naviguent sur Canada.ca. Comment le savons-nous? Nous recevons chaque jour environ 3 000 commentaires de gens qui ne trouvent pas les informations dont ils ont besoin. Et ce n'est pas nécessairement la faute de quelqu'un. Si on pense à un site de la taille de Canada.ca, avec le nombre de pages, le nombre d'institutions, la complexité des informations, ce n'est pas surprenant. Et nous pensons que l'IA peut aider.
Mais parlons un peu de l'impact de cette situation, lorsque les gens n'obtiennent pas les réponses dont ils ont besoin. Nous savons que lorsque les gens sont obligés de recourir à d'autres canaux et qu'ils ne peuvent pas utiliser le libre-service numérique, il y a un appel téléphonique ou une visite en personne.
[00:01:33 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Impact des échecs du libre-service. Texte sur la diapositive tel que décrit.]
Gil Côté : Nous voyons également de nombreux cas où les gens commettent des erreurs par accident. Si vous n'avez pas compris les critères d'admissibilité ou une date de dépôt, il se peut que vous fassiez quelque chose sans le vouloir, ce qui peut parfois s'avérer coûteux. D'un autre côté, nous savons qu'il est moins coûteux de permettre aux gens d'utiliser le libre-service. Nous pensons donc qu'il est possible de fournir ou d'obtenir des réponses à moindre coût. Nous savons également, et c'est un sujet important dans le contexte de l'IA, que lorsque les gens ne peuvent pas obtenir les services auxquels ils s'attendent en temps voulu, ils ont moins confiance envers le gouvernement.
[00:02:21 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : La vision. Texte sur la diapositive tel que décrit.]
Gil Côté : Cela nous amène à réfléchir à Réponses IA. Alors, qu'essayons-nous de faire avec Réponses IA? Nous essayons de donner aux gens des réponses rapides, exactes—c'est très important, nous allons le préciser un peu plus loin—et personnalisées sur les services du GC grâce à un système fondé sur l'IA.
[00:02:43 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Dans le domaine de l'IA, l'exactitude n'est pas une caractéristique—c'est une responsabilité du GC en matière de communication. Texte sur la diapositive tel que décrit.]
Gil Côté : Ainsi, en matière d'IA, les gens parlent souvent des hallucinations, c'est-à-dire le fait que les systèmes inventent des choses ou présentent des erreurs. Mais en réalité, l'exactitude n'est pas seulement une caractéristique à laquelle il faut penser, c'est aussi une responsabilité. La politique de communication prévoit que les chefs ministériels de la communication sont responsables de l'exactitude.
L'une des questions que l'on nous a posées à plusieurs reprises, et c'est une question légitime, est la suivante : pourquoi ne pas utiliser des solutions disponibles sur le marché? Pourquoi ne pas utiliser ChatGPT? C'est une bonne question. Nous avons réalisé des études comparatives sur d'autres solutions de clavardage créées en interne, mais aussi sur des systèmes tels que ChatGPT. Et nous savons que l'exactitude est loin d'être ce qu'elle devrait être. En utilisant un ensemble standard de questions qui sont souvent posées sur Canada.ca, ChatGPT était à environ 56 %. Et ce ne sera pas satisfaisant lorsque les gens rechercheront non seulement une réponse, mais une bonne réponse. Je vais donc passer la parole à Ryan, qui parlera lors de la diapositive suivante, qui parle vraiment de la différence entre ce que nous avons fait avec Réponses IA et ce que vous verriez dans une solution publique disponible sur le marché; que vous utilisiez Claude, ou ChatGPT ou n'importe quelle autre solution, quelle est la différence?
[00:04:00 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Comment nous obtenons des taux d'exactitude supérieurs à 90 %. La diapositive s'affiche brièvement et réapparaît plus tard.]
[00:04:18 Ryan Hyma apparaît en plein écran. Texte à l'écran : Gestionnaire de produit, Bureau de l'expérience Canada.ca, EDSC.]
Ryan Hyma : Pour répondre à la question de savoir comment nous atteignons nos taux d'exactitude, c'est grâce à l'ingénierie contextuelle propre au GC. Ce que vous voyez ici est une comparaison de haut niveau entre une expérience de clavardage commercial disponible sur le marché et un pipeline sur mesure conçu pour la fiabilité, la traçabilité et l'exactitude des réponses.
[00:04:39 Écran partagé : Gil Côté, Ryan Hyma et diapositive intitulée : Comment nous obtenons des taux d'exactitude supérieurs à 90 %. Texte sur la diapositive tel que décrit.]
Ryan Hyma : Le diagramme du haut représente une expérience de clavardage commercial. Une question est posée; elle passe à travers les garde-fous génériques conçus uniquement pour une protection générale contre les préjudices et généralement aucune protection des renseignements personnels. Le modèle génère une réponse en utilisant un contexte générique, puis il passe par un autre filtre de préjudice générique. Il n'y a pas d'alignement sur le GC, pas d'ancrage ministériel et pas de possibilité de découvrir la manière dont une réponse a été produite.
Passons maintenant à Réponses IA, le diagramme du bas, en allant de gauche à droite. À gauche, les garde-corps d'entrée sont beaucoup plus solides. Ils ne se contentent pas d'examiner les préjudices génériques; ils prennent également en compte la protection des renseignements personnels et les préjudices propres au GC. Les garde-fous comprennent des API algorithmiques, basées sur des GML, et de modération de la sécurité du contenu, qui forment ensemble un système de garde-fous à plusieurs couches. Ces couches détectent, bloquent et assainissent le contenu nuisible et les renseignements personnels avant qu'ils ne se propagent dans le reste du pipeline.
Dans la couche contextuelle centrale, le système s'appuie sur les instructions du système du GC, les scénarios ministériels fournis par les experts, le contenu Web exclusif du GC, les réponses aux questions précédentes et les réponses validées par les experts. Cela signifie que chaque réponse est fondée sur des données du GC plutôt que sur des connaissances génériques ou des données d'apprentissage périmées.
Plus à droite, au lieu de s'appuyer sur un GML, l'architecture décompose la tâche en un pipeline d'agents spécialisés plus petits. Cette approche multiagent produit des réponses plus cohérentes qu'une configuration à un seul agent. Elle présente également l'avantage d'être plus rentable, car ces petits agents ciblés utilisent moins de ressources informatiques tout en produisant des résultats de haute qualité.
Enfin, à l'extrême droite, des garde-fous améliorés vérifient l'exactitude, l'atténuation des biais, les préjudices propres au GC et la qualité globale avant que la réponse ne soit fournie. En bas à droite du diagramme, nous avons une boucle d'évaluation continue qui surveille l'exactitude et la cohérence. Cela se fait à la fois de manière automatisée par le biais de GML et avec des experts humains dans la boucle. En résumé, nous créons continuellement de nouvelles itérations, nous affinons les garde-fous, nous élargissons le contexte et nous améliorons les agents tout en maintenant la cohérence, l'exactitude et la fiabilité du système. À vous, Gil.
[00:07:13 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Démonstration .]
Gil Côté : Merci, Ryan. Je pense donc que c'est ce que je vais faire à ce stade, si j'arrive à le faire fonctionner.
[00:07:19 Gil Côté apparaît en plein écran.]
Gil Côté : Je vais passer à Réponses IA et montrer quelques questions à tout le monde, juste pour souligner que dans de nombreux cas je les avais sauvegardées, et je vais en profiter pour les poser. Voyons si je vais… Ce sont toujours les gremlins, les gremlins de présentation. Je vais donc mettre l'accent sur quelques points. Quelques fonctionnalités. Nous faisons généralement ceci dans le cadre d'une démonstration plus longue, mais cette démonstration est comprimée.
[00:07:27 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Réponse : Désolé, nous avons un problème de connexion au service en ce moment. Veuillez réessayer plus tard. Gil continue à travailler sur la page afin de la faire apparaître pour la démonstration.]
Vous remarquerez donc deux choses. Nous comprimons les informations en petites capsules compréhensibles. Leur but n'est pas de répéter toutes les informations. Elles ont pour but de les distiller pour qu'elles soient compréhensibles. Du point de vue de la conception, si vous regardez en bas, nous ne fournissons pas toute une liste de citations. Ça entraîne souvent des problèmes et de la confusion. Quelle est la bonne réponse? À laquelle doit-on faire confiance? Une citation. Il y a donc des aspects intéressants dans la conception globale de la solution. L'expérience utilisateur a fait l'objet d'une réflexion approfondie.
[00:08:44 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Gil tape une question : Je n'arrive pas à me connecter à mon compte). Réponses IA répond, comme décrit.]
Gil Côté : Je vais passer à une autre question, et je vais la coller ici. Nous recevons donc des questions. Le principal problème que les gens rencontrent avec le site du gouvernement du Canada est la connexion. C'est de loin le problème le plus fréquent.
Je vous montre donc un exemple d'une situation où, si je pose une question et qu'il ne sait pas la réponse, il posera une autre question. Il va demander des détails supplémentaires. Disons, par exemple, que je vais ici et que je réponds ARC. Vous m'avez donné suffisamment d'informations, j'ai le contexte dont j'ai besoin, et je vais avoir une réponse. Encore une fois, il faut se limiter à quatre phrases, donner une réponse concise, puis rediriger vers le contenu où se trouve la réponse. Et c'est ce que nous faisons ici.
Mais je l'ai fait intentionnellement parce que j'ai voulu mettre en évidence une autre caractéristique de la conception. Il n'y a que trois tours. On peut donc poser trois questions, je suppose que c'est deux tours, mais trois questions. Il s'agit d'une caractéristique de conception unique, car les solutions d'IA dérivent souvent à mesure qu'on leur pose de plus en plus de questions. Ainsi, du point de vue de la conception, il s'agit d'une caractéristique de conception.
[00:10:00 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Gil recharge la page Réponses IA et tape une nouvelle question : « Je m'appelle Alex Smith et j'ai perdu mon passeport. Quelqu'un peut-il m'appeler au 555-337-2333? » Réponses IA répond en expurgeant le nom et le numéro de téléphone fournis et en indiquant « Pour protéger votre vie privée, votre question n'a pas été envoyée au service d'IA. Demandez à nouveau sans noms ni détails d'identification. »]
Gil Côté : Je vais recharger et montrer quelques-unes des autres fonctionnalités intégrées dans Réponses IA. Encore une fois, c'est difficile à apprécier tant qu'on n'a pas exploré davantage. Quiconque a déjà eu à utiliser Canada.ca pour obtenir une réponse comprendra l'impact.
Ce que j'essaie de faire ici, c'est de démontrer. J'ai donc essayé de fournir, très rapidement, un nom et un numéro de téléphone. Et la solution que Ryan a mentionnée, soit des garde-fous d'entrée qui empêchent en gros l'envoi de renseignements privés au GML. Il y a donc des garde-fous pour la protection des renseignements personnels et un certain nombre d'autres choses qui sont intégrées, et la question ne sera même pas posée. Et Réponses IA informe l'utilisateur qu'il ne peut pas envoyer de renseignements personnels, car ils ont été expurgés. Certaines de ces fonctionnalités sont donc intégrées.
[00:11:04 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Gil recharge la page Réponses IA et tape une nouvelle question : « Quel âge faut-il avoir pour obtenir son permis de conduire? . » Réponses IA répond : « Veuillez consulter le site Web de votre gouvernement provincial ou territorial pour de plus amples renseignements. »]
Gil Côté : Je vais donc vous présenter une autre fonctionnalité qui, à mon avis, est très importante. Croyez-le ou non, il arrive souvent que les gens ne comprennent pas ce qui relève de la responsabilité fédérale, provinciale ou municipale. À l'heure actuelle, en fonction de la question que vous posez ou de ce que vous recherchez au sein du gouvernement du Canada, il se peut que vous ne puissiez jamais discerner, et ce n'est pas vraiment le travail du gouvernement fédéral d'expliquer le gouvernement et tous les services. Mais vous voyez ici qu'il y a une redirection. Il ne va pas vous donner une autre citation, mais il vous dit en fait que les permis de conduire ne relèvent pas de la responsabilité du gouvernement fédéral. Il s'agit donc d'une autre fonctionnalité intégrée très importante. Nous voyons beaucoup de situations que les gens ne comprennent pas.
[00:11:50 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Gil recharge la page Réponses IA et tape une autre question, comme décrite. Réponses IA répond, comme décrit.]
Gil Côté : Je vais maintenant montrer, et c'est intéressant, il y a eu une présentation sur les langues dans le domaine de l'IA. Je vais copier—désolé, je dois m'assurer que je copie bien, parce que je ne peux évidemment pas le saisir—je vais copier une question en arabe. Et la question en français est : « Je viens de France. Ai-je besoin d'un visa pour visiter le Canada? » Je vais envoyer cette question.
C'est donc un soutien linguistique complet pour tous les types de questions que vous recevez. Il est intéressant de constater que pour obtenir la meilleure exactitude globale dans toutes les langues, quelle que soit la langue dans laquelle la question est posée, il faut la traduire en anglais, répondre à la question, puis la retraduire dans la langue dans laquelle elle a été posée, même pour le français. Cela s'explique par le fait que les modèles d'IA sont dans l'ensemble bien meilleurs pour traiter l'anglais et fournir un niveau élevé d'exactitude dans cette langue.
[00:12:58 Écran partagé : Gil Côté, Ryan Hyma et la page Web « Réponses IA » du gouvernement du Canada. Gil recharge la page Réponses IA et tape une autre question, comme décrite. Réponses IA répond : « Aucune réponse à votre question n'a été trouvée sur les sites Web du gouvernement du Canada. » ]
Gil Côté : Je vais poser une autre question. Juste pour vous montrer—je pense que j'ai une limite maintenant—Le Père Noël existe-t-il? C'est le moment de la saison, on maintient un peu de légèreté en ce vendredi après-midi. Il y a beaucoup de sujets sur lesquels les gens vont poser des questions, et nous avons donc mis en place toutes sortes de garde-fous pour éviter les questions préjudiciables. Je ne voulais pas me retrouver dans ce genre de situation. Si le sujet ne relève pas d'un autre gouvernement, mais qu'il ne s'agit pas d'un sujet pour lequel le gouvernement du Canada peut fournir une réponse, nous aidons à rediriger les gens ou nous les informons que la réponse ne se trouve pas sur Canada.ca.
C'est tout. J'essaie simplement de mettre en évidence certaines des fonctionnalités qui sont intégrées dans la conception générale des solutions. Beaucoup de tests d'expérience utilisateur. Il s'agit en grande partie d'une conception qui permet de donner des réponses exactes, de mettre en place des garde-fous et de maintenir la confiance.
[00:14:14 Gil Côté apparaît en plein écran.]
Gil Côté : Je vais donc revenir en arrière et me rendre à la dernière—suis-je là? Je vais revenir. Je pense que la version de la présentation que j'ai sur mon ordinateur est un peu désynchronisée, mais je vais vous montrer la dernière—c'est la dernière diapositive de notre diaporama.
[00:14:34 Écran partagé : Gil Côté, Ryan Hyma, et diapositive intitulée : Feuille de route de haut niveau de Réponses IA. Diapositive telle que décrite.]
Gil Côté : Il s'agit de la feuille de route globale, et ce que je veux souligner ici, c'est que nous sommes en train de faire des tests et des essais. Nous l'avons fait pour plusieurs sujets qui touchent l'ensemble du gouvernement du Canada, et nous effectuons actuellement des essais pour EDSC, SAC, le Conseil du Trésor et d'autres organisations afin de comprendre comment ce sera mis en œuvre au sein des ministères, parce que ça n'a pas été intégré dans un modèle où quelque chose de magique va se produire au centre.
Quiconque travaille de près avec l'IA ou les données comprend que le contenu et les données sont en quelque sorte la matière première, les ingrédients dont l'IA a besoin pour réussir. Il s'agit d'une boucle vertueuse dans laquelle il faut travailler sur une chose et peaufiner l'autre. Il est donc très important de travailler en étroite collaboration avec les ministères pour comprendre comment nous traitons des sujets tels que la pourriture.
C'est pourquoi nous travaillons actuellement avec les institutions partenaires pour comprendre comment nous pouvons améliorer la solution et le contenu et continuer à fournir les réponses les plus exactes. Nous prévoyons de lancer un projet pilote au cours du prochain exercice, puis de le déployer sur Canada.ca.
[00:16:02 Écran partagé : Gil Côté, Ryan Hyma, et diapositive. Texte sur la diapositive : Des questions? Communiquez avec nous: Bureau de la transformation numérique, Service numérique canadien CDS.DTO-BTN.SNC@servicecanada.gc.ca]
Gil Côté : Je n'entrerai pas trop dans les détails. Voilà l'essentiel de notre présentation.
[00:16:08 Le logo de l'EFPC apparaît. Texte à l'écran : canada.ca/school-ecole.]
[00:16:14 Le mot-symbole du gouvernement du Canada s'affiche à l'écran.]
