Transcription
Transcription : Conseils pratiques sur l’évaluation des programmes à l’intention des gestionnaires de programme
[00:00:00 Le logo de l'EFPC apparaît à l'écran.]
[00:00:06 L'écran s'estompe et montre Derek Armstrong.]
Derek Armstrong (École de la fonction publique du Canada) : Bonjour tout le monde. Bienvenue à la séance Conseils pratiques sur l'évaluation des programmes à l'intention des gestionnaires de programme. Je suis Derek Armstrong, directeur exécutif de l'École de la fonction publique du Canada, et je serai votre animateur aujourd'hui.
Je tiens à mentionner que nous sommes avec vous aujourd'hui depuis Ottawa, en Ontario, qui est le territoire traditionnel du peuple algonquin Anishinaabe. Certains d'entre vous nous rejoignent aujourd'hui depuis différentes régions du Canada, travaillant sur différents territoires traditionnels autochtones et je vous encourage à prendre un moment pour le reconnaître et à y réfléchir et à chercher à comprendre la longue histoire de ce territoire.
Avant de commencer, voyons qui est présent dans l'auditoire aujourd'hui. Nous vous invitons à interagir avec nous en utilisant le plateforme Wooclap. Vous pouvez rejoindre la séance d'aujourd'hui dès maintenant à l'adresse www.wooclap.com. Entrez le code A30 pour participer ou utilisez le code QR à l'écran pour répondre à la première question. Prenez un instant pour répondre à la question sur le lien entre votre travail et l'évaluation.
À la fin de la séance, vous aurez la possibilité de poser des questions. Pour envoyer une question, rendez-vous sur Wooclap, entrez le code A30 et recherchez l'icône de la bulle de clavardage en bas à droite de votre écran.
L'évaluation des programmes est une fonction importante qui touche la plupart des aspects des opérations gouvernementales, de la mise en œuvre des politiques, à la prestation des services. Beaucoup d'entre vous ont été directement ou indirectement impliqués dans le fonctionnement d'un programme et peuvent comprendre l'ampleur des questions qui peuvent être soulevées lorsqu'il s'agit de savoir si le programme a fonctionné comme prévu. La discussion d'aujourd'hui porte sur les approches qui vous aideront à vous préparer à l'évaluation d'un programme et à tirer profit des conclusions qui en découlent.
Nous avons avec nous aujourd'hui des personnes expérimentées issues à la fois de la communauté des programmes et de celle de l'évaluation.
[00:02:41 Danielle White, David Peckham, Kimberley Accardi, Jérôme Mercier, Gemma Irwin et Benoît Cadieux sont assis à côté de Derek Armstrong.]
Nos conférenciers et conférencières apportent plusieurs perspectives importantes et des leçons de leadership du point de vue du gestionnaire de programme et du responsable de l'évaluation.
Tout d'abord, le secteur des programmes sociaux et culturels au Secrétariat du Conseil du trésor et ancien dirigeant principal de la vérification d'évaluation dans un certain nombre de ministères, le secrétaire adjoint David Peckham.
David se joint à Danielle White, sous-ministre adjointe responsable des politiques stratégiques au sein de Services aux Autochtones Canada. Danielle dirige également la fonction d'évaluation pour son ministère et apporte une grande expérience dans le domaine de l'élaboration commune de politiques.
Ensuite, nous accueillerons du conférencier qui dirige les équipes d'évaluation de leur ministère, Kimberly Accardi, directrice générale de l'audit et de l'évaluation de ISTE et Jérôme Mercier, chef de l'évaluation des EDSC.
Pour clore la discussion et partager leur sagesse du point de vue des programmes, nous avons deux panélistes qui ont dirigé leurs équipes de programme à travers différents types d'évaluation. Tout d'abord, Gemma Irwin, directrice du programme Grappes d'innovation mondiales d'ISDE, et Benoit Cadieux, directeur de la politique sur les prestations régulières d'assurance‑emploi et les prestations d'assurance‑emploi pour pêcheurs d'EDSC. Merci d'être avec nous aujourd'hui.
Danielle et David, bienvenue. Commençons par l'évaluation du point de vue du gouvernement du Canada. David, vous avez une relation de longue date avec la fonction d'audit et d'évaluation d'un point de vue ministériel, en particulier à Services aux Autochtones Canada. En tant que responsable d'un organisme central, comment décririez-vous la valeur que les évaluations apportent aux programmes gouvernementaux?
David Peckham (Secrétariat du Conseil du Trésor du Canada) : Je vous remercie de votre accueil chaleureux et de m'avoir invité à participer à cet événement d'apprentissage avec mes estimés collègues. Je dirais que j'ai eu le privilège de constater l'évaluation sous différents angles. J'ai étudié l'évaluation à l'Université d'Ottawa. J'ai dirigé des programmes qui ont utilisé des évaluations. J'ai dirigé des fonctions d'évaluation. Et maintenant, je reçois les présentations au Conseil du Trésor et je les présente aux ministres, ce qui a (inaudible).
Donc, c'est vraiment un plaisir de participer à une activité dont l'objectif est d'aider les gestionnaires du programme à tirer le meilleur parti des évaluations, ainsi qu'à devenir des leaders en matière de culture, de résultats dans l'organisation.
La première chose que j'aimerais mentionner, c'est que les évaluations sont parfois considérées comme un simple outil de responsabilité ou de rapport, ou comme une chose nécessaire à faire qui n'est pas vraiment liée aux opérations quotidiennes du programme, et qui est presque considérée comme un fardeau. Je crois fermement qu'une fonction d'évaluation solide est une fonction d'apprentissage. Elle peut favoriser la responsabilisation, mais il s'agit aussi d'améliorer les programmes que nous avons mis en place pour les Canadiens et Canadiennes, de sorte que vos partenaires puissent constater la différence dans ces programmes. Je suis un fervent partisan de l'évaluation, même si je ne travaille plus dans ce domaine, et je suis un fervent partisan de son utilisation; je vais donner la parole à ma bonne amie et collègue, Danielle. Quelle est, selon vous, la valeur de l'évaluation?
Danielle White (École de la fonction publique du Canada) : J'aborde cette question de deux points de vue différents. D'une part en tant que responsable de l'évaluation pour SAC, et d'autre part en tant que SMA de la politique stratégique. Je vois la valeur en termes de vision à long terme et de planification politique pour le ministère, mais j'ai également deux programmes sous ma responsabilité, qui feront tous deux l'objet d'une évaluation au cours de l'année à venir. En ce qui concerne les programmes, les deux initiatives que nous évaluons et qui relèvent de ma responsabilité sont relativement récentes. Si elles relèvent de la politique stratégique, il y a de fortes chances qu'il s'agisse d'initiatives de type innovation dont le lancement et la mise en œuvre ont nécessité un travail considérable. Mais inévitablement, certaines choses vont bien se passer, d'autres moins, et il est possible que certaines de nos hypothèses initiales sur la manière dont le changement va se produire aient été erronées.
J'y vois l'intérêt, du point de vue d'un gestionnaire de programme, de pouvoir prendre du recul, de poser des questions fondamentales et d'obtenir des conseils objectifs afin de continuer à améliorer ce que nous essayons d'accomplir et la manière dont nous servons nos partenaires. C'est une occasion d'apprentissage et d'amélioration continue, mais je vois aussi, d'un point de vue stratégique, la valeur de notre travail d'évaluation. Nous venons d'achever une synthèse de toutes nos évaluations sur les sept ou huit dernières années, de milliers d'entretiens avec des informateurs clés, et nous avons pu dégager des tendances très communes qui seront prises en compte dans notre planification à moyen terme et dans notre planification des ressources humaines. Une chose qui s'est avérée être un véritable défi lorsqu'il s'agit de fournir des services pour la communauté est le taux élevé de rotation de notre personnel. Nous avons constaté ou commencé à constater, non seulement dans un programme ou un secteur particulier, mais aussi programme après programme, des difficultés liées au manque de flexibilité de nos conditions d'emploi. Nous commençons à soulever des problèmes vraiment systémiques que nous pouvons intégrer dans notre planification future.
Derek Armstrong : Très bien.
David Peckham : Merci, Danielle, c'est un plaisir de savoir ce que vous faites à SAC, et je pense, en m'appuyant sur ce que vous avez dit, que la valeur de l'évaluation se situe vraiment au niveau de l'utilisation. Il s'agit des conclusions et des recommandations, et les rendre, je dirais, aussi praticables que possible est vraiment utile pour le programme, et je crois que ça vous aide aussi à comprendre certaines choses : comment atteindre les partenaires du programme? Comment gérer le programme de manière plus efficace? Comment fournir des données probantes à l'appui des demandes de ressources supplémentaires? Ce sont là plusieurs éléments que les gestionnaires de programmes peuvent tirer des évaluations, mais pour y arriver, il est très important d'expliquer aux responsables de l'évaluation l'usage qu'ils veulent faire des conclusions. Donc, si vous imaginez le monde d'une responsable de l'évaluation, vous entrez dans un domaine dans lequel vous n'avez peut-être aucune expérience, vous n'avez peut-être pas approfondi ce programme, vous ne savez que les informations fournies par vos collègues qui travaillent sur ce programme, et d'après mon expérience des deux côtés, ça détermine réellement l'utilité d'une évaluation.
Et aussi, lorsque les évaluateurs comprennent vos besoins, vos échéances, vos objectifs, ils peuvent essayer d'adapter la méthodologie d'évaluation en fonction de la situation. Donc, le Secrétariat du Conseil du Trésor encourage vivement les évaluateurs à envisager un large éventail d'approches et de méthodes lorsqu'ils travaillent avec vous.
Et je crois aussi que ça ouvre les yeux des gestionnaires de programmes sur ce que peut être l'évaluation. On a encore un peu l'impression que c'est très quantitatif ou qu'on ne va pas obtenir ces histoires et ce genre d'éléments qualitatifs auxquels on pourrait penser (inaudible) Danielle, mais je pense qu'il est vraiment important d'être conscient de toutes les méthodologies et de tous les outils de la boîte à outils.
Danielle White : Oui, absolument.
Vous avez raison David. C'est vraiment une question de collaboration entre les évaluateurs des programmes ainsi que des clients ou des partenaires qui dans certains cas, livrent les programmes et des services et c'est une opportunité. Je le vois comme vraiment un partenariat dans un sens, sans perdre notre objectivité, notre neutralité comme évaluateurs, mais de mettre l'accent sur notre objectif commun. C'est vraiment d'améliorer des services aux Canadiennes et Canadiens et d'assurer l'optimisation des ressources financières. Donc, dans ce contexte-là, c'est la mobilisation, la collaboration avec partenaires, sont des principes centraux pour notre pratique d'évaluation au service autochtone du Canada. Dans nos évaluations, nous cherchons toujours à solliciter la participation des communautés. Dans certains cas, de codévelopper les termes de référence pour des projets d'évaluation pour assurer qu'on pose des bonnes questions et qu'on respecte des expériences vécues de nos clients. Je n'aime pas le mot client, mais nos partenaires, c'est plus ce qu'on dit. Et en fait, c'est les programmes, les gestionnaires de programmes qui a ses relations avec... avec des partenaires, avec des intervenants clés. Donc, il faut vraiment travailler en étroite collaboration avec eux. Et je pense que l'approche de mobiliser, de mobiliser les groupes ciblés par nos programmes, oui, ça a une importance en particulier dans le contexte des services autochtones, mais je pense que c'est aussi pertinent pour n'importe quel programme au sein du gouvernement du Canada, quoi que ce soit des services pour des nouveaux immigrants, des Canadiens qui bénéficient des programmes d'assurance emploi, d'autres bénéfices social, des personnes âgées, qui bénéficient de certaines initiatives dans le domaine de la santé publique, et cetera. C'est eux qui sont les experts, qui ont des voix les plus important dans le contexte de notre travail.
David Peckham : Merci Danielle. C'est un excellent point. J'aimerais soulever quelques points, et le premier concerne les données. La difficulté d'obtenir des données de qualité est un problème depuis que j'ai commencé à travailler sur l'évaluation en 2009, et où en sommes-nous aujourd'hui? 2024? Je ne pense pas que ça ait changé, mais je crois que le besoin de données fiables est toujours le même, et quand je pense à ce que je présente aux ministres au conseil d'administration, par exemple, j'ai besoin d'avoir à portée de main ce genre de statistiques sur le nombre de partenaires qui ont été servies, sur les conséquences, sur la meilleure façon de mettre en œuvre ce programme particulier quand vous revenez pour un renouvellement, ce sont vraiment les choses que les personnes qui prennent les décisions veulent entendre, mais les données ne sont pas faciles à obtenir. Ce n'est pas facile de collecter ces données, ni pour les gestionnaires de programmes, mais c'est très important de le prendre en compte dès le début, de définir les exigences en matière de données, de les intégrer dans votre programme et de veiller à ce que les profils d'information sur le rendement, etc., soient mis à jour.
Et c'est une tâche difficile, je l'ai vécu, mais quand arrive le temps de l'évaluation, ça fait une différence énorme en termes d'efficacité de votre évaluation, et selon moi, ça vaut pour toutes sortes de données de mesure du rendement et pour les données que vous collectez en première ligne. J'aimerais également souligner que, et c'est une chose dont on ne se rend généralement pas compte, mais j'ai appris à apprécier, à reconnaître la valeur de la documentation d'un programme. Si vous examinez l'ensemble des programmes du gouvernement du Canada, je constate souvent qu'une évaluation est l'endroit où tout est écrit, l'histoire du programme, ce qu'il est censé faire, et même cette documentation de base est en fait extrêmement utile et n'est pas souvent reconnue. Je tenais donc à le mentionner également. Mais Danielle, que pensez-vous des données probantes, des évaluations et de ce dont nous disposons?
Danielle White : Oui, je ne suis pas en désaccord. Je pense que les données quantitatives sont un élément absolument essentiel pour expliquer le rendement d'un programme, et nous travaillons en étroite collaboration. Le dirigeant principal des données du ministère fait également partie de mon secteur. Nous travaillons en étroite collaboration avec notre équipe chargée des résultats et de la mise en œuvre pour nous assurer que les indicateurs de rendement sont justes. Nous fournissons ces informations dès le départ dans les présentations au Conseil du Trésor, de sorte que nous puissions espérer, dans cinq ans, lorsque nous évaluerons un programme, disposer de données solides. Je crois qu'il existe un énorme potentiel en termes de nouvelles technologies pour améliorer notre capacité à nous lier à des sources de données et à exploiter davantage de données non structurées, et nous disposons de ces éléments fondamentaux comme le recensement de la population. Dans notre contexte, nous disposons d'enquêtes sur les peuples autochtones. Il est donc possible de réaliser une étude longitudinale dans le temps.
Je tiens également à souligner l'importance des données qualitatives et la manière dont elles sont utilisées dans notre travail d'évaluation. Nous avons beaucoup de conversations individuelles et en petits groupes avec des partenaires, des informateurs clés, et ces conversations peuvent également générer des ensembles très riches de données qualitatives. Dans notre travail, nous cherchons à appliquer des méthodes d'évaluation qui sont davantage axées sur les visions du monde autochtones et qui reconnaissent et apprécient l'importance culturelle de certains de nos programmes, notamment l'eau potable, et nous nous assurons d'en tenir compte dans notre travail. Ça implique donc différentes manières de recueillir des données et différentes formes de données, je vais vous donner un exemple. Récemment, une équipe s'est rendue sur le terrain pour travailler avec un groupe de partenaires du programme et a préparé, dans le cadre de son travail, une sorte d'expression artistique de ce que le programme signifiait pour eux.
Il y a beaucoup de façons différentes de recueillir des données et c'est une source précieuse et importante de données probantes. Je pense que nous devons être conscients de nos propres préjugés quand il s'agit de ce qui constitue de bonnes données, et c'est réellement une chose que nous avons apprise de notre travail avec les partenaires autochtones, la façon dont nous racontons l'histoire, et en reconnaissant, oui, ce qu'est une donnée crédible et qu'elle se présente sous de nombreuses formes. Je crois que ce qui a motivé une partie de notre travail dans ce domaine et dans le contexte de SAC, c'est entre autres cette idée… je suis d'ascendance mixte micmaque et colons, et un aîné micmac a mis en place ce concept dont les gens ont peut-être entendu parler en micmac, qui s'appelle Etuaptmumk ou le double regard. L'idée c'est de voir d'un œil la meilleure façon autochtone de faire et de savoir, et de l'autre œil, le meilleur de la pensée et des pratiques occidentales, et vous les réunissez au bénéfice de tout le monde. C'est vraiment quelque chose que nous essayons d'appliquer dans notre pratique d'évaluation.
David Peckham : Merci pour ces remarques pertinentes. Il y a deux derniers points que j'aimerais mentionner dans mon introduction. Si je regarde en arrière, je pense que l'une des choses les plus intéressantes qui se soient produites est l'Analyse comparative entre les sexes plus. J'ai pu constater son évolution sur plusieurs années en tant qu'outil analytique pour soutenir le développement d'initiatives de gouvernement inclusif qui ne se limitent pas à savoir si les choses fonctionnent, mais aussi pour qui et dans quelle mesure elles fonctionnent pour différents groupes de personnes. J'ai l'impression que son intégration a fait une réelle différence dans ce que je vois maintenant, par exemple, dans les présentations au Conseil du Trésor, dans l'approche des personnes qui envisagent des aspects de la programmation auxquels elles n'auraient pas pensé auparavant. Je tiens à souligner que je considère qu'il s'agit là d'une évolution essentielle et très positive qui a permis de lutter contre les inégalités et de répondre à des besoins diversifiés. Le deuxième élément concerne le cadre de la qualité de vie, qui est un ensemble de données économiques, sociales et environnementales nationales et interconnectées, et qui aide les ministères à réfléchir aux répercussions de leurs programmes sur les personnes et leur bien-être. Et selon moi, il s'agit de se demander ce qu'est le succès. À quoi ressemble le bien-être des gens? En quoi est-ce que ça varie selon les contextes? Comment pouvons-nous le mesurer? Et c'est parfois très important de se poser ces questions, à la fois en tant que responsable de l'évaluation et en tant que gestionnaire de programme.
Tout à fait d'accord, surtout dans le contexte de l'ACS Plus comme un outil dans la pratique d'évaluation. C'est une lentille. Même dans le programme, c'est une lentille que les évaluateurs peuvent appliquer, pour meilleur comprendre comment des groupes de clients divers peuvent avoir l'expérience de notre programme et de voir la variabilité en termes des questions d'accès, de la participation et les impacts. C'est toujours important de considérer ces facteurs aussi pour mieux servir des Canadiennes et Canadiens.
David Peckham : Merci Danielle.
Derek Armstrong : Je vous remercie. Il y a des points vraiment importants ici et j'aimerais me pencher sur l'un d'entre eux, qui est l'idée que les données quantitatives et qualitatives peuvent être très importantes pour guider les évaluations, non seulement en termes d'évaluation en soi, mais aussi pour comprendre les programmes à l'avenir. Je tiens à vous remercier, David et Danielle, pour ces excellentes réflexions.
Il s'agit vraiment d'un point de vue convaincant sur le rôle que joue l'évaluation dans la responsabilisation, mais aussi dans l'introspection, d'autant plus que la situation budgétaire s'est resserrée. Les leçons tirées de l'évaluation pourraient jouer un rôle important dans la restructuration du passage du programme du Canada au nom de serment d'Hippocrate, à savoir s'abstenir de faire du mal. Et aussi en examinant les implications de nos décisions pour le système dans son ensemble.
Alors, La mise en pratique de tous ces éléments peut représenter un défi considérable ou une occasion tout aussi attrayante, et je suis ravi que nous ayons avec nous aujourd'hui un groupe de spécialistes composé de responsables de programmes et de leurs homologues chargés de l'évaluation, afin d'examiner les moyens qu'ils ont mis en œuvre pour assurer le succès de leurs projets. J'ai eu le plaisir de m'entretenir avec nos panélistes avant l'événement et ils ont partagé de nombreux points de vue pratiques sur leurs expériences en matière d'évaluation. Plusieurs thèmes communs ont été soulevés, et nous aimerions les partager avec vous aujourd'hui.
Passons d'abord à Gemma Irwin, d'ISDE, et Gemma, parlez-nous du programme que vous menez.
Gemma Irwin (Innovation, Science et Développement économique Canada) : Bien sûr.
Derek Armstrong : Et quelles stratégies se trouvent dans le haut de votre liste pour une évaluation réussie.
Gemma Irwin : Merci, Derek. Merci, c'était vraiment bien de vous écouter d'abord, parce que je pense que tout ce que vous avez dit reflète vraiment ce que nous faisons dans notre programme. Je travaille au sein du programme Grappes d'innovation mondiales et nous avons récemment fait l'objet d'une évaluation. Nous venons d'apprendre aujourd'hui qu'elle est terminée, que nous avons achevé la mise en œuvre de toutes nos recommandations. C'est toujours agréable et gratifiant. Les grappes ont été créées en 2017 comme un projet sur dix ans pour développer des écosystèmes de pointe au Canada, et il y a cinq grappes indépendantes dirigées par l'industrie. Cette situation a donc posé de nombreux problèmes lorsque nous avons essayé de mettre en place un programme efficace dès le départ. Il fallait mettre en place cinq nouveaux organes et obtenir les bonnes données, les bons indicateurs. Et puis, il y a eu cette couche supplémentaire où je travaille, à ISDE. Nous avons géré le programme et ensuite nous avons eu ces bénéficiaires, mais ces bénéficiaires, au final, étaient aussi… le but du programme était vraiment de faire démarrer des projets de collaboration et d'encourager l'innovation. Le thème le plus important que j'aimerais partager avec vous aujourd'hui est celui de la communication, parce que nous nous sommes rendu compte, dès le lancement du programme, que nous pensions que les choses allaient bien. Ensuite, quand nous avons commencé à travailler avec nos collègues chargés de l'évaluation, et nous nous sommes dit, Oui, tout va bien, on est sur la bonne voie. Mais c'était une pièce de dix ans et nous devions nous préparer au renouvellement, et le moment était idéal avec nos collègues chargés de l'évaluation parce que nous avons collaboré dès le début, nous nous sommes mobilisés l'un envers l'autre.
Ce que j'ai trouvé très utile, c'est de pouvoir poser des questions aux deux parties, de se rencontrer, de discuter et d'approfondir certains enjeux et la manière d'analyser les données que nous avions. Et pour être tout à fait honnête, je ne pense pas que les données que nous avions envisagées au début du programme soient celles que nous utiliserons à l'avenir. Nous avons été reconduits dans le budget 2022 et l'évaluation a joué un rôle clé en tant que l'une des nombreuses sources de données que nous avons utilisées dans l'élaboration de notre présentation au Conseil du Trésor. Elle a permis d'étayer les arguments en faveur d'un renouvellement, mais… il a fallu plusieurs années pour développer ces arguments. Il a fallu plusieurs années pour que les grappes prennent leur envol. Ensuite, il nous a fallu un certain temps pour passer l'évaluation et voir où nous en étions, et aujourd'hui, nous sommes dans une situation complètement différente de celle où nous avons commencé. C'était vraiment bien de travailler avec l'équipe. La dernière chose que je dirais, c'est qu'en tant que gestionnaires de programmes, dont plusieurs, j'imagine, nous regardent aujourd'hui, c'est décourageant, quand on se lance dans la fonction d'évaluation, de savoir ce qu'on va examiner, mais je crois qu'il faut vraiment avoir la volonté d'apprendre et de travailler avec ces collègues et ne pas se contenter de dire, d'accord, vous m'avez posé ces questions, voici ma boîte d'informations et de données, et voilà. Ça ne fonctionne pas comme ça, mais c'est très facile d'adopter cette approche. Vous devez garder ces lignes de communication ouvertes.
Derek Armstrong : Merci, Gemma. Si je comprends bien, nous devons décrocher le téléphone et rester en communication constante.
Gemma Irwin : Absolument.
Derek Armstrong : Très bien. Merci beaucoup.
Kimberley Accardi, vous dirigez la fonction d'évaluation à ISDE. Compte tenu de ce que Gemma a partagé, quels sont les domaines que vous aimeriez développer ou que vous aimeriez ajouter?
Kimberley Accardi (Innovation, Sciences et Développement économique Canada) : Il y en a quelques-uns, David et Danielle ont évoqué la notion d'optimisation des ressources et vous avez parlé du contexte financier actuel. L'évaluation représente cette fantastique occasion de s'assurer qu'avec les ressources limitées dont nous disposons, que nous investissons notre temps, notre énergie et notre argent dans les bonnes choses pour servir les Canadiens et Canadiennes. Et donc, je pense que pour être capable d'y arriver, ça dépend des mentalités et Gemma en a parlé un peu en disant que ça peut être un peu intimidant de subir une évaluation. Certaines personnes ont les bras grands ouverts et d'autres pas tellement, et j'aime bien rappeler aux gens que vous paieriez des sommes énormes pour qu'une société de conseil vienne faire le type de travail qu'une équipe d'évaluation va venir faire. Nous allons fouiller dans vos données. Nous allons examiner des études de cas. Nous allons examiner les comparaisons avec d'autres administrations, les participantes à l'enquête. Il y a beaucoup d'informations riches qui, lorsque vous gérez un programme, une fois qu'il est lancé, c'est très difficile de trouver le temps de faire ces choses. Je dirais qu'il ne s'agit pas seulement d'apprendre, d'être ouvert et de communiquer, mais aussi de se pencher sur le processus, de nous inviter, de partager.
Une partie, pour moi, ça revient de partager qu'est ce qui est important pour vous? Comme quelles sont vos préoccupations? Y a-t-il des éléments avec lesquels, dans votre programme, vous avez des questionnements? Ce n'est pas juste les éléments traditionnels qu'on peut évaluer. Si vous me dites il y a quelque chose qui me chicote, j'ai une préoccupation, j'ai une incertitude. Si on fait la bonne chose, ça peut nous pointer dans une direction additionnelle pour vraiment rapporter la valeur ajoutée dans l'évaluation qui va vraiment bien informer les prochaines étapes pour le programme comme tel, pour l'investissement qui va avoir lieu. Pour moi, c'est très, très, très pertinent en tant que pas juste une communication active mais ouverte et franche des deux bords pour qu'on puisse parler de qu'est-ce qui va, puis qu'est-ce qui ne va pas?
L'autre chose que je mentionne toujours et dont vous avez parlé un peu, c'est que pour certaines données, il faut vraiment commencer par le début, et vous avez parlé de travailler avec votre dirigeant principal des données et de savoir à quoi ressemblent les éléments de mesure du rendement dans la stratégie de données, mais quand vous êtes une grande organisation comme ISDE, qui a toutes ces ententes de contribution, il s'agit aussi de savoir quelle est la clarté. Si vous gérez un programme, quelle est la clarté avec les bénéficiaires en termes d'attentes en matière de données? Avons-nous les mêmes définitions? Il faut s'assurer que les données arrivent de manière cohérente, parce qu'on ne peut pas les recréer cinq ans plus tard. Il s'agit d'établir une base solide pour tirer le meilleur parti de votre évaluation, et si vous n'avez pas encore fait votre évaluation après trois ans, c'est le bon moment pour vérifier. J'aime aussi souligner qu'une fin d'évaluation solide commence par un bon départ, avec des processus réfléchis. Vous ne communiquez pas seulement avec l'évaluation, mais aussi avec vos résultats, vos équipes de données et les bénéficiaires, pour vous assurer que vous avez les mêmes définitions de ce que sont les choses, de sorte que lorsque les données arrivent, vous pouvez les utiliser.
Derek Armstrong : Wow, c'est un très bon complément à ce que Gemma a soulevé. Nous devons comprendre l'importance de l'ouverture à l'apprentissage et de la capacité d'adaptation et d'évolution, même au cours de l'évaluation, pour atteindre les objectifs de ce que vous voulez apprendre, et sur le fait que les évaluations sont en quelque sorte une recherche gratuite, alors profitez-en. Merci, Kimberley.
Benoit Cadieux, vous avez vécu des expériences vraiment intéressantes à EDSC en travaillant sur le programme d'assurance emploi alors qu'il faisait l'objet de différentes révisions. Alors, pouvez-vous nous parler un peu de cette période?
Benoit Cadieux (Emploi et Développement social Canada) : Merci beaucoup Derek. Donc, oui, en effet, je suis Benoit Cadieux. Je travaille dans la politique de l'assurance emploi. Puis, durant les cinq ans, avec le programme de l'assurance emploi des derniers cinq ans, j'ai eu le plaisir de travailler avec Jérôme, ici, pour compléter trois évaluations en particulier. Puis, j'aimerais dire que chacune de ces évaluations-là, pour nous, l'objectif est très différent. Donc, la première évaluation qu'on a complétée, c'est une évaluation pour les prestations de maladies. Pour les prestations de maladies, pour vous donner un peu de contexte et des prestations qui existent depuis les années 70, elles n'ont pas vraiment changé. Donc, la grosse question était, est toujours bien pourquoi est-ce que vous faites une évaluation? Ça existe, ça fait 40 ans, ça n'a pas changé. Donc, qu'est-ce que vous… qu'est-ce que vous voulez aller chercher de cette… d'une autre évaluation? Il y en a déjà une, plusieurs qui ont été faites dans le passé. Donc, c'est vraiment la question à se demander en tant que programme…
Qu'attendez-vous de l'évaluation? Quel est l'objectif? Il s'agit également de travailler avec votre équipe d'évaluation pour déterminer clairement ce que l'évaluation va vous apporter. Quel était l'objectif initial du programme et comment l'évaluation peut-elle vous aider à déterminer si le programme continue à atteindre cet objectif ou non? Dans le cas des prestations de maladie de l'assurance-emploi, ce qui est intéressant, c'est que de nombreux intervenants, de nombreux gouvernements, ont fait pression pour qu'elles soient prolongées au-delà de 15 semaines. Les 15 semaines n'étaient pas suffisantes, elles ont été prolongées à 50, 26, 35, peu importe le nombre. Pour nous, l'évaluation ne visait pas tant à déterminer si le programme, tel qu'il était, fonctionnait. Nous savions que c'était le cas. Nous savions qu'il avait atteint son objectif. Il s'agissait de… vraiment, pouvons-nous intégrer une partie de cette analyse qui examine si une prolongation est nécessaire? Est-il nécessaire de passer à 52 semaines ou à 26 semaines? Que pouvons-nous obtenir? Il ne s'agit pas tant d'évaluer le programme lui-même que d'évaluer ce qu'il pourrait être, et de déterminer s'il est nécessaire ou non, et je dirais que le moment choisi était parfait, parce que peu de temps après, le gouvernement s'était engagé à prolonger le programme jusqu'à 26 semaines et, comme je l'ai dit, il y avait beaucoup de pression pour le prolonger encore plus. Les résultats de l'évaluation ont donc été extrêmement utiles pour expliquer pourquoi 26 semaines, c'était juste.
Donc, on a vraiment eu la chance d'utiliser les résultats pour informer nos soumissions au Conseil du trésor, qui sont venus par la suite, nos propositions budgétaires et tout ça. Donc, tout ça pour dire que je pense que le… quand tu… quand vous vous asseyez avec votre programme d'évaluation, le timing de l'évaluation est super important et super critique parce que ça va déterminer comment une seule information va être pour vous, pour informer ce qui vient par la suite.
J'aimerais simplement… est-ce que j'ai un peu de temps?
Derek Armstrong : Tout à fait, Benoît.
Benoit Cadieux : Pour les deux prochaines évaluations qu'on a faites, on a évalué les prestations maternité parentales.
Et c'était vraiment différent, parce que les prestations de maternité et les prestations parentales avaient subi de nombreux changements, des changements très récents. L'objectif était donc d'examiner l'impact de ces changements et de déterminer s'ils ont changé les choses. Sont-ils utilisés à leur pleine mesure? L'objectif était donc très différent. Il s'agissait vraiment d'examiner ce qui avait été changé récemment et de déterminer si ça fonctionnait, si ça faisait une différence. Je tiens simplement à le répéter.
C'est un exemple où on… Nous avons… On s'est assis ensemble, puis on a établi des objectifs très clairs de ce que nous, on voulait en ressortir de cette évaluation-là. Puis, je pense qu'à la fin, c'est à cause qu'on avait cette…
Cette compréhension mutuelle de l'objectif à atteindre, qui nous a beaucoup apporté. Nous avons obtenu… pour nous, c'était une évaluation très utile. La troisième évaluation que nous avons faite concernait un projet pilote qui a également été réalisé très récemment sur l'octroi de semaines supplémentaires de prestations aux travailleurs saisonniers. Encore une fois, c'était extrêmement utile, parce que ça a permis d'orienter les extensions futures de ce projet pilote et la mise en place d'options pour ce que nous pourrions faire ensuite, nos possibilités à partir de là. Je m'en tiendrai là, et oui, c'est mon expérience.
Derek Armstrong : Merci, Benoit. C'est un excellent exemple de la manière dont les évaluations peuvent être utilisées dans un ministère qui dispose d'une source de données assez riche, pour examiner différentes questions de politique en présence de faits. C'est un très bon exemple.
Je vous remercie. C'est toujours agréable d'avoir le dernier mot dans un panel. Vous avez passé plusieurs années à diriger des évaluations à EDSC. Comment trouvez-vous le lien entre ce que nous avons entendu aujourd'hui et vos propres conseils pour tirer le meilleur de… un meilleur parti de l'expérience d'évaluation?
Jérôme Mercier (Emploi et Développement Social Canada) : Merci, Derek. Toujours un plaisir d'avoir le dernier mot, mais c'est aussi un défi. C'est-à-dire où est notre plus-value. Mais non, c'est un plaisir. Merci pour l'invitation, puis pour cette belle discussion. C'est très, très intéressant.
Quelques thèmes qui ont retenu mon attention aujourd'hui, j'ai entendu parler de l'implication précoce, de la volonté d'apprendre les uns des autres, d'une communication ouverte, d'un canal de communication ouvert. Je crois que Benoit, vous faisiez allusion à la portée. Vous n'avez pas besoin d'appliquer la même portée à toutes vos évaluations, selon le programme. Et puis, il y a tout ce… parfois je l'appelle l'éléphant dans la pièce, ce sont les données. Nous en avons parlé un peu. J'ai l'impression que tous ces points, tous ces thèmes, indiquent que l'évaluation est une sorte d'entreprise collective. L'un de mes dictons préférés, c'est que l'évaluation est un sport d'équipe, mais pour qu'un sport d'équipe fonctionne, nous devons avoir une bonne compréhension de nos rôles respectifs en tant que membres de l'équipe. Je pense que Kimberley ou Gemma parlait de « apprenons à nous connaître ». Les responsables de l'évaluation interviennent, ils ont une expertise particulière sur la manière de faire les choses. Nous avons évoqué des sources de données quantitatives et qualitatives. Comment rassembler tous ces résultats et en tirer des enseignements? D'un autre côté, les analystes de programmes connaissent parfaitement leurs programmes, ils savent quels sont les compromis, et parfois ces compromis ne sont pas aussi évidents pour les responsables de l'évaluation, et c'est pourquoi ils doivent collaborer.
Comment officialiser ce partenariat ou ce travail d'équipe? Ça m'amène à la définition de la portée. À EDSC, l'une de nos pratiques consiste à établir formellement un plan d'évaluation, dans lequel vous exposez les questions d'évaluation que vous allez examiner et la manière dont vous allez le faire, et nous les présentons à notre Comité de la mesure du rendement et de l'évaluation pour qu'il prenne une décision. Certaines personnes considèrent qu'il s'agit d'une bonne pratique et je pense que c'est en partie parce qu'elle permet d'obtenir le soutien au niveau du SMA, que nous allons prendre du temps et des ressources et mener certaines activités d'évaluation. Ça pourrait éviter des discussions moins productives sur la portée et, dans le cadre de votre processus d'évaluation, ça peut également aider à gérer les attentes en termes d'art du possible, compte tenu des données disponibles auprès de la direction générale, voici ce que nous pouvons faire compte tenu de notre situation. Ce sont deux ou trois choses à garder à l'esprit. Ça revient un peu à ce que disait Benoît. Ce n'est pas parce que nous évaluons des programmes que nous les évaluons tous de la même manière. Quand il s'agit de la portée, il faut faire attention aux plans trop ambitieux (rires). Ce n'est pas nécessaire d'examiner tous les aspects des programmes, les programmes sont à un stade différent de leur, j'ai oublié…
Derek Armstrong : Cycle de vie.
Jérôme Mercier : Cycle de vie, et l'évaluation est un processus itératif. Je crois avoir entendu une fois dans un film : « Je reviendrai ». Il n'est donc pas nécessaire… il y a des moments précis dans un programme, il faut donc établir la portée en conséquence. Les questions ne doivent pas nécessairement toutes faire l'objet d'une évaluation. Une partie peut être réalisée par une bonne vieille analyse politique ou par un projet de recherche. L'évaluation présente des avantages comparatifs par rapport à ces fonctions. Comment en tirer parti? Des portées plus restreintes permettent de produire des rapports plus concis et plus clairs. Les données, comme le dit l'expression, l'évaluation repose sur de bonnes données, ce qui renvoie inévitablement à la stratégie de collecte des données du programme, et ce n'est pas… Je pense que c'est ce à quoi nous faisions allusion au début de cette discussion. Ce n'est pas une promenade de santé, et nous le savons. Souvent, les questions de stratégie de collecte de données se posent à un moment où l'accent est mis sur la sortie de l'argent et où la prochaine évaluation se situe dans un avenir si lointain qu'on se dit, « J'y reviendrai plus tard ».
Je crois que l'essentiel, c'est de ne pas viser la perfection absolue. Il s'agit de mettre en place les éléments fondamentaux… Je crois que j'ai entendu le terme « élément fondamental », sur lesquels vous pourrez vous appuyer. Enfin, gardez à l'esprit que, comme nous l'avons évoqué à propos du partenariat, l'évaluation peut aider les responsables de programmes à mener à bien leur mission. En tant que fonctionnaires, l'une de nos valeurs est de donner des conseils honnêtes et impartiaux aux décideurs, et la fonction d'évaluation interne actuellement mise en place dans le cadre de la politique de résultats nous donne l'occasion de le faire. Dans cette optique, je dirais peut-être ce qui suit. Laissons les faits parler d'eux-mêmes dans le cadre de nos documents d'évaluation. Évitez la tentation d'axer uniquement vos efforts sur ce qui fonctionne ou de mettre excessivement en contexte les résultats moins flatteurs de nos programmes. Cela dit, cette notion de dire la vérité au pouvoir s'accompagne de certaines responsabilités, et je pense que c'est là qu'intervient un partenariat constructif et collaboratif entre les programmes et l'évaluation (inaudible).
Derek Armstrong : Wow, merci Jérôme, c'était un excellent aperçu message et je pense que c'est très approprié que la personne qui termine ici cite Terminator dans un événement d'évaluation comme celui-ci. Je vous en remercie. Je voudrais revenir sur l'un des points que vous avez soulevés, qui est l'importance des données dans l'évaluation. J'aimerais revenir sur un point que Danielle a également mentionné, sur la manière dont les évaluations sont menées avec les partenaires des communautés autochtones. J'ai eu l'entretien le plus fascinant avec l'une des collaboratrices de Danielle, qui m'a expliqué que l'un des plus grands apprentissages réalisés dans le cadre de leurs évaluations avec les communautés autochtones consistait à ne pas collecter de données quantitatives, mais des données qualitatives par le biais de récits, et à comprendre que l'évolution des récits au fil du temps était tout aussi instructive et, d'une certaine manière, permettait de mieux comprendre l'impact des programmes sur les communautés que ne le feraient des données quantitatives. Selon moi, c'est une leçon pour nous, en tant que membres de la communauté d'évaluation ou membres qui mettent en œuvre des programmes, de garder à l'esprit que le quantitatif, le qualitatif, c'est une question de contexte, c'est une question de compréhension, et c'est très important de le garder à l'esprit. Merci. Merci beaucoup, Jérôme.
Nous avons eu un échange formidable entre panélistes, beaucoup de leçons, d'idées et de conseils pratiques différents, mais c'est maintenant le moment que vous attendiez sur la webdiffusion. La période de questions est ouverte. Nous avons une dizaine de minutes pour recevoir vos questions, si vous ne l'avez pas encore fait, et je crois qu'une invitation a été envoyée en ligne. Rendez-vous sur Wooclap, entrez le code A30, et recherchez l'icône de la bulle de clavardage en bas à droite de votre écran. N'hésitez pas à poser vos questions dans la langue de votre choix. Nous avons déjà reçu quelques questions au cours de la séance, je vais consulter l'écran et je crois que la première est pertinente pour toute personne qui effectue une évaluation. Avez-vous des conseils sur la meilleure façon de communiquer avec les responsables de l'évaluation lorsque vous examinez un projet de rapport et que vous n'êtes pas d'accord avec l'une des conclusions? C'est donc une question très universelle. J'aimerais savoir si l'un des membres du panel ici présent souhaiterait s'exprimer rapidement à ce sujet.
David, à vous la parole.
David Peckham : Oui, je vais y répondre parce que j'ai été des deux côtés de la barrière. Je crois que la première chose à faire est d'être factuel. Si vous avez un problème avec l'une des conclusions, c'est… les deux parties doivent examiner les faits dont nous parlons ici et se mettre d'accord, et c'est à ce moment que vous entrez dans l'interprétation et le contexte de ces faits. Du point de vue de la gestion du programme, il faut y aller avec une certaine introspection, en sachant que vous pourriez ne pas aimer ce qui a été dit, mais que si la conclusion est en fait valable, c'est peut-être plus la façon dont elle est présentée qui est importante, et avoir cette conversation. Je pense qu'en tant que responsable de l'évaluation, vous devez également conserver un jugement indépendant, mais ne pas le faire au point de penser que vous ne pourrez jamais faire marche arrière ou faire preuve d'une quelconque flexibilité lorsque vous discutez des conclusions. Selon mon expérience, ça fonctionnait mieux avec cette approche.
Derek Armstrong : Oui. Kimberley?
Kimberley Accardi : Pour poursuivre dans cette voie, nous avons parlé beaucoup de la communication ouverte et précoce et ce sont de très bons points. Je pense que toutes les tactiques que vous avez indiquées, c'est vraiment l'approche à adopter, mais c'est beaucoup plus facile à faire si vous avez déjà parlé à votre responsable de l'évaluation, si vous avez une approche d'activité de collaboration, et si les relations sont là. C'est comme n'importe quelle autre conversation que vous avez avec un intervenant où vous pourriez avoir un point de vue divergent. Si la relation est établie, c'est beaucoup plus facile de l'aborder, et si vous êtes dans le contexte ou dans le processus d'une évaluation, d'avoir ces premières conversations. Vous avez parlé de la transparence de l'établissement précoce de la portée sur le sujet, en demandant également à voir les conclusions préliminaires avant que le rapport ne soit rédigé parce qu'une fois fait… beaucoup de temps, d'énergie et d'efforts ont été investis dans la rédaction du rapport. Ça peut donc être très utile de faire une brève mise au point sur les conclusions préliminaires pour comprendre, Est-ce que j'ai manqué quelque chose? Y a-t-il des informations manquantes dont vous prenez compte aujourd'hui, qui pourraient amplifier, étayer ou fournir une analyse contre-factuelle? Je crois qu'il s'agit là de quelques éléments supplémentaires que j'ajouterais, en fonction de la conversation.
Derek Armstrong : C'est un excellent point. Dale Carnegie a toujours dit, dans son célèbre ouvrage How to Win Friends and Influence People, qu'il est beaucoup plus difficile d'amener les gens à revenir sur leur parole après avoir dit non, que d'influencer le fait qu'ils disent non au départ. Il s'agit là d'excellentes stratégies pour aborder cette question.
La question suivante demande quelles mesures peuvent être mises en place pour protéger les informations sensibles recueillies au cours de l'évaluation et pour rassurer les participants. Quelqu'un voudrait-il tenter de répondre à cette question? Et le sujet est peut-être plus pertinent pour certains de vos programmes que pour d'autres.
Jérôme Mercier : Peut-être que je peux. Je vais essayer de commencer au mieux de mes capacités, mais quand nous menons, par exemple, des lignes de données probantes qualitatives, il y a… et nous travaillons avec des spécialistes des renseignements personnels et d'un point de vue juridique sur la façon dont ces informations sont utilisées, comment nous protégeons l'anonymat, et comment ces informations seront agrégées de sorte que ce qui a été communiqué ne puisse pas être associé à l'individu en question. Un certain nombre de bonnes pratiques est déjà en place et j'encourage les personnes concernées à travailler avec les services compétents en matière de protection des renseignements personnels et de confidentialité au sein de leur ministère.
Derek Armstrong : Bon conseil, Jérôme. Danielle?
Danielle White : Je pense que ça devient un peu complexe. Oui, absolument, je pense que du côté des données, il y a des protections en place. Et ça peut être embarrassant quand on commence à travailler avec des programmes, et les gens qui travaillent dans ces programmes peuvent constater des lacunes, des problèmes, et ils hésitent probablement à en parler. Encore une fois, je pense que tout commence par l'établissement d'une relation de collaboration, d'une approche de confiance. Nous ne voyons rien dans nos évaluations qui soit imputable. Le fait de mettre en place un espace sécuritaire pour s'exprimer librement, de dire la vérité au pouvoir et de dire les choses telles qu'elles sont. Parfois, une évaluation peut être un moyen plus sûr de soulever un problème que de remonter la filière jusqu'au directeur et à la DG. Elle crée cet espace et je crois que les gestionnaires de programme doivent l'aborder dans cet état d'esprit. Vous devez vous dire que vous entendrez peut-être des choses qui vont vous déplaire, mais que ça fait partie du processus. C'est essentiel de créer ce type de confiance entre le personnel du programme et l'équipe d'évaluation.
Derek Armstrong : C'est un excellent point. Merci Danielle. Et ça me fait penser que c'est parfois plus facile pour quelqu'un d'autre d'évoquer les choses auxquelles vous êtes peut-être vous-même confronté et de les replacer dans leur contexte. C'est un bon conseil. Merci beaucoup.
Une autre question que nous avons également reçue est la suivante : comment nous assurer que l'évaluation comprend une analyse utile de l'ACS+ et de l'intersectionnalité pour notre programme? Nous en avons entendu un peu parler pendant nos remarques préliminaires, mais quelles sont vos réflexions collectives sur cette question, si quelqu'un souhaite commencer?
Gemma Irwin : Voulez-vous commencer ou... Je veux bien commencer. Je crois que je vais m'arrêter un instant pour réfléchir à la question, parce qu'en fait, on pourrait espérer que cette évaluation ait déjà été faite par les gestionnaires de programme avant d'arriver au point d'évaluation, mais du moins dans notre cas, avec l'évaluation de notre programme, il s'agissait vraiment d'avoir un deuxième regard et de prendre du recul. Sommes-nous en train d'atteindre nos objectifs, en particulier avec l'approche ACS+? Et sont-ils encore pertinents dans le contexte actuel? Parce qu'au moment où nous avons lancé notre programme et le moment de notre évaluation, quelques années s'étaient écoulées, mais ça nous a permis de nous préparer à renouveler le programme. Et nous avons réussi à le faire, mais nous devions aussi réfléchir aux objectifs de l'ACS+ qui devaient être appliqués à l'avenir, vous voyez? Il ne s'agit pas seulement de regarder en arrière. Et donc, je pense que le… ce n'est pas facile à analyser. Vous devez le faire au début, mais du point de vue de l'ACS+, vous devriez le faire assez régulièrement. Je ne dirais pas chaque année, mais vous devriez examiner votre analyse tous les deux ans pour vous assurer qu'elle est toujours sur la bonne voie et qu'elle est pertinente, selon moi.
Derek Armstrong : Merci, Gemma. Kimberley?
Kimberley Accardi : Non.
Benoit Cadieux : Si je peux ajouter quelque chose, je pense que du point de vue du programme, nous avons beaucoup parlé de la manière de rendre l'évaluation utile pour vous, et je crois qu'une partie consiste à… pour nous, dans l'assurance-emploi, nous avons des tonnes de données. Nous disposons d'un grand nombre de données administratives et autres, mais nous n'avons pas encore de bonnes données sur l'ACS+, et c'est un domaine qui, je pense, est considéré comme une occasion chaque fois qu'une évaluation est prévue. Intégrons une analyse de l'ACS+ autant que possible pour essayer d'en tirer des informations utiles. Je ne connais pas vraiment la réponse à cette question, mais je pense que si vous vous y prenez tôt et que vous collaborez avec votre équipe d'évaluation, que vous mentionnez que vous aimeriez qu'elle mette l'accent sur ce domaine, vous réussirez au moins à en obtenir une analyse ACS+ utile.
Danielle White : La seule autre chose que je voudrais ajouter, c'est l'importance d'incorporer les pratiques de l'ACS+ dans notre propre travail en tant que responsables de l'évaluation, donc oui, ce que le programme établit au départ (inaudible) et dans votre présentation au Conseil du Trésor, vous devez avoir le bon cadre, mais nous devons aussi joindre le geste à la parole quand nous sommes sur le terrain. Une chose que la pandémie nous a apprise, c'est l'énorme défi que présentait notre incapacité à se rendre dans la communauté et à rencontrer les gens en personne pour notre évaluation. Vous devez privilégier les réunions en face à face, créer ces occasions, fournir des services de garde d'enfants lors des groupes de discussion ou des réunions à certaines heures et appliquer toutes ces bonnes pratiques. C'est peut-être davantage la responsabilité des responsables de l'évaluation que des gestionnaires de programme, mais c'est également très important de s'assurer que nous créons toutes les occasions d'entendre la diversité des personnes qui bénéficient de nos services.
Derek Armstrong : Très bien. C'est un très bon point. Parfois, notre propre travail est directement affecté par les considérations liées à l'ACS+ et à l'intersectionnalité, ce qui pourrait fausser les résultats des évaluations que nous effectuons et les leçons que nous essayons de tirer. Ce sont des points très pertinents que vous soulevez.
Danielle White : Traduire dans d'autres langues, dans les langues autochtones, dans les langues des immigrants, pour que l'accès soit possible.
Derek Armstrong : En effet. Merci. Jérôme?
Jérôme Mercier : Je faisais allusion au fait que nous aimons élaborer des plans d'évaluation dès le début et les présenter à notre Comité de la mesure du rendement et de l'évaluation. Et oui, nous avons une demande particulière pour l'ACS+, mais c'est aussi l'occasion de gérer les attentes, une fois de plus, compte tenu des informations disponibles. C'est l'occasion de le faire. Et pour revenir sur votre point, il ne s'agit pas seulement d'une ACS+ quantitative. Vous pouvez également avoir une approche basée sur vos sources de données qualitatives.
Derek Armstrong : Merci Jérôme.
Kimberley Accardi : Bon, je crois que je vais répondre également, tout le monde l'a fait (rires). J'apprécie vraiment les choses et les solutions pratiques et tangibles qui ont été proposées sur le point de l'ACS+, parce que du point de vue d'ISDE, et un peu comme ce que vous avez mentionné, nous regardons… l'ACS+ fait partie de notre plan à chaque évaluation, mais en toute franchise, nous avons toujours l'impression que c'est un domaine plus complexe, en raison du manque de données pour obtenir les types de résultats, les types d'informations que nous voulons obtenir, la capacité de désagréger les données, de pouvoir raconter des histoires plus nuancées. Selon moi, il reste beaucoup de travail à faire dans ce domaine, et je suis vraiment contente d'entendre parler des actions tangibles que nous pouvons faire. L'une des valeurs, et j'aime en faire une plaisanterie, c'est que la beauté de l'évaluation est de partager ces informations avec le système, de sorte que nous puissions dire qu'une tendance commune, un défi ou un problème persistant chez nous, c'est d'avoir suffisamment d'ACS+, le type d'informations sur l'ACS+ que nous recherchons. Et nous voulons être en mesure de les avoir, parce qu'autrement, on ne fait que tourner en rond. Le partage de manière proactive des différentes tendances que nous observons dans toutes nos évaluations est vraiment utile pour fournir des informations, et c'est un point important.
Derek Armstrong : Très bien. Merci Kimberley. Et sans le vouloir, vous m'avez fourni un excellent tremplin vers notre prochaine question. Le simple fait d'avoir déjà défini vos questions importantes au début de votre évaluation ou même au début de votre programme aide à déterminer ce que vous voulez mesurer, atteindre, guider en termes de collecte de données et ainsi de suite. À cette fin, nous avons reçu la question suivante : quelles sont les meilleures pratiques pour la réunion de lancement, lorsque les responsables de l'évaluation et les programmes se rencontrent pour la première fois, par exemple? Nous prendrons une réponse à cette question, puis nous conclurons. Gemma?
Gemma Irwin : J'ai une courte réponse. Ça peut paraître anodin, mais c'est très important. Toutes les personnes impliquées dans l'évaluation doivent être présentes dans la salle, parce que l'une des choses que nous avons apprises dans le cadre de nos missions, c'est que les gestionnaires de programme ou les analystes ne sont pas toujours présents au tout début et se retrouvent impliqués par la suite. Et donc, si vous pouvez les impliquer et qu'ils ont une idée claire de ce qui va se passer, ne sous-estimez pas non plus les efforts qu'il faudra déployer pour travailler avec votre équipe d'évaluation pour obtenir un bon produit ultimement. Et quelqu'un a mentionné tout à l'heure, vous êtes coincé dans les opérations et c'est en fait l'équipe que je dirige. Nous sommes dans les opérations, donc coincés dans votre travail quotidien, mais vous devez en sortir et vous préparer pour soutenir l'équipe d'évaluation dans leur travail.
Derek Armstrong : Très bien. Merci beaucoup, Gemma.
Écoutez, nous avons eu un très bel échange aujourd'hui. Les questions et les conseils que nous avons reçus sont vraiment très instructifs. Danielle, j'aimerais vous donner un moment pour nous donner vos dernières réflexions.
Danielle White : Bien sûr.
Derek Armstrong : Et vos réflexions sur la séance d'aujourd'hui.
Danielle White : Tout d'abord, merci à vous tous. Merci à l'école pour avoir organisé la session aujourd'hui. J'ai bien aimé d'entendre des perspectives de tout le monde.
Je pense que si j'avais une dernière réflexion pour les personnes de la communauté des programmes que nous avons vraiment essayé de cibler avec cette séance, c'est de vous mettre au défi de penser à l'évaluation et d'entrer dans le processus avec cet état d'esprit évolutif, en vous disant qu'il s'agit de gérer le changement, de comprendre le monde qui nous entoure et de savoir comment mieux servir les Canadiens et Canadiennes. Les changements sont une constante. C'est… nous le vivons tous les jours. Nous ne pouvons pas être statiques et nous devons évoluer, nous adapter et innover au fur et à mesure. C'est une occasion, et j'aime beaucoup cette idée que l'évaluation est un sport d'équipe, et je pense, comme Kimberley, qu'il faut la considérer comme une occasion. C'est quelque chose qui est fait pour vous, et non pas à vous. Nous ne sommes pas l'auditeur général quand nous venons vous voir. C'est réellement l'occasion de creuser en profondeur, de mettre de côté le quotidien et de réfléchir réellement à la direction à prendre, à ce que nous essayons d'atteindre et à la manière dont nous y parviendrons ensemble. Et c'est là que je le vois aussi au niveau des cadres supérieurs, par notre communauté de l'évaluation et de la mesure du rendement. Je vois des gens qui hochent la tête et d'autres SMA qui constatent les leçons apprises et qui réalisent que nous tirons parti d'une évaluation dans un domaine particulier pour pouvoir l'appliquer ailleurs. Selon moi, c'est une formidable occasion d'apprentissage.
Derek Armstrong : Très bien. Merci beaucoup. David?
David Peckham : C'est toujours difficile de parler après Danielle, mais je dirais que l'évaluation constitue pour moi une fonction publique. Elle fait partie de notre identité et la participation à l'évaluation fait partie d'une fonction publique saine et forte. Comment pouvons-nous améliorer ce que nous faisons? Comment pouvons-nous obtenir les meilleurs résultats pour les personnes que nous servons? Pour moi, il s'agit là des principes fondamentaux, que l'on soit responsable de l'évaluation ou gestionnaire de programme. Donc, j'aimerais remercier encore un fois tout le monde. J'aimerais aussi dire que la politique et la directive sur les résultats, l'évaluation (inaudible) sur la mesure du rendement peuvent être trouvées sur le Web. Le portail des résultats du SCT sur GCpédia a beaucoup de lignes directrices et de matériel de ressource vraiment intéressant, mais merci beaucoup pour le conversation aujourd'hui. C'est un plaisir d'être avec un panel comme vous.
Derek Armstrong : Merci, David, et nous partagerons ces résultats et ces ressources avec vous. Eh bien, ils sont à l'écran en ce moment même pour ceux et celles d'entre vous qui suivent la webdiffusion, et nous vous les enverrons dans un message peu de temps après la séance.
Alors, avant de partir, nous aimerions avoir votre avis sur les sujets d'évaluation de programme dont vous aimeriez en savoir plus. Ajoutez vos suggestions en quelques mots dans le nuage de mots de l'équipe, qui l'équipe est en train de mettre sur l'écran maintenant.
[00:59:20 L'écran Wooclap s'affiche avec une série de réponses à la question « Quels sont les sujets d'évaluation de programme dont vous aimeriez en savoir plus? ».]
Enfin, reconnaissons la contribution de nos conférenciers et conférencières d'aujourd'hui. Les conseils ne sont que de la théorie tant qu'on ne les a pas vécus, et vous avez condensé le meilleur pour nous aujourd'hui. Merci beaucoup d'être avec nous aujourd'hui. Voilà qui conclut nos événements d'aujourd'hui et nous vous remercions de votre présence.
[00:59:43 Le logo de l'EFPC apparaît à l'écran.]
[00:59:52 Le logo du gouvernement du Canada apparaît à l'écran.]
