Rapport final : Évaluation de la numérisation de la prestation des services de l'Agence canadienne d'inspection des aliments par le biais de la plateforme de prestation numérique des services

Sur cette page

• Sommaire
• Aperçu
• Contexte
• Vue d'ensemble et portée
• Méthodologie
• Observations et recommandations
  • Gouvernance
  • Expérience utilisateur
  • Financement
• Remerciements
• Annexes
  • Annexe 1 : Méthodologie
  • Annexe 2 : Limites et mesures d'atténuation

Sommaire

La plateforme de prestation numérique des services (PPNS) est composée d'un portail interne (gestion des relations avec la clientèle [GRC] de Microsoft Dynamics 365) et d'un portail externe (Mon ACIA) pour la prestation des services. Avant la mise en œuvre de la PPNS, la plupart des demandes de services auprès de l'Agence canadienne d'inspection des aliments (ACIA) étaient proposées uniquement par télécopieur, par courriel ou en personne dans un bureau de l'ACIA.

L'évaluation a analysé si l'utilisation de la PPNS par l'ACIA a permis d'améliorer l'expérience de service et les activités conformément à la Politique sur les services et le numérique du Conseil du Trésor. L'évaluation s'est également penchée sur l'expérience des utilisateurs au moyen d'entretiens avec les inspecteurs et d'un sondage, d'un examen de quatre services numérisés et de données recueillies antérieurement par l'ACIA auprès de clients externes.

Il a été recommandé que l'ACIA clarifie et consigne les obligations de rendre compte, les rôles et les responsabilités en matière de prestation de services numériques. Après avoir défini d'autorités claires, il est recommandé de mettre au point un plan stratégique et une feuille de route de mise en œuvre expliquant de quelle manière l'ACIA procèdera pour numériser ses services, notamment en améliorant l'interface utilisateur pour la PPNS. De plus, les formations devraient être mises à jour en fonction des versions futures prévues.

L'évaluation a révélé que 52 % du personnel de l'ACIA se dit insatisfait de la PPNS. Aucunes données exhaustives portant sur la satisfaction des clients externes à l'égard de Mon ACIA n'étaient disponibles. Dans l'ensemble, l'équipe d'évaluation n'a pas été en mesure de constater si les initiatives de numérisation mises en œuvre par l'ACIA au moyen de la PPNS ont amélioré l'expérience utilisateur en matière de service et les activités conformément à la Politique sur les services et le numérique du Conseil du Trésor.

Aperçu

La PPNS est une plateforme technologique intégrée qui met à profit plusieurs technologies commerciales disponibles sur le marché, utilisées à la fois par le gouvernement et l'industrie. La PPNS se compose d'un portail interne (GRC de Microsoft Dynamics 365) et d'un portail externe (Mon ACIA) pour la prestation des services. À l'origine, le projet de numérisation de la prestation des services à l'ACIA s'appelait Plateforme de prestation électronique des services (PPES). Le projet de PPES, qui a débuté en 2011, a pris fin en 2018. Depuis 2018, l'initiative est connue sous le nom de PPNS.

Avant 2017, la plupart des demandes de services auprès de l'Agence canadienne d'inspection des aliments pouvaient uniquement être envoyées par télécopieur, par courriel ou en personne dans un bureau de l'ACIA. En janvier 2017, l'ACIA a lancé Mon ACIA à titre d'interface externe de la PPNS. Les parties réglementées, l'industrie et le grand public peuvent utiliser Mon ACIA pour accéder à certains services disponibles en ligne. Mon ACIA offre une plateforme unique et intégrée de services en ligne permettant à l'Agence de soutenir tous les points d'interaction avec les clients. Le portail Mon ACIA permet aussi à l'industrie d'exécuter des opérations commerciales en ligne (par exemple, comme les demandes de licences).

La PPNS est un outil qui permet également au personnel de l'Agence de d'émettre des certificats d'exportation et des autorisations (par exemple, licences, permis, et enregistrements), de saisir des données d'inspection, de documenter les décisions en matière de conformité, de réaliser des examens techniques, de produire des rapports d'inspection, et d'évaluer et de gérer les risques.

La PPNS est la plus importante initiative de numérisation de l'ACIA. Sa portée actuelle et sa portée prévue consistent à englober la plupart des services transactionnels externes d'autorisation réglementaire de l'ACIA, tels que les licences, ainsi qu'une grande partie de la gestion interne des cas liés aux inspections. L'ACIA a également investi dans d'autres technologies et applications en dehors de la PPNS, qui n'ont pas été visées par l'examen mené dans le cadre de la présente évaluation.

Depuis l'exercice fiscal 2011 à 2012, l'ACIA a reçu un financement de plus de 120 millions de dollars pour appuyer la numérisation de la prestation des services. Le financement a commencé en 2011 afin de supporter le lancement et la planification de la PPES dans le cadre du plan de modernisation du système d'inspection de la salubrité des aliments du Canada. Ce financement a été suivi par un autre en 2015 alloué aux phases de mise en œuvre et de clôture du projet de la PPES, qui a pris fin en 2018.

Voici les objectifs initiaux de la PPES :

• Donner au secteur un accès à des services optimisés
• Donner au personnel de l'ACIA accès à de meilleures informations
• Permettre à l'Agence de mieux comprendre le contexte de risque
• Assurer un échange d'informations plus efficace avec les partenaires commerciaux

À l'origine, la PPES devait inclure l'enregistrement de toutes les entités externes, les autorisations, les certificats d'exportation, les tâches internes, les inspections et les activités d'application de la loi. L'ACIA a reçu les autorisations de dépenses nécessaires pour entamer le projet de la PPES moyennant un coût considérable estimé à 52,1 millions de dollars. Entre 2011 et 2018, l'ACIA a utilisé jusqu'à 49,4 millions de dollars du cadre financier en vue de mener à bien ce projet.

Contexte

La PPNS a été conçue pour appuyer les secteurs d'activité de la santé des animaux, de la protection des végétaux et de la salubrité des aliments. Sa création et son lancement ont eu lieu en 2018-2019, dans le contexte de la Loi sur la salubrité des aliments au Canada et de son règlement d'application.

Deux conséquences majeures en découlent :

1. Les utilisateurs internes du système provenaient principalement du secteur de l'alimentation.
2. Ces utilisateurs ont adopté la PPNS à un moment où ils passaient également d'une réglementation prescriptive à une approche axée sur les résultats, ce qui a eu pour conséquence de compliquer considérablement le contexte de gestion du changement.

Avec le développement des services externes, davantage d'utilisateurs internes ne provenant pas de la Direction générale des opérations accèdent au système. Il s'agit, par exemple, des spécialistes de la Direction générale des politiques et des programmes qui travaillent sur les autorisations préalables à la mise en marché, ainsi que du personnel de la Direction générale des affaires internationales qui appuie les certifications des exportations.

Vue d'ensemble et portée de l'évaluation

Les efforts de numérisation de l'ACIA visent à offrir des services numériques de bout en bout et des informations faciles à trouver et à comprendre. Ils visent également à accroître l'accès de l'industrie aux options de services en ligne et à faciliter l'accès aux marchés internationaux.

Objectif de l'évaluation

Déterminer si l'initiative numérique de l'ACIA par le biais de la Plateforme de prestation numérique des services (PPNS) a amélioré l'expérience utilisateur en matière de services et les opérations, conformément à la Politique sur les services et le numérique du Conseil du Trésor.

Portée de l'évaluation

L'évaluation portait sur la gouvernance et la responsabilité de la numérisation de la prestation de services par le biais de la PPNS en ce qui a trait à la stratégie et à la mise en œuvre. Elle était également axée sur l'expérience de l'utilisateur interne dans le contexte de la prestation de services numériques. Enfin, l'évaluation s'est attardée sur les activités visant à faire progresser la numérisation de la prestation des services à l'ACIA d'avril 2018 à juin 2023.

Utilisation des observations

Les observations de cette évaluation soutiendront l'intégration et la gestion des services par l'ACIA. Elles aideront également à déterminer ce qui fonctionne bien dans le cadre de l'initiative de numérisation par le biais de la PPNS et ce qui peut être amélioré.

Méthodologie

La méthode de recherche mixte conçue pour cette évaluation a permis d'intégrer sept sources de données en utilisant de nombreuses techniques de collecte et d'analyse des données. L'évaluation reposait sur les questions suivantes :

• 1. L'ACIA dispose-t-elle de processus de gouvernance efficaces pour soutenir la réussite de la mise en œuvre et de la supervision des initiatives de numérisation et des résultats?
• 2. Dans quelle mesure les initiatives de transformation numérique de l'ACIA améliorent-elles l'expérience utilisateur en matière de services et les opérations?
• 3. Comment l'ACIA a-t-elle dépensé les fonds prévus pour atteindre les résultats?

Les observations contenues dans la présente évaluation sont étayées par des données recueillies entre 2022 et 2023 auprès de diverses sources, notamment :

• au moyen d'un sondage interne auprès des utilisateurs auquel ont répondu 795 personnes;
• de démonstrations;
• de quatre études de cas, d'entretiens avec des employés de l'ACIA et des fonctionnaires d'autres ministères qui utilisent le portail GRC de Microsoft Dynamics;
• d'un examen des documents;
• d'un examen des données financières pertinentes

La Direction générale du développement des affaires, des services et de l'innovation (DGDASI) a fait appel à des développeurs pairs en vue d'analyser plus en profondeur les observations initiales.

De nombreuses parties prenantes internes et externes sont impliquées dans la numérisation de la prestation des services. Il n'a pas été possible de mener des entretiens avec toutes les parties prenantes. L'approche d'évaluation a utilisé un échantillon ciblé pour les entretiens. En d'autres termes, les personnes interrogées n'ont pas été choisies au hasard. L'équipe d'évaluation a fait face à des difficultés et retards pour recenser les documents et les membres du personnel ayant les informations essentielles à cette évaluation.

L'ACIA mène de nombreuses activités liées à la numérisation de la prestation des services. Il n'était pas possible d'évaluer tous les aspects de ces activités. En conséquence, l'équipe d'évaluation a porté son attention sur quatre services par le biais d'études de cas représentant les trois secteurs d'activité :

• Licences pour la salubrité des aliments au Canada
• Certificat de vente libre
• Certificat de circulation en territoire canadien
• Certificat pour l'exportation de bovins vivants

L'annexe 1 présente l'ensemble de la méthodologie, tandis que l'annexe 2 détaille l'ensemble des limites et mesures d'atténuation.

Observations et recommandations de l'évaluation

• Gouvernance
• Expérience utilisateur
• Financement

Gouvernance

À l'heure actuelle, la numérisation de la prestation des services de l'ACIA par le biais de la PPNS comprend deux parties distinctes :

• Les projets qui ont reçu un financement précis
• Le reste de l'initiative de numérisation des services par le biais de la PPNS

Le projet de certification électronique et de numérisation possède un cadre responsable clairement défini (le vice-président (VP) de la Direction générale des affaires internationales), des responsables fonctionnels (les directeurs généraux de la Direction générale des opérations et de la Direction générale des affaires internationales) chargés du projet, ainsi qu'un comité consultatif supérieur du projet de certification électronique et de numérisation à l'échelle du VP (CCSP-VP).

Par ailleurs, le reste de l'initiative n'a pas de responsable opérationnel ou de promoteur. Les entretiens et l'examen des documents n'ont pas permis de clarifier si la DGDASI ou la Direction générale des opérations détient le rôle de chef de file ou l'autorité d'accorder la priorité à l'intégration des services ou des fonctions dans la PPNS.

Au cours de la période examinée par la présente évaluation, de nombreux organismes de gouvernance différents étaient responsables de la numérisation de la prestation des services par l'entremise de la PPNS, notamment le Comité directeur des priorités stratégiques en 2019, le Comité directeur des services numériques en 2021 et le Comité de triage à la fin de l'année 2022.

Le reste de l'initiative de numérisation prend appui sur les capacités développées dans la plateforme afin d'atteindre les objectifs du projet de certification électronique. De plus, le travail de développement de produits entrepris pour faire progresser le projet de certification électronique est cerné comme une priorité de l'Agence et progresse avec ses propres ressources dédiées au sein de la DGDASI. C'est ainsi que l'Agence fait avancer la prestation numérique de services en l'absence de plan stratégique.

L'incidence de l'absence d'une gouvernance et de responsabilités clairement définies s'est présentée comme une évidence lors des entretiens destinés à déterminer la portée avec les cadres supérieurs menés par l'équipe d'évaluation au printemps 2022.

En raison du manque de clarté en matière de gouvernance sur les plans tactique et stratégique, tant dans l'articulation du projet de certification électronique avec le reste de l'initiative de la PPNS qu'au sein de l'initiative elle-même, la numérisation de la prestation des services a connu des retards dans la réalisation de ses objectifs. La planification de l'initiative et les interdépendances entre les secteurs d'activités est les directions générales n'ont pas fait l'objet d'une analyse à l'avance. Cela s'est traduit par des modifications du projet qui ont influé sur l'affectation des ressources et les dates de lancement. De plus, en l'absence d'un point de gouvernance unique, les éléments relatifs à l'initiative de numérisation ont fait l'objet d'un signalement à plusieurs comités de gouvernance. Au sein de ces derniers, l'équipe d'évaluation a constaté des échanges limités avant l'approbation des éléments, ainsi que des directives limitées en ce qui concerne les rôles et les responsabilités.

Dans les entretiens, la rotation de près de 100 % des cadres supérieurs depuis 2019 a été citée comme un facteur aggravant les difficultés à créer et à suivre les plans prévus aux niveaux opérationnel et stratégique de l'initiative de numérisation.

À partir des études de cas, l'équipe d'évaluation a constaté qu'en l'absence d'une stratégie à l'échelle de l'agence, les secteurs d'activité et les directions générales ont des interdépendances et des priorités contradictoires en matière de numérisation des services qui ne sont pas gérées de manière efficace.

L'équipe d'évaluation s'attendait à ce qu'une personne ou un groupe soit clairement défini comme responsable de la numérisation de la prestation des services à l'ACIA, y compris pour la PPNS. Au fil des ans, cette responsabilité a changé à plusieurs reprises et n'est toujours pas claire.

L'un des objectifs de la Politique sur les services et le numérique(3.2.1) consiste à soutenir la prise de décision intégrée par la gouvernance, la planification et la production de rapports à l'échelle du gouvernement. Rien ne prouve que l'ACIA atteint cet objectif.

Il est essentiel d'établir une distinction entre les projets financés qui relèvent de l'autorité de l'ACIA et le reste de l'initiative de numérisation, car la gouvernance des premiers est plus robuste.

L'équipe d'évaluation s'attendait à voir un plan clair sur la façon dont l'Agence atteindrait l'objectif initial, qui était que 100 % des services soient accessibles sous forme numérique. Un plan stratégique global ne semble pas exister en raison d'un manque de rendre compte et de responsabilité pour la numérisation des services en général.

Il existe, certes, de nombreuses interdépendances au fur et à mesure que les secteurs d'activité numérisent leurs processus opérationnels existants. Toutefois, un plan stratégique dans lequel tous les services sont classés par ordre de priorité est impératif pour atteindre l'objectif de l'Agence. Par exemple, le secteur d'activité de la santé végétale a élaboré un plan de numérisation de ses activités en 2022, mais un plan global pour l'Agence est nécessaire en vue d'aligner et de hiérarchiser les multiples plans.

En juillet 2023, l'établissement des priorités était effectué par le groupe du développement et des opérations de la DGDASI, avec la contribution de la Direction générale des opérations et des secteurs d'activité.

Expérience utilisateur

• Utilisation de la PPNS
• Conception axée sur l'utilisateur
• Rétroaction
• Formation
• Soutien

Utilisation de la PPNS

En vue d'évaluer si la PPNS a amélioré l'expérience utilisateur de service et les opérations conformément à la Politique sur les services et le numérique du Conseil du Trésor, l'équipe d'évaluation a accédé à l'environnement de formation de la PPNS, a lu et a observé le matériel de formation, a interrogé le personnel et la direction dans les domaines opérationnels, a mené un sondage interne auprès des utilisateurs et a reçu des conseils de spécialistes externes des technologies de l'information (TI) familiarisés avec l'utilisation du portail GRC de Microsoft Dynamics.

Les inspecteurs interrogés ont indiqué à l'équipe d'évaluation qu'ils n'appréciaient pas l'utilisation de la PPNS. Les personnes interrogées ont attribué une note globale de 5,5 sur 10 à leur satisfaction à l'égard de la plateforme. Il s'agissait dans ce cas d'un petit échantillon de commodité (33). Par conséquent, l'équipe d'évaluation a décidé de mener une enquête plus large auprès d'environ 3 000 utilisateurs internes. 795 réponses ont été reçues. Le groupe de travail chargé de l'évaluation, composé de membres du personnel de tous les secteurs concernés de l'Agence, a contribué à la conception et à la mise à l'essai du sondage.

Au moyen du sondage, l'équipe d'évaluation a pu conclure que l'expérience des utilisateurs internes n'est pas satisfaisante et ne conduit pas à une amélioration de l'efficacité opérationnelle. La grande majorité des utilisateurs (78 %) ont déclaré qu'ils ne saisissaient pas de données dans la PPNS lorsqu'ils se trouvaient sur place pour une inspection. Ils choisissaient plutôt de prendre des notes sur papier, avant de les saisir sur la plateforme à leur retour aux bureaux de l'ACIA. Par conséquent, les inspecteurs investissent des efforts en double et consacrent des heures supplémentaires à la saisie des données. Lors de la création initiale de la PPES, l'intention était d'équiper les inspecteurs de tablettes afin qu'ils puissent accéder facilement aux renseignements pertinents (par exemple, les procédures d'inspection, l'historique de la conformité) sur place et enregistrer les constatations et téléverser les preuves recueillies dans le dossier d'inspection. Seulement 17 % des personnes interrogées ont reconnu que la PPNS faisait ce qu'elle avait promis de faire.

De plus, l'équipe d'évaluation a reçu des démonstrations et a assisté à une inspection afin d'approfondir sa compréhension des difficultés rencontrées par les inspecteurs. Au cours de ces expériences pratiques, nous avons constaté qu'il serait extrêmement difficile, bien que pas impossible, de transporter une tablette pendant une inspection en raison des exigences en matière de lavage des mains et de désinfection. Il peut également y avoir beaucoup de bruit sur les lieux d'inspection et des variations de température importantes. Ces facteurs rendent difficile de se concentrer pour remplir les nombreux champs de texte libre requis par la PPNS afin de mener à bien une inspection. De plus, les connexions Internet ne sont pas toujours disponibles ou fiables sur les sites d'inspection.

Version textuelle – L'incidence de la PPNS sur le travail quotidien

Capacité à recueillir des renseignements

• Incidence positive (4-5) : 33 %
• Incidence négative (1-2) : 49 %
• Aucune incidence (3) : 18 %

Charge de travail

• Incidence positive (4-5) : 22 %
• Incidence négative (1-2) : 53 %
• Aucune incidence (3) : 25 %

Temps nécessaire à l'accomplissement de mes tâches ou de mes fonctions

• Incidence positive (4-5) : 21 %
• Incidence négative (1-2) : 60 %
• Aucune incidence (3) : 19 %

Environ la moitié des répondants ont déclaré qu'ils n'étaient pas satisfaits de la PPNS et que l'utilisation de la plateforme influait négativement sur le temps nécessaire à l'accomplissement de leurs tâches ou fonctions. Les données correspondantes sur la satisfaction des clients externes à l'égard de Mon ACIA n'étaient pas disponibles. Cela complique l'évaluation de la mesure dans laquelle l'ACIA atteint les résultats escomptés de la politique.

Conception axée sur l'utilisateur

À l'automne 2021, le Comité consultatif supérieur du projet de certification électronique et de numérisation a décidé de privilégier la mise en œuvre des fonctionnalités essentielles de la plateforme plutôt que la numérisation des certificats d'exportation. Toutefois, des améliorations générales de la plateforme sont prévues à partir du printemps 2023 pour optimiser l'expérience des utilisateurs internes. Parmi celles-ci figurent l'ajout de champs de remplissage automatique, la validation automatisée des données pour éviter les erreurs de saisie des utilisateurs, ainsi que la mise à niveau vers la version du portail GRC de Microsoft Dynamics basée sur les réseaux en nuage pour accéder aux fonctionnalités les plus récentes.

Il est essentiel d'améliorer l'expérience de l'utilisateur interne en plus de proposer de nouveaux services. Les données exportées par la PPNS ne sont valables que dans la mesure où les utilisateurs les saisissent. Si les utilisateurs internes estiment que la saisie des données est fastidieuse, il existe un risque que les données obtenues soient inexactes et incomplètes.

80 % des utilisateurs internes ont également indiqué qu'ils devaient utiliser d'autres outils pour accomplir leur travail. Au nombre des personnes interrogées, 46 % mentionnent un chevauchement des efforts, ce qui diminue l'efficacité et engendre de la frustration. La résolution de ce problème sera complexe, car elle suppose non seulement des améliorations dans la conception de la plateforme, mais également un renforcement de la formation et de l'orientation des utilisateurs internes, ainsi qu'une gestion du changement favorisant une progression de la culture de façon à accepter la voie choisie par l'Agence.

Version textuelle – Cycle de 4 semaines

Sprint – Cycle de 4 semaines : Les mises à jour de la plateforme ont lieu au cours des sprints de développement : des cycles de 4 semaines pendant lesquels les activités d'entretien et d'élaboration sont traitées par l'équipe de développement de la Direction générale, des services numériques (DGSN).

Étapes en ordre afin de compléter le cycle sprint :

• Planification, priorisation et établissement du calendrier;
• Élaboration;
• Essai et acceptation;
• Déploiement

L'équipe d'évaluation a noté que l'expérience utilisateur n'est pas isolée de la conception et de l'interface de la plateforme. Au contraire, le travail requis avant la numérisation d'un processus opérationnel par le service des opérations est crucial pour cerner les besoins en ressources et en budget pour la DGDASI. L'équipe de transformation des végétaux a fait part de ses pratiques exemplaires dans le cadre d'entretiens sur des études de cas, où elle a indiqué que l'échange régulier avec les intervenants horizontaux était un facteur clé de la réussite de son travail de planification.

Les experts en la matière qui ont assisté à la présentation sur la PPNS en mai 2023 ont recommandé que les secteurs d'activité affectent des employés à l'équipe de développement de la PPNS afin de définir et d'affiner les exigences opérationnelles. Cela supposerait un investissement de la part du secteur opérationnel qui recevrait en retour un produit répondant mieux aux besoins des utilisateurs internes. Il faudrait que les utilisateurs finaux internes soient sollicités tout au long du cycle d'élaboration du produit et qu'un mécanisme de rétroaction soit disponible après le déploiement.

Les études de cas ont également souligné la nécessité d'une contribution et d'une rétroaction de la part de l'utilisateur final, ainsi que d'une mise à l'essai dans le cadre du cycle de développement. Des ressources devraient être mises de côté pour appuyer une rétroaction continue après le déploiement dans les secteurs concernés.

Rétroaction

Lors des entretiens avec les inspecteurs et des études de cas, l'équipe d'évaluation a recueilli des témoignages indiquant que les améliorations visant la plateforme suggérées par les utilisateurs n'avaient pas été mises en œuvre. Toutefois, lorsque des questions plus approfondies ont été posées, la grande majorité des personnes interrogées ne savaient pas comment soumettre un billet pour une demande d'amélioration de produit ou signaler un bogue. Seuls 13 % des répondants au sondage ont déclaré avoir soumis un billet.

L'équipe d'évaluation a pris appui sur l'expertise des membres du groupe de travail pour obtenir de plus amples renseignements sur le processus de soumission de billets pour une demande d'amélioration de produit ou le signalement d'un bogue. Par conséquent, nous avons été invités aux réunions des Services numériques – groupe de développement des produits (SN-GDP), nous avons interrogé des employés et des cadres de Développement des applications et technologies de la DGDASI (pour les utilisateurs internes) et de l'équipe Demandez à l'ACIA (pour les utilisateurs externes), nous avons examiné des sites SharePoint et des feuilles de calcul Excel pour suivre les rétroactions, et nous avons pris connaissance du nouveau comité de triage dirigé par la DGDASI.

Le processus de soumission d'une demande d'amélioration de produit n'a pas été clairement communiqué aux utilisateurs internes. De plus, les modalités de priorisation de ces demandes ont suscité l'insatisfaction des utilisateurs. La DGDASI a introduit une nouvelle méthode de soumission des demandes d'amélioration de produit en avril 2023, mais à ce moment-là, elle n'avait pas été communiquée au personnel.

Formation

Version textuelle – Satisfaction quant à la durée de la formation à la PPNS et de la satisfaction quant au contenu de la formation à la PPNS

Satisfaction quant à la durée de la formation à la PPNS

• Ne sont pas d'accord (1-2) : 41 %
• Sont d'accord (4-5) : 28 %
• Ne sont ni d'accord ni en désaccord (3) : 31 %

Satisfaction quant au contenu de la formation à la PPNS

• Ne sont pas d'accord (1-2) : 41 %
• Sont d'accord (4-5) : 31 %
• Ne sont ni d'accord ni en désaccord (3) : 28 %

Il convient de noter que les répondants au sondage se réfèrent uniquement aux utilisateurs internes de la PPNS au sein de l'ACIA.

Soutien

Les répondants au sondage ont indiqué que les procédures opérationnelles normalisées (PON) pour la PPNS correspondaient au type de soutien le plus couramment utilisé. Au nombre des répondants au sondage, 588 ont déclaré que les PON étaient à leur disposition et 91 % d'entre eux les ont utilisées.

Cependant, seul un tiers des personnes interrogées étaient satisfaites des PON. L'équipe d'évaluation a noté que de nombreuses PON ont été mises à jour après la période du sondage, en mars 2023, ce qui constitue une amélioration positive. D'autres ressources internes n'ont pas été mises à jour depuis 2019.

L'équipe d'évaluation a noté l'amélioration possible des efforts de gestion du changement visant à informer le personnel interne sur les points de soutien disponibles et à promouvoir la cohérence entre les zones géographiques au Canada. L'approche existante a contribué au manque de confiance et de satisfaction des utilisateurs.

Version textuelle – L'accès au soutien à la PPNS

Les services de soutien auxquels j'ai eu accès répondent à tous mes besoins

• Ne sont pas d'accord (1-2) : 30 %
• Ne sont ni d'accord ni en désaccord (3) : 33 %
• Sont d'accord (4-5) : 37 %

Les services de soutien auxquels j'ai eu accès ont été fournis en temps opportun

• Ne sont pas d'accord (1-2) : 26 %
• Ne sont ni d'accord ni en désaccord (3) : 34 %
• Sont d'accord (4-5) : 40 %

Je sais où me diriger pour obtenir un soutien

• Ne sont pas d'accord (1-2) : 23 %
• Ne sont ni d'accord ni en désaccord (3) : 25 %
• Sont d'accord (4-5) : 52 %

Je suis en mesure d'obtenir le soutien dont j'ai besoin pour utiliser la PPNS de manière efficace

• Ne sont pas d'accord (1-2) : 27 %
• Ne sont ni d'accord ni en désaccord (3) : 24 %
• Sont d'accord (4-5) : 49 %

Version textuelle – Satisfaction à l'égard du soutien à la PPNS

Je suis satisfait du soutien apporté à la PPNS

• Ne sont pas d'accord (1-2) : 32 %
• Ne sont ni d'accord ni en désaccord (3) : 33 %
• Sont d'accord (4-5) : 35 %

La satisfaction des utilisateurs internes à l'égard de la plateforme sera améliorée si l'on modifie l'interface utilisateur, mais des investissements dans la formation et le soutien sont également nécessaires pour que les utilisateurs soient plus confiants lors de l'utilisation de DSDP.

Version textuelle – Confiance en ma capacité à utiliser la PPNS

J'ai confiance en ma capacité à utiliser la PPNS

• Ne sont pas d'accord (1-2) : 40 %
• Ne sont ni d'accord ni en désaccord (3) : 19 %
• Sont d'accord (4-5) : 41 %

Financement

Pour répondre à la question « Comment l'ACIA a-t-elle dépensé les fonds pour atteindre les résultats? », l'évaluation s'est penchée sur deux enveloppes de financement reçues par l'ACIA aux fins de numérisation au cours de la période d'évaluation initiale.

• 27,2 millions de dollars sur cinq ans consacrés à la numérisation des certificats d'exportation (certification électronique) reçus en 2019
• 19,4 millions de dollars sur cinq ans et 4,8 millions de dollars en continu dans le cadre du projet Investir dans l'ACIA (I-ACIA) reçus en 2020

L'évaluation a également examiné 52,1 millions de dollars de financement depuis 2014 pour la PPES qui a évolué vers la PPNS.

Financement de la certification électronique

La phase de clôture de la vision du projet de certification électronique et de numérisation, créée par la Direction générale des affaires internationales (DGAI) à l'automne 2020, était prévue entre janvier et avril 2023. Au cours des exercices 2020 et 2021, l'ACIA a perdu 2,5 millions de dollars sur les 7,6 millions de dollars versés (33 %), car ces fonds étaient destinés à appuyer le déploiement des certificats en vue de leur adoption par le secteur. En raison des retards relatifs à la numérisation des certificats, les activités à l'appui du « déploiement de l'adoption » des certifications électroniques, initialement planifiées pour avril 2021, n'ont pas pu se dérouler comme prévu. Les fonds inutilisés ont été réaffectés à des années ultérieures. Un certain nombre d'obstacles inattendus ont ralenti les progrès en matière d'automatisation des certifications électroniques :

• Les intervenants ont cerné des défis à relever avant de pouvoir entamer la numérisation des certificats d'exportation. Il s'agit, par exemple, de la mise en place de fonctions critiques dans la PPNS avant la mise en œuvre de l'automatisation de la certification électronique, ainsi que de la résolution de bogues.
• La pandémie de COVID-19 a perturbé les travaux au cours des exercices 2020 à 2021 et 2021 à 2022.

Malgré l'interruption initiale, à la fin de l'exercice 2022 à 2023, l'ACIA a dépensé 88 % des fonds affectés au projet de certification électronique entre les exercices 2019 à 2020 et 2022-2023, et 70 % du total des fonds affectés au projet de certification électronique.

Financement du projet Investir dans l'ACIA aux fins de numérisation

Le projet Investir dans l'ACIA comprenait plusieurs initiatives de financement, dont une seule était pertinente pour la présente évaluation, à savoir la numérisation. L'évaluation n'a pas été en mesure d'examiner l'affectation des fonds destinés à la numérisation dans le cadre du projet Investir dans l'ACIA, étant donné que le financement n'est pas suivi par initiative dans le système financier de l'ACIA. La décision de suivre le financement et les dépenses pour des initiatives détaillées est laissée à la discrétion du cadre responsable initial et du chef de file de l'initiative. La décision de suivre, ou de ne pas suivre, les initiatives détaillées dépend de la complexité et de l'importance relative de chaque initiative, ainsi que des conseils et de l'orientation de la Direction générale de la gestion intégrée.

Les fonds reçus pour le projet de certification électronique ont été exploités pour élaborer et fournir les fonctionnalités de base de la PPNS, utiles pour la numérisation d'autres services. Les intervenants de la DGDASI estiment que le niveau d'effort nécessaire à l'intégration de nouveaux services sera nettement moindre que par le passé en raison du travail réalisé sur la plateforme au cours des trois dernières années.

Les résultats et les objectifs fixés pour le projet de certification électronique ont fait l'objet d'une révision en août 2023 à la lumière des défis rencontrés. Les propriétaires du projet de certification électronique estiment que les résultats et les objectifs révisés sont réalisables avec un financement supplémentaire (pour un coût total de 42,4 millions de dollars) et une prolongation du délai jusqu'au 31 mars 2025.

De plus, bien que cela dépasse la portée de l'évaluation, il convient de noter que l'Agence a reçu un financement dans le cadre de la réponse à la COVID-19 pour « aborder l'initiative d'entretien différé pour les services numériques ». Le projet de certification électronique a reçu 8,061 millions de dollars pour les exercices 2022 à 2023 et 2024 à 2025 afin de répondre à la capacité nécessaire pour mettre en place des fonctionnalités essentielles, à l'appui des certificats numérisés, sur la PPNS.

Progrès dans la réalisation des résultats et des objectifs repérés

En date du 31 mars 2023, l'ACIA n'avait pas atteint les objectifs prévus pour les indicateurs liés au projet de certification électronique et au projet Investir dans l'ACIA. Par exemple, dans le cadre du financement de la certification électronique, l'ACIA cherchait à traiter au moins 95 % des demandes liées à l'exportation par le biais de la PPNS d'ici les exercices 2024 à 2025. À la fin de l'exercice 2022, 6 % des demandes faisaient l'objet d'un traitement électronique.

L'ACIA a reconnu que les objectifs initiaux relatifs au projet de certification électronique n'étaient pas adéquatement définis. Les propriétaires du projet de certification électronique ont reconnu qu'au fil de l'élaboration de leurs indicateurs de rendement et de leur travail sur les résultats, ils ont constaté la nécessité de recadrer les indicateurs pour les rendre plus significatifs. En conséquence, les artefacts du projet de certification électronique ont fait l'objet d'une révision et d'une approbation à l'interne le 27 septembre 2023.

La portée révisée du projet de certification électronique est maintenant de 74 certificats destinés à TRACES, la plateforme de certification sanitaire et phytosanitaire en ligne pour les importations dans l'Union européenne (UE) et de 9 autres certificats, pour un total de 83, au lieu des 1 005 initialement prévus. Les responsables du programme ont expliqué que la plupart des 1 005 certificats correspondent à de faibles volumes d'exportation ou à des pays qui n'acceptent pas les certificats électroniques d'exportation.

En date du 31 août 2023, 21 services étaient actuellement en ligne via Mon ACIA. Vingt-trois services supplémentaires, dont dix-sept certificats d'exportation, étaient repérés comme « en cours de déploiement ». Ces services visent à solidifier le commerce international et à appuyer les entreprises canadiennes en favorisant une communication plus directe et fiable entre l'ACIA et les gouvernements étrangers.

Certes, des progrès ont été accomplis pour perfectionner la plateforme, mais les conclusions de l'évaluation concernant l'expérience des utilisateurs internes n'indiquent pas que les avantages et les résultats escomptés de la numérisation (sur la base du financement initial reçu pour la mise en place de la PPES) ont été atteints.

Remerciements

L'équipe d'évaluation tient à remercier tous les employés de l'ACIA au Canada, ainsi que les représentants d'autres ministères, qui ont participé aux entretiens et au sondage dans le cadre de cette évaluation. Leurs points de vue et leurs expériences ont été essentiels à cette évaluation.

L'équipe d'évaluation souhaite également remercier les membres du Comité consultatif d'évaluation de la PPNS pour leur expertise et leur coopération tout au long de cette évaluation.

Annexes

Annexe 1 : Méthodologie

Cette évaluation a porté sur la numérisation des activités de prestation des services de l'ACIA, qui s'est déroulée d'avril 2018 à juin 2023. C'est à cette période que s'applique la conclusion de l'évaluation.

L'équipe d'évaluation a interrogé plus de 85 employés de l'ACIA répartis dans tout le Canada. L'équipe d'évaluation a échangé avec des employés provenant de toutes les activités qui appuient la prestation de services à l'aide de la PPNS ou de Mon ACIA, y compris (mais sans s'y limiter) :

• la Direction générale des politiques et des programmes (DGPP);
• la Direction générale du développement des affaires, des services et de l'innovation (DGDASI);
• la Direction générale des opérations;
• la Direction générale des affaires internationales (DGAI);
• la Direction générale de la gestion intégrée (DGGI);
• la Direction générale des ressources humaines (DGRH) ;
• la Direction générale des sciences.

De décembre 2022 à janvier 2023, environ 3 000 employés de l'ACIA formés à l'utilisation de la PPNS ont été invités à répondre à un sondage conçu par l'équipe d'évaluation en collaboration avec les membres du groupe de travail des secteurs concernés de l'Agence. 795 réponses au sondage ont été reçues et analysées par l'équipe d'évaluation.

Par l'entremise d'un logiciel d'analyse qualitative des données et d'une analyse quantitative utilisant Excel, l'équipe d'évaluation a relevé des thèmes et des tendances dans les réponses au sondage.

L'équipe d'évaluation a également procédé à un examen approfondi de centaines de documents afin d'éclairer l'évaluation.

Cette évaluation a été soutenue par un comité consultatif composé de membres des directions générales concernées par la portée de l'évaluation, nommés par leurs vice-présidents respectifs. Ces membres ont donné leur avis sur le mandat de l'évaluation et les conclusions préliminaires, et ont confirmé l'exactitude factuelle du rapport final.

Entretiens

L'équipe d'évaluation a mené des entretiens avec 33 inspecteurs de l'ACIA en novembre 2022 et a constaté que de nombreux problèmes étaient fréquemment soulevés par les utilisateurs internes de la PPNS au Canada. L'équipe d'évaluation a cherché à déterminer si ces problèmes étaient rencontrés par l'ensemble des utilisateurs de la PPNS.

Sondage

Ce sondage volontaire a été lancé le 16 décembre 2022 et a été conçu pour répondre à l'une de nos questions d'évaluation : Les utilisateurs de la PPNS ont-ils pu naviguer dans le système pour saisir et/ou accéder aux données nécessaires pour mener à bien leurs activités et prendre des décisions éclairées?

Le sondage a exploré l'utilisation de la PPNS, l'incidence de la PPNS sur le travail, la satisfaction des utilisateurs, ainsi que la formation et le soutien disponibles pour les utilisateurs.

Le sondage s'adressait à tous les membres du personnel de l'ACIA formés à l'utilisation de la PPNS, qu'ils l'utilisent à l'heure actuelle, ou pas.

Toutes les questions n'étaient pas obligatoires; le terme « répondants » désigne le nombre de personnes ayant répondu à une question, sauf indication contraire.

Le sondage s'est déroulé du 18 décembre 2022 au 13 janvier 2023.

Le sondage a été distribué à 2 969 employés de l'ACIA et nous avons reçu 795 réponses, soit un taux de réponse de 27 %. La marge d'erreur était de +/- 2,97 % à un niveau de confiance de 95 %.

Études de cas

L'équipe d'évaluation a examiné quatre études de cas afin d'en apprendre davantage sur l'expérience de l'intégration de services numérisés du point de vue des propriétaires d'activités opérationnelles et d'autres intervenants internes. Les études de cas ont informé les conclusions et les recommandations relatives à la gouvernance et à l'expérience des utilisateurs.

Certificat de vente libre (CVL)

Le CVL est disponible pour les produits alimentaires fabriqués par des parties autorisées en vertu de la Loi sur la salubrité des aliments au Canada (LSAC) et du Règlement sur la salubrité des aliments au Canada (RSAC) lorsque cela est nécessaire pour répondre aux exigences des pays importateurs. Il s'agit d'un service de certificats d'exportation.

Le CVL a été choisi, car il utilise les renseignements déjà soumis pour la licence SAC afin de délivrer automatiquement le CVL.

Certificat de circulation en territoire canadien (CCTC)

Le CCTC s'inscrit dans le cadre des efforts visant à restreindre les mouvements de marchandises susceptibles de propager des organismes nuisibles au Canada.

Le CCTC a été choisi pour représenter le secteur d'activité de la santé végétale de l'ACIA. L'étude de cas sur le CCTC est la moins développée, son adoption devant débuter en 2024.

Certificat pour l'exportation de bovins vivants (CEBV)

L'ACIA a recourt à des certificats d'exportation électroniques pour l'exportation de bovins vivants vers les États-Unis à l'aide de Mon ACIA. Les exportateurs participants se trouvent à London (Ontario), à Saint-Hyacinthe (Québec) et dans les provinces de la Colombie-Britannique et de l'Alberta.

Le CEBV, proposé par le secteur d'activité de la santé animale, propose un aperçu du processus de développement, avec certains de ses composants déjà en phase initiale d'adoption.

Licences pour la salubrité des aliments au Canada (SAC)

Le Règlement sur la salubrité des aliments au Canada (RSAC) exige que les entreprises qui importent ou préparent des aliments destinés à l'exportation ou à l'expédition d'une province ou d'un territoire à l'autre soient titulaires d'une licence.

La SAC, la licence associée au RSAC, a été choisie pour l'étude de cas parce qu'il s'agit de la première licence numérisée dans le cadre de l'initiative de la PPNS, et qu'elle est entièrement intégrée depuis janvier 2019. La SAC a déjà défini des fonctions sur la PPNS, et l'inscription est requise pour les utilisateurs externes. L'étude de cas sur la salubrité des aliments au Canada (SAC) représente le secteur d'activité de l'alimentation de l'ACIA.

L'équipe d'évaluation a interrogé 38 employés de l'ACIA (anciens et actuels) dans le cadre des études de cas.

• CVL : 10
• CCTC : 3
• CEBV : 8
• Licence de SAC : 17

Les études de cas ont été guidées par les questions d'évaluation suivantes :

• Les modèles de gouvernance pour la mise en œuvre de la numérisation des services sont-ils efficaces?
• Quels sont les défis auxquels l'ACIA a dû faire face pour numériser les services, quelle en a été l'incidence et comment l'ACIA a-t-elle relevé ces défis?
• La numérisation de la prestation des services a-t-elle répondu aux besoins des utilisateurs internes et externes?

Les études de cas ont été sélectionnées avec l'aide du Comité consultatif de l'évaluation, en consultation avec les membres des secteurs d'activité.

Annexe 2 : Limites et mesures d'atténuation

L'équipe d'évaluation a utilisé plusieurs stratégies pour atténuer l'incidence des limites de l'évaluation.

L'ACIA mène de nombreuses activités liées à la numérisation de la prestation des services. Il n'était pas possible d'évaluer tous les aspects de ces activités. Par conséquent, l'équipe d'évaluation a porté son attention sur quatre services en tant qu'études de cas représentant les trois secteurs d'activité. Ces services sont à différents stades d'intégration à la PPNS.

De nombreuses parties prenantes internes et externes sont concernés par la numérisation de la prestation des services. Il n'a pas été possible de mener des entretiens avec toutes les parties prenantes. La conception de l'évaluation a exploité un échantillon ciblé pour les entretiens. En d'autres termes, au lieu de sélectionner les personnes interrogées au hasard, la sélection a pris appui sur la zone géographique, le produit et l'expertise. De plus, l'équipe d'évaluation n'a pas mené d'entretiens ou de sondages directs auprès des utilisateurs externes de Mon ACIA. Les données disponibles sur la satisfaction des utilisateurs externes dans le cadre de la recherche annuelle sur l'opinion publique étaient limitées.

La numérisation de la prestation des services de l'ACIA évoluait au cours de la période d'évaluation : 1er avril 2022 au 1er juin 2023. Cela a accru la complexité de l'analyse. L'équipe d'évaluation a recueilli des renseignements relatifs aux changements en cours dans les activités de numérisation de la prestation des services de l'ACIA et en a tenu compte lors de la rédaction des observations, des conclusions et des recommandations.