Évaluation de la diversification des modes de prestation des services (DMPS)

Évaluation de la diversification des modes de prestation des services (DMPS) – Rapport final (PDF – 3580 ko)

Sur cette page

Résumé
Contexte
Portée et approche de l'évaluation
Constatations et recommandations de l'évaluation
Conclusion
Remerciements
Annexes

Résumé

En tant qu'organisme de réglementation à vocation scientifique, l'Agence canadienne d'inspection des aliments (ACIA ou l'agence) a un vaste mandat qui comprend la salubrité des aliments, la santé animale, la protection des végétaux et l'accès aux marchés internationaux.

Pour s'acquitter de ses responsabilités, l'ACIA offre des programmes directement et fait appel à des prestataires de services externes qui offrent les activités et les services liés au mandat au nom de l'agence. Ces programmes de diversification des modes de prestation des services (DMPS) offrent des services aux clients externes dans les trois secteurs d'activité de l'ACIA.

L'ACIA a la responsabilité de veiller à ce que tout programme de DMPS qu'elle établit réponde aux exigences des lois et politiques applicables. Les programmes de DMPS ont pour but d'aider l'ACIA

à exécuter son mandat
d'accroître l'innovation dans la conception des programmes
d'avoir accès à une expertise spécialisée
d'augmenter la rentabilité, la flexibilité et la capacité globale

L'évaluation visait à déterminer si la conception et la gestion des programmes de DMPS de l'ACIA étaient efficaces. Cela est important, car si l'agence ne conçoit pas et ne gère pas efficacement les programmes de DMPS, elle risque de ne pas fournir les services requis et de perdre la confiance des Canadiens.

L'évaluation a révélé que la conception et la gestion des programmes de DMPS de l'agence ne sont pas aussi efficaces qu'elles pourraient l'être. Toutefois, l'évaluation a également révélé que la DMPS peut être un mécanisme efficace et bénéfique pour la prestation des programmes de l'ACIA.

Contexte

Le mandat de l'ACIA et le rôle des programmes de DMPS
Pouvoirs, rôles et responsabilités liés aux programmes de DMPS de l'ACIA
Principaux acteurs de la prestation des programmes de DMPS de l'ACIA
Activités des programmes de DMPS
Administration et structure des programmes de DMPS de l'ACIA

Le mandat de l'ACIA et le rôle des programmes de DMPS

Le mandat principal de l'Agence canadienne d'inspection des aliments est de protéger le système alimentaire du Canada, ainsi que les ressources végétales et animales dont dépendent les Canadiens. L'ACIA joue également un rôle central en veillant à ce que les aliments, les végétaux et les animaux canadiens, ainsi que les produits connexes, puissent faire l'objet d'échanges commerciaux à l'échelle internationale.

La demande de programmes et de services offerts par l'ACIA n'a cessé de croître ces dernières années, sous l'effet de l'augmentation du commerce international, de l'accélération de l'innovation technologique et des maladies et organismes nuisibles étrangers.

Pour continuer à répondre à ces demandes, l'ACIA doit s'assurer qu'elle utilise les mécanismes les plus efficaces pour fournir des services et atteindre les objectifs des programmes.

Bien que l'ACIA fournisse de nombreux services directement, elle utilise également les programmes de la DMPS pour accroître l'innovation dans la conception des programmes, avoir accès à une expertise spécialisée et augmenter la rentabilité, la flexibilité et la capacité globale. Les programmes de DMPS de l'ACIA fournissent des services liés au mandat avec l'aide de prestataires de services externes.

La figure 1, qui s'inspire de la Ligne directrice sur les services et le numérique du Secrétariat du Conseil du Trésor du Canada (SCT), illustre la façon dont les services des programmes de DMPS sont fournis par le biais d'activités réalisées par l'ACIA et par des prestataires de services externes. Des renseignements supplémentaires sont disponibles sous Limites, atténuations et définitions de l'évaluation et à l'annexe A.

Figure 1: Termes et concepts clés des programmes de DMPS de l'ACIA. Description ci-dessous.

Pouvoirs, rôles et responsabilités liés aux programmes de DMPS de l'ACIA

L'ACIA établit des programmes de DMPS dans les domaines de l'alimentation, de la protection des végétaux et de la santé animale qui doivent répondre à diverses exigences législatives (Annexe B) et aux politiques du Conseil du Trésor (CT) (Annexe C).

L'orientation des programmes de la DMPS provient de deux niveaux de gestion :

l'agence et
les programmes

Cette orientation s'appuie sur les lois, règlements et instruments de politique pertinents. Les responsables des programmes de DMPS utilisent les commentaires de divers intervenants pour concevoir et améliorer continuellement la prestation des services.

À l'interne, l'ensemble de politiques sur les programmes horizontaux de l'ACIA et de ressources connexes offre une orientation et des directives pour la conception et la prestation des programmes et services de l'ACIA, notamment les programmes de DMPS.

Figure 2 : Programmes DMPS de l'ACIA : environnement stratégique et opérationnel. Description ci-dessous.

Principaux acteurs de la prestation des programmes de DMPS de l'ACIA

L'ACIA gère actuellement 50 programmes de DMPS^{Note de bas de page 1}, par l'intermédiaire desquels des prestataires de services externes offrent des activités et des services au nom de l'ACIA. L'ACIA conserve l'autorité sur les services qu'elle est chargée d'offrir (et en est responsable), soit par le biais de la législation, soit par des instruments réglementaires ou autres.

Les programmes de DMPS de l'ACIA sont gérés par une ou plusieurs directions générales responsables :

Affaires internationales (DGAI)
Opérations (Ops)
Politiques et programmes (DGPP)
Sciences (DGS)) avec l'appui des secteurs ministériels
Services juridiques (Agriculture et inspection des aliments)
Communications et affaires publiques (DGCAP)
Direction générale de la gestion intégrée (DGGI)
Ressources humaines (HR), et
Direction générale des services numérique (DGSN)

Si certains programmes de DMPS ont été mis en œuvre plus récemment, 7 d'entre eux existent depuis plus de 20 ans, dont quelques-uns sont antérieurs à l'existence de l'ACIA. Au moins un programme de DMPS de l'ACIA a été établi il y a plus de 100 ans.

Parmi les exemples de programmes de DMPS de l'ACIA, citons le régime Bio-Canada (secteur des aliments), le Programme de certification des troupeaux à l'égard de la tremblante (secteur de la santé animale) et le Programme canadien de certification des produits de bois traités à la chaleur (secteur de la protection des végétaux).

Figure 3 : Principaux acteurs des programmes de DMPS de l'ACIA. Description ci-dessous.

Activités des programmes de DMPS

Les services fournis dans le cadre des programmes de DMPS de l'ACIA comprennent une série d'activités qui produisent des extrants tels qu'un permis ou un certificat réglementaire pour un bénéficiaire du service. Les activités qui constituent un service peuvent être offertes par le responsable des services, en l'occurrence l'ACIA, ou par une combinaison de différents prestataires de services, notamment d'autres ministères et des organisations tierces.

L'ACIA supervise les activités des prestataires de services qui offrent des services au nom de l' agence et en est responsable.

La majorité des programmes de DMPS de l'ACIA^{Note de bas de page 2} comprennent plusieurs types et combinaisons de prestataires de services de DMPS pour optimiser la conception et l'exécution des programmes de DMPS et atteindre les objectifs qui s'y rattachent.

Figure 4 : Activités réalisées par des prestataires de services tiers. Description ci-dessous.

Administration et structure des programmes de DMPS de l'ACIA

L'ACIA officialise souvent les relations avec les principaux prestataires de services au moyen d'ententes ou d'accords avec les prestataires de services (figure 5). Ces ententes décrivent les modalités d'une relation de service particulière entre 2 ou plusieurs parties.

Le Bureau de la gouvernance et de la responsabilisation (BGR) de l'ACIA est le centre d'expertise pour toutes les ententes de l'ACIA avec des parties externes, notamment les ententes liées à la DMPS.

Cependant, tous les prestataires de services n'ont pas signé d'ententes officielles directement avec l'ACIA. Leurs activités (par example, l'inspection, l'échantillonnage, etc.) peuvent se dérouler à l'écart de la supervision de l'ACIA et peuvent plutôt être supervisées par des prestataires de services qui ont conclu des ententes officielles avec l'ACIA ou par d'autres intervenants externes comme les organismes d'accréditation.

La figure 5 illustre comment les ententes de service, les activités et les extrants intermédiaires peuvent être combinés par l'ACIA pour fournir un extrant final (par exemple, un permis ou un certificat réglementaire) ou un service à un client.

Figure 5 : Exemple de structure d'un programme de DMPS de l'ACIA. Description ci-dessous.

Portée et approche de l'évaluation

Approche de l'évaluation
Limites, atténuations et définitions de l'évaluation
Portée de l'évaluation
Collecte, analyse de données, et présentation de rapports sur les données

Approche de l'évaluation

L'évaluation portait sur la gestion des programmes de DMPS de l'ACIA dans « l'état actuel » par rapport à l'état idéal. Pour ce faire, l'équipe d'évaluation a élaboré un modèle de systèmes correspondant à l'état idéal (figure 2) qui montre les conditions nécessaires à l'efficacité des programmes de DMPS. Ce modèle permet de comprendre le contexte interne dans lequel l'ACIA gère les programmes de DMPS et donne une représentation visuelle de la portée de l'évaluation.

Chacun des 50 programmes de DMPS de l'ACIA est géré à 2 niveaux : celui de l'agence et celui du programme de DMPS concerné. Les deux niveaux de gestion servent à orienter, superviser et soutenir les programmes de DMPS. Selon l'évolution des programmes de DMPS , la gestion doit ajuster les mécanismes utilisés pour la prestation des programmes, l'affectation des ressources, la supervision et l'orientation afin de tenir compte d'un environnement opérationnel en constante évolution.

Bien que la gestion des programmes de DMPS aux deux niveaux puisse sembler similaire, elle exige des approches différentes. Par exemple, un gestionnaire de programme fournit une orientation stratégique pour la mise en œuvre d'un programme de DMPS particulier, alors que la haute direction de l'agence fournit une orientation stratégique pour l'utilisation de la DMPS dans tous les programmes de l'ACIA.

Figure 6 : Modèle de systèmes correspondant à l'état idéal pour les programmes de DMPS de l'ACIA. Description ci-dessous.

Limites, atténuations et définitions de l'évaluation

L'équipe d'évaluation a élaboré des stratégies pour atténuer les répercussions potentielles des limites ci-dessous sur les résultats et les conclusions de la présente évaluation.

Cette évaluation n'a pas inclus de consultations avec des intervenants externes. Les perceptions concernant les intervenants sont fondées sur des consultations avec des agents de l'ACIA et des examens de documents.
Les méthodes d'évaluation traditionnelles pour la collecte et l'analyse des données étaient insuffisantes pour évaluer les programmes de DMPS qui sont très complexes, faisant intervenir de nombreuses entités et relations. Par conséquent, l'équipe d'évaluation a appliqué des méthodes non traditionnelles comme la schématisation des systèmes et l'analyse des réseaux sociaux pour mieux comprendre les programmes de DMPS. De plus amples renseignements sur les méthodes se trouvent à l'annexe E.
L'ACIA n'a pas défini les termes clés relatifs aux à la DMPS et les a utilisés de manière incohérente, ce qui a ajouté une complexité considérable à l'évaluation. Cependant, vers la fin de l'évaluation, en décembre 2020, le Secrétariat du Conseil du Trésor a publié la Ligne directrice sur les services et le numérique qui clarifie la terminologie et fournit des exemples. L'équipe d'évaluation a trouvé des définitions supplémentaires dans la Politique sur les résultats du Conseil du Trésor et a harmonisé le libellé de ce rapport avec ces publications, comme il est expliqué dans l'encadré à droite. Des renseignements et termes supplémentaires se trouvent à l'annexe A.

Termes et concepts clés

Les programmes faisant appel à des organisations tierces comme prestataires de services sont considérés comme des programmes de DMPS aux fins de la présente évaluation. Ces organisations tierces peuvent avoir ou non des ententes officielles avec l'ACIA.

Les programmes sont des services et activités - pris séparément ou en groupe - ou une combinaison des deux, qui sont gérés ensemble au sein du ministère et qui portent sur un ensemble déterminé d'extrants, de résultats ou de niveaux de services.^{Note de bas de page 3}

Les services constituent un élément d'un programme qui contribue à un ensemble particulier d'extrants. Les services livrent un extrant final aux bénéficiaires (ou clients) à l'appui de l'obtention du résultat. Les services se composent d'activités (processus) qui mènent à l'extrant final.^{Note de bas de page 4}

Chaque activité n'est pas nécessairement considérée comme étant un service, même s'il lui est possible de produire des extrants intermédiaires (par exemple, des échantillons, des résultats de test, des rapports d'inspection). Les activités qui constituent un service peuvent être exécutées par un ou plusieurs ministères, y compris de tierces parties.^{Note de bas de page 4}

Une entente de services est entente administrative formelle entre 2 parties ou plus qui définit les modalités d'une relation de service particulière entre deux parties ou plus.^{Note de bas de page 4}

Portée de l'évaluation

L'évaluation portait sur 38 % (19 sur 50) des programmes de DMPS de l'ACIA avec une représentation des trois secteurs d'activité de l'ACIA

santé animale (32 %)
aliments (26 %)
protection des végétaux (42 %)

Pour la majorité de ces programmes de DMPS de l'ACIA, plus d'une direction générale a participé à leur gestion.

L'équipe d'évaluation a examiné 19 programmes de DMPS de l'ACIA. Dans la plupart des cas, il a été constaté que les programmes de DMPS étaient offerts par plusieurs directions générales.

Nombre de directions impliquées dans la prestation d'un seul programme de DMPS	Pourcentage (sur 19 programmes)
1 seule direction générale concernée	11 %
2 directions générales concernées	42 %
3 directions générales concernées	37 %
4 directions générales concernées	10 %

Les ateliers de schématisation des systèmes organisés dans le cadre de cette évaluation ont été suivis par 127 agents de l'ACIA de toutes les directions générales participant à la conception et à la prestation des 19 programmes de DMPS. Les agents de la Direction générale des opérations de l'ACIA représentaient 55 % des participants à l'atelier, ce qui cadre avec la place qu'occupe la direction générale par rapport à l'ensemble de l'effectif de l'ACIA. De plus, la Direction générale des opérations est en première ligne pour la prestation et la supervision des programmes de DMPS dans tout le pays.

L'équipe d'évaluation s'est entretenue avec les directions générales de l'ACIA qui conçoivent et offrent les programmes de DMPS de l'ACIA (Direction générale des affaires internationales, Direction générale des opérations, Direction des politiques et des programmes et Direction générale des sciences), les directions générales chargées des services intégrés qui les appuient dans ces activités (par exemple, Direction générale de la gestion intégrée, Services juridiques – Agriculture et inspection des aliments et la Direction générale des ressources humaines) et les agents de l'ACIA de toutes les régions dans lesquelles l'ACIA exerce ses activités.

L'équipe d'évaluation a constaté que certaines directions ont participé aux programmes de DMPS plus souvent que d'autres. Par exemple, la Direction générale des affaires internationales participait à 37 % des programmes de DMPS examinés, tandis que la Direction générale des opérations participait à 95 %.

Direction générale de l'ACIA	Pourcentage de programmes de DMPS auxquels la direction générale participe
Direction générale des opérations	95 %
Direction générale des politiques et programmes	74 %
Direction générale des sciences	42 %
Direction générale des affaires internationales	37 %

Collecte, analyse de données, et présentation de rapports sur les données

L'équipe d'évaluation a utilisé des méthodes mixtes (par exemple, en intégrant des sources de données quantitatives et qualitatives), et a combiné des données et une triangulation méthodologique pour l'évaluation. Par exemple, l'équipe :

a utilisé des sources de données complémentaires (par exemple, ateliers de schématisation des systèmes et analyse des réseaux sociaux) pour examiner les structures, les prestataires de services et les types d'activités que l'ACIA utilise pour offrir des programmes de DMPS;
a procédé à des examens de documents et à des entrevues ciblées afin de fournir le contexte de gestion de la DMPS tant au niveau de l'agence que des programmes de DMPS;
a quantifié les thèmes définis en entrevue et dans les notes de schématisation des systèmes à l'aide d'un logiciel d'analyse de texte (QDA Miner©), et les a ensuite vérifiés en utilisant les réponses quantitatives et qualitatives de l'enquête;
a vérifié les observations des autres sources de données au moyen d'un sondage auprès des agents de l'ACIA participant à la gestion des programmes de DMPS;
a examiné la documentation externe et mené plusieurs études de cas canadiennes et internationales pour étayer son analyse.

Les données pour cette évaluation ont été recueillies entre 2019 et 2020. Des détails supplémentaires sur ces sources de données se trouvent à l'annexe E.

Libellé utilisé pour la présentation des rapports

Sauf si des pourcentages particuliers sont indiqués, l'équipe d'évaluation a utilisé les catégories ci-dessous pour résumer les résultats, dont beaucoup sont étayés par de multiples sources de données.

Par exemple, « de nombreux programmes » fait référence à 26 à 50 % des programmes alors que « la majorité des programmes » fait référence à 76 à 100 % des programmes.

Libellé utilisé	Pourcentage de programmes applicables à la constatation
Quelques-uns	1 à 25 %
De nombreux	26 à 50 %
La plupart	51 à 75 %
La majorité	76 à 100 %

Constatations et recommandations de l'évaluation

Constatation 1. Conception des programmes de DMPS
Constatation 2. Gestion des informations et des donnée
Constatation 3. Compétences et formation
Constatation 4. Instruments de politique des programmes
Constatation 5. Soutien centralisé à l'ACIA

Constatation 1. Conception des programmes de DMPS

Les agents de l'ACIA chargés de concevoir et de gérer les programmes de DMPS n'ont pas toujours bénéficié de directives et d'un soutien suffisants pour s'acquitter de leurs responsabilités de manière efficiente et efficace.

La majorité des programmes de DMPS de l'ACIA examinés comprenaient plus de 4 types différents de prestataires de services et d'autres intervenants, qui étaient combinés de diverses façons pour atteindre les objectifs des programmes. La plupart des prestataires de services et autres intervenants ont approché l'ACIA directement ou ont été proposés par l'industrie. Dans certains cas, l'ACIA a communiqué directement avec les prestataires/intervenants potentiels, notamment lorsqu'un service nécessitait une expertise très précise et/ou qu'il existait une relation préexistante. Seuls quelques-uns des 19 programmes échantillonnés ont indiqué qu'ils avaient lancé des appels d'offres auprès de prestataires de services potentiels.

Bien que l'ACIA dispose de directives pertinentes pour la DMPS, elle manque d'exemples sur la façon dont les programmes de DMPS peuvent être conçus, et sur la façon dont différents types de prestataires de services et d'activités peuvent être combinés pour obtenir les résultats souhaités. Il n'y avait pas non plus de ressources de l'ACIA pour déterminer les relations existantes avec les prestataires de services. Les agents de l'ACIA dans la majorité des programmes de DMPS étudiés ont indiqué que l'ACIA pourrait améliorer globalement la façon dont elle tire parti des capacités, de l'expertise et des connaissances des prestataires de services de DMPS. Parmi les explications possibles de ce manquement, on peut citer l'absence de mécanismes systématiques pour :

identifier les prestataires de services/intervenants existants avec lesquels l'ACIA a établi de bonnes relations et qui pourraient être mis à contribution pour mettre en œuvre de nouvelles solutions DMPS;
évaluer les risques et les avantages des différentes options de conception de DMPS les unes par rapport aux autres.

Fournisseurs de services et autres intervenants impliqués dans 19 programmes échantillonnés :

Gouvernements provinciaux / territoriaux (5 %)
Autres^{Note de bas de page 5} (16 %)
Organisations intergouvernementales (21 %)
Autres ministères (42 %)
Organisations à but non lucratif (84 %)
Industrie (89 %)

Prestataires de services de DMPS

La présence de plusieurs prestataires de services offrant des activités similaires peut contribuer à garantir :

un marché compétitif avec plus d'options de services pour l'industrie;
une redondance accrue en cas de manquement de la part d'un prestataire de services ou si celui-ci n'est plus en mesure d'offrir un service;
que la capacité de l'ACIA à négocier avec les prestataires de services est renforcée.

Toutefois, un trop grand nombre de prestataires de services de DMPS peut également représenter un risque et créer une trop grande concurrence, rendant potentiellement la participation au programme de DMPS peu rentable pour les prestataires de services.

Seuls certains programmes de DMPS de l'ACIA effectuent les types d'analyses qui permettent d'évaluer pleinement les risques associés et d'éclairer la conception des programmes de DMPS.

Une saine gestion des programmes de DMPS exige que les agents de l'ACIA réduisent le plus possible les risques juridiques et ceux liés à la réputation et/ou au mandat. Les programmes de DMPS doivent également être régulièrement mis à jour à mesure que l'environnement opérationnel et les besoins (de l'ACIA et des intervenants) changent. Les agents de l'ACIA doivent avoir une compréhension complète du contexte historique, de l'environnement opérationnel, des risques et des conséquences potentielles imprévues. Toutefois, l'évaluation a révélé que le contexte et la justification des décisions relatives à la mise en œuvre ou à la mise à jour importante d'un programme de DMPS n'étaient pas toujours documentés.

Sur les 19 programmes de DMPS de l'ACIA visés par cette évaluation, la majorité avait fait l'objet d'une refonte ou d'une mise à jour importante au cours des cinq dernières années. Seuls certains programmes de DMPS de l'ACIA ont effectué les types d'analyses qui pourraient permettre d'évaluer pleinement les risques connexes et d'éclairer la conception des programmes de DMPS (par exemple, analyse de rentabilisation, continuité des activités, coûts-avantages, recouvrement des coûts, ACS+). Les agents de programmes de DMPS n'étaient parfois pas au courant des raisons pour lesquelles les décisions relatives à la conception et à la mise en œuvre des programmes de DMPS ont été prises et comment elles l'ont été. De même, certains agents de programmes de l'ACIA ne savaient pas quelles analyses, le cas échéant, avaient été effectuées pour appuyer la mise en œuvre des programmes de DMPS ou la plus récente mise à jour.

En l'absence de renseignements complets, il est difficile de comparer les risques et les avantages relatifs des différentes options de conception des prestataires de services/programmes de DMPS. S'il n'y a pas de données de base sur le rendement (par exemple, une analyse coûts-avantages), il est impossible d'évaluer si l'objectif initial du programme a été atteint et si le programme fonctionne comme prévu.

Types d'analyses effectuées

Les analyses coûts-avantages et les examens juridiques étaient le type d'analyses le plus courant pour 42 % des programmes de DMPS de l'ACIA étudiés. Seuls 11 % ont effectué une analyse de la continuité des activités. Pour 32 % des programmes de DMPS étudiés, les agents de l'ACIA, toutes directions générales confondues, ne savaient pas quels types d'analyses, le cas échéant, avaient été effectués avant la mise en œuvre ou la refonte. En outre, 5 % n'ont pas effectué d'analyses du tout.

En l'absence d'archives et de données sur le rendement, il est difficile de déterminer si une mise à jour de la DMPS est nécessaire. Les agents de l'ACIA peuvent ne pas être conscients des risques potentiels et/ou des leçons tirées du passé et ne pas déceler les possibilités d'innovation.

Résultat de l'analyse documentaire

Les organisations devraient conserver des archives sur les programmes de DMPS afin de documenter les changements apportés aux programmes et de justifier les décisions prises par le passé.

La Politique sur les services et le numérique du CT exige des organisations qu'elles documentent les activités et les décisions ayant une valeur opérationnelle.

La conception et la gestion de la supervision des programmes de DMPS de l'ACIA nécessitent des données et des analyses continues

La mise en place d'un niveau de supervision approprié nécessite un soutien continu par la disponibilité de données et d'analyses, ainsi que la possibilité de rectifier la fréquence de la supervision en fonction des analyses.

Résultat de l'analyse documentaire

La fréquence de la surveillance des prestataires de services de DMPS doit être fondée sur le risque, et la méthode de mesure du risque doit être objective, transparente, convenue d'un commun accord et claire afin d'éviter tout conflit.

La majorité des 19 programmes de DMPS de l'ACIA échantillonnés faisaient l'objet d'une certaine forme de supervision par l'ACIA, comme des inspections, des vérification en présence de témoins ou des vérifications de documents. Selon les agents de l'ACIA interrogés, la fréquence de cette supervision varie : activité ponctuelle (16 %), fondée sur les risques (53 %) ou à intervalles réguliers et prédéterminés (95 %).

Cependant, certains programmes ont fait état de données insuffisantes pour établir des fréquences fondées sur les risques et/ou d'un manque de souplesse dans l'ajustement de ces fréquences (par exemple, précisées dans des directives). Par ailleurs, l'ACIA n'a pas toujours assuré la supervision comme prévu, par exemple en raison des difficultés survenues lors de la prestation des services dans certaines régions du Canada, en particulier dans les régions plus éloignées.

La conception et la gestion des programmes de DMPS de l'ACIA nécessitent également une coordination entre les directions générales

Différentes directions générales de l'ACIA (Direction générale des affaires internationales, Direction générale des politiques et des programmes, Direction générale des opérations et Direction générale des sciences) élaborent chacune de leur côté des ententes de services avec un ou plusieurs prestataires de services pour diverses activités comme assurer des fonctions de vérification, effectuer des inspections indépendantes, prélever des échantillons ou des droits, analyser des échantillons, etc. Des ententes de services individuelles peuvent être élaborées pour chaque activité et elles se déroulent souvent en parallèle.

Les directions générales assurent individuellement la supervision de leurs ententes respectives et accèdent aux données pour éclairer la gestion de l'activité et du programme de DMPS. En outre, la DGSN soutient la mise en œuvre de solutions numériques. L'ACIA ne disposait d'aucun mécanisme officiel pour concevoir, gérer et superviser les programmes de DMPS de façon globale dans toutes les directions générales, malgré la participation de diverses directions générales à la plupart des programmes de DMPS.

Les répondants à l'enquête pouvaient choisir plusieurs options de supervision, puisque la plupart des programmes de DMPS comprennent plusieurs prestataires de services qui participent à différentes activités pour offrir les services. Différents types de supervision, effectués à des fréquences variables, peuvent donc être nécessaires. Le besoin de supervision et de surveillance exige également une réévaluation régulière à mesure qu'un programme de DMPS évolue.

L'ACIA manquait d'outils pour la conception et la gestion des programmes de DMPS

Il existait très peu d'outils propres à la DMPS pour aider les agents de l'ACIA à relever les défis liés à la conception des programmes de DMPS. On s'attendait également à ce que les agents de l'ACIA ayant une expertise en gestion des risques conçoivent des programmes, même s'ils n'avaient pas nécessairement d'expertise en conception. Les agents étaient censés remplir ces deux rôles en l'absence de directive et de soutien pour la conception des programmes.

Défi : Questions régionales et autres considérations relatives à la diversité

La disponibilité des prestataires de services, les pratiques agricoles, la taille des exploitations et d'autres considérations peuvent varier considérablement d'un bout à l'autre du Canada. Une approche de la supervision qui fonctionne parfaitement dans 1 région peut être peu pratique pour un système de production différent dans une autre région. Par conséquent, des approches souples et axées sur les résultats sont souvent nécessaires, tant pour la conception que pour la supervision des programmes de DMPS, afin que les programmes de DMPS de l'ACIA soient efficaces. Par exemple, la prestation des programmes de DMPS de l'ACIA dans les régions éloignées peut poser des défis particuliers, notamment pour ce qui est de trouver des prestataires de services, d'offrir de la formation et de la supervision, et pour ce qui est du potentiel de monopoles géographiques. Les répercussions de l'ACS+ sur la durabilité des programmes de DMPS dans les régions éloignées doivent également être prises en compte lors de la conception et de la mise en œuvre des programmes de DMPS.

Aucun des 19 programmes de DMPS étudiés n'a déclaré avoir effectué des analyses de l'ACS+ pour éclairer la conception et la gestion des programmes. Certains programmes de DMPS de l'ACIA fonctionnent dans un environnement où l'inclusion systématique de considérations liées à l'équité, à la diversité et à l'inclusion (EDI) pourrait minimiser les répercussions potentielles imprévues sur les populations vulnérables.

Le fait de ne pas tenir compte des questions régionales et/ou liées à l'ACS+ lors de la conception des programmes de DMPS peut, par exemple, faire en sorte que l'ACIA doive fournir des services à un coût élevé dans les régions éloignées et/ou que l'accès aux services et aux programmes ne soit pas uniforme, ou encore qu'il y ait des monopoles régionaux.

Que se passe-t-il en cas de manquement de la part d'un prestataire de services de DMPS

L'ACIA tire souvent parti des relations existantes avec les prestataires de services et de leur expertise dans le cadre de plusieurs programmes. Cette façon de faire peut permettre des gains d'efficacité, mais peut aussi représenter une vulnérabilité.

Par exemple, si le prestataire de services est en défaut, plusieurs programmes de DMPS pourraient être touchés. Tout changement de conception qui concerne ce prestataire de services devra tenir compte des répercussions potentielles sur tous les programmes de DMPS concernés, ou risquer des conséquences imprévues.

Il n'y avait pas d'outils systématiques pour aider les agents de l'ACIA à identifier les prestataires de services qui participent à plus d'un programme de DMPS.

Frais de service pour les bénéficiaires de services

Dans la majorité des 19 programmes de DMPS examinés dans le cadre de l'évaluation, les agents de l'ACIA ont signalé des problèmes liés aux frais de service et au recouvrement des coûts. De nombreux programmes de DMPS ne sont pas en mesure d'imposer des frais de service qui concordent avec le coût réel de la prestation du programme. Les frais de service de l'ACIA n'ont pas suivi le rythme des coûts ou de la demande croissante de services de la part de l'industrie. L'ACIA récupère environ 10 % des coûts recouvrables.

Une récente mise à jour de la Loi sur les frais de service a introduit des ajustements annuels pour l'inflation, qui varieront en fonction de l'indice des prix à la consommation (2,2 % pour 2020). Toutefois, cet ajustement ne réduit pas de manière significative l'écart entre les frais de service actuels et les coûts engagés par l'ACIA.

Par conséquent, l'ACIA fait parfois concurrence à ses propres prestataires de services de DMPS (en faisant le travail gratuitement ou à moindre coût), ce qui rend le programme de DMPS non viable et ne permet pas de recouvrer les coûts d'administration du programme. Par exemple, les services qui sont en grande partie destinés à un bien privé, tels que les tests de produits destinés à l'exportation, peuvent être effectués à des taux inférieurs à la valeur du marché. De plus, des frais trop bas peuvent encourager la « surutilisation » des services fournis par l'ACIA, ce qui peut également priver de ressources d'autres programmes et services de l'ACIA.

Frais de supervision des prestataires de services

Le recouvrement des coûts doit être envisagé non seulement pour la prestation d'un service aux bénéficiaires, mais aussi pour la supervision des prestataires de services. Cette façon de faire a été mis en œuvre de manière incohérente dans de nombreux programmes de DMPS de l'ACIA et, souvent, ne permet pas de recouvrer la totalité des coûts engagés par l'ACIA.

Toutefois, le recouvrement intégral des coûts n'est peut-être pas réalisable pour tous les programmes, car il pourrait rendre la prestation des programmes de DMPS non viable pour certains prestataires de services, au risque de voir la responsabilité de la prestation des services revenir à l'ACIA.

Seulement 16 % des programmes de DMPS (n=19) ont effectué des analyses de recouvrement des coûts lors de leur mise en œuvre ou de leur dernière mise à jour. Il y avait peu d'outils et de conseils pratiques sur la façon de mettre en œuvre le recouvrement des coûts dans les programmes de DMPS de l'ACIA.

Les instruments de politique pertinents existants de l'ACIA (politique, directive, cadres) pour les programmes de DMPS sont principalement axés sur ce qu'il faut faire. Il existe peu de documentation à l'appui des décisions relatives à la façon de faire les choses.

Les instruments de politique de l'ACIA ne tiennent compte que des ententes de DMPS individuelles, qui régissent une relation individuelle avec un seul prestataire de services de DMPS et excluent explicitement les autres ministères du gouvernement du Canada. Toutefois, la majorité des programmes de DMPS de l'ACIA comprennent plusieurs niveaux de prestataires de services et peuvent être mis en œuvre à l'aide de plus d'une entente officielle (par exemple, la figure 5). Le soutien de la part des intervenants qui ne participent pas directement aux activités de prestation de services ou qui n'ont pas d'entente officielle avec l'ACIA est également souvent essentiel pour assurer le bon fonctionnement des programmes de DMPS de l'ACIA.

Exemples de défis

Les demandes de l'industrie

Si certaines différences dans la conception des programmes de DMPS de l'ACIA sont attribuables à différentes demandes du marché, d'autres sont attribuables aux demandes de l'industrie.

Les demandes de l'industrie pour un service accru ne sont pas toujours justifiables économiquement.

Une évaluation de la valeur du secteur par rapport au bien public est une information utile, mais elle n'est pas toujours disponible pour les agents de l'ACIA qui gèrent les programmes de DMPS.

Manque de directives

Il y a un manque de directives précises sur la fréquence de la supervision et sur la façon dont elle doit être réévaluée régulièrement à mesure qu'un programme évolue.

L'ACIA dispose de lignes directrices sur les conflits d'intérêts pour ses propres employés. Cependant, l'ACIA manque de directives sur la manière de gérer les conflits d'intérêts entre les prestataires de services externes et/ou les bénéficiaires de services.

Les instruments de politique de l'ACIA ne tiennent pas pleinement compte de la complexité de ces systèmes et des conséquences sur leur conception, leur mise en œuvre et leur gestion. On manque d'exemples pratiques sur la façon dont les programmes de DMPS peuvent être conçus, et sur la façon dont différents types de prestataires de services et d'activités peuvent être combinés pour obtenir les résultats souhaités.

Recommandation 1 :

L'ACIA devrait mettre à jour et élargir les directives et outils disponibles pour soutenir les agents responsables de la conception et de la gestion des programmes de DMPS.

Constatation 2. Gestion des informations et des donnée

Les agents de l'ACIA n'avaient pas facilement accès à l'information nécessaire à la prise de décision et à la supervision des programmes de DMPS

Niveau du programme de DMPS : Gestion de l'information

Les agents de l'ACIA dans la plupart des programmes de DMPS ont indiqué que les données et l'information requises pour la gestion et la supervision des programmes :

n'étaient pas facilement accessibles (par exemple, données sur la non-conformité ou la surveillance);
dans le mauvais format (par exemple, dans les anciens systèmes, sur papier plutôt que sous forme électronique, non classés de façon appropriée); et/ou
de mauvaise qualité.

Il fallait souvent grandement manipuler les données pour les pour les convertir en renseignements utilisables :

Dans 63 % des programmes de DMPS (n = 19), les agents de l'ACIA interrogés ont indiqué que des outils de GI/TI supplémentaires amélioreraient leur capacité à concevoir, à gérer et à superviser efficacement leurs programmes
Seuls quelques programmes de DMPS de l'ACIA ont tiré parti des capacités en matière de GI-TI d'autres prestataires de services pour mettre en œuvre les communications numériques, les demandes de service, la collecte de données, la gestion et la présentation de rapports

Pourquoi cela est important

En l'absence de renseignements fiables ou facilement accessibles, les agents de l'ACIA pourraient ne pas être en mesure de gérer efficacement leur programme de DMPS. Par exemple, les agents peuvent ne pas être en mesure de cerner les problèmes de prestation de services ou d'en assurer le suivi en temps utile.

En outre, si les agents de l'ACIA ne disposent pas de renseignements opportuns sur les problèmes de non-conformité, ils pourraient ne pas avoir l'information dont ils ont besoin pour évaluer les risques, affecter les ressources ou surveiller les résultats des programmes de DMPS et intervenir en conséquence.

DMPS au niveau de l'agence : Gestion de l'information

Le Bureau de la gouvernance et de la responsabilisation (BGR) de l'ACIA dispose d'un système qui sert à enregistrer et à stocker les ententes qui permettent la réalisation des programmes de DMPS de l'ACIA. Le BGR, qui compte 2 employés à temps plein, est chargé de ce qui suit :

faire le suivi de toutes les ententes de l'ACIA et de leurs dates d'expiration, dont un grand nombre ne sont pas nécessairement liées aux programmes de DMPS;
agir en tant que centre d'expertise de l'ACIA pour la DMPS; il doit notamment assurer une fonction d'analyse critique pour veiller à ce que les agents aient effectué une évaluation des risques et un examen juridique en appui à l'entente.

Le BGR a constaté une augmentation de 41 % du nombre d'ententes soumises à l'examen au cours des 4 dernières années. Cependant, toutes les ententes de DMPS de l'ACIA ne sont pas soumises au BGR, car les agents de l'ACIA n'étaient pas tous au courant du système de suivi du BGR et de leur responsabilité d'aider à le remplir.

En outre, les ententes qui n'ont pas été soumises n'ont pas fait l'objet de la fonction d'analyse critique du BGR, et le BGR n'a peut-être pas été en mesure de s'acquitter pleinement de ses responsabilités.

Le système de suivi des ententes de DMPS du BGR n'était pas à jour, ne faisait pas de distinction entre les ententes liées à la DMPS et celles non liées à DMPS, et ne reliait pas les ententes de DMPS au programme de DMPS s'y rattachant ou, dans le cas d'un programme de DMPS comportant plusieurs ententes, les unes aux autres.

Il n'y avait pas non plus de liste à jour des programmes de DMPS de l'ACIA qui permette de consigner les liens entre les programmes de DMPS, les directions générales concernées et les ententes de DMPS qui permettent leur mise en œuvre.

Si la haute direction avait besoin de renseignements sur toutes les ententes de DMPS incluses dans un programme de DMPS particulier ou s'y rapportant, par exemple pour comprendre le rendement, les risques et les coûts et prendre des décisions, les agents de l'ACIA pourraient ne pas être en mesure de trouver ces renseignements rapidement.

La documentation est importante pour

soutenir la continuité des opérations;
reconstituer l'évolution des programmes;
soutenir la préparation aux litiges;
permettre plus facilement l'évaluation et l'examen du rendement;
faciliter la gestion et la supervision.

Recommandation 2 :

L'ACIA devrait clarifier et documenter les processus décisionnels, notamment les décisions prises, liés aux programmes de DMPS conformément à la Politique sur les services et le numérique du Conseil du Trésor et aux politiques, directives, normes et lignes directrices connexes.

Recommandation 3 :

L'ACIA devrait élaborer et maintenir une base de données électronique complète et à jour des programmes de DMPS de l'ACIA, dans laquelle seraient consignés les dispositions qui permettent la mise en œuvre de chaque programme de DMPS, l'agent de l'ACIA qui en est responsable et l'agent de l'ACIA qui gère le programme au quotidien.

Constatation 3. Compétences et formation

Les agents de programmes de DMPS de l'ACIA n'avaient pas suffisamment accès à la formation et avaient peu de possibilités de tenir à jour leurs compétences et de transférer leurs connaissances

Les agents de l'ACIA doivent souvent acquérir de nouvelles compétences, comme apprendre à passer de l'inspection des bénéficiaires de services à la vérification des prestataires de services, lorsque la prestation des activités des programme de l'ACIA est transférée à des prestataires de services externes. Toutefois, l'évaluation a constaté que l'agence a affecté des ressources salariales (par exemple, des experts en la matière) et non salariales (par exemple, la formation) limitées au transfert de connaissances et à la formation, y compris la formation elle-même ainsi que l'élaboration de matériel de formation.

Étant donné que l'ACIA utilise de plus en plus les programmes de DMPS et que les prestataires de services externes effectuent davantage d'activités comme les inspections, les agents de l'ACIA peuvent avoir des occasions limitées de développer et de pratiquer leurs compétences. Pourtant, les agents de l'ACIA ont besoin de ces compétences pour surveiller le rendement des prestataires de services externes.

Pour que les programmes de DMPS de l'ACIA soient durables, l'agence a besoin d'agents ayant une expertise suffisante en la matière et une connaissance de l'organisation pour superviser, gérer et offrir ces programmes. Même si un programme de DMPS est exécuté par l'entremise de prestataires de services externes, l'expertise interne de l'ACIA en la matière est nécessaire pour :

suivre et superviser les prestataires de services;
gérer les relations avec les intervenants et la résolution des conflits;
renforcer et maintenir la capacité de la main-d'œuvre de l'ACIA à gérer les programmes de DMPS;
concevoir et mettre en œuvre les programmes de DMPS et les mises à jour nécessaires (par exemple, l'évolution des attentes des clients, les changements technologiques);
veiller à ce que l'ACIA conserve la capacité d'exécuter son mandat si un prestataire de services de DMPS n'est plus disponible (p. ex. expertise pour choisir un prestataire de services de DMPS de remplacement).

La plupart des agents de programmes de DMPS de l'ACIA interrogés ont indiqué qu'une formation supplémentaire améliorerait leur capacité à gérer efficacement leurs programmes de DMPS.

Toutefois, peu des 19 programmes de DMPS étudiés ont déclaré avoir consulté la Direction générale des ressources humaines au sujet des services disponibles en matière de formation ou de relations de travail.

Le manque d'accès à la formation et de possibilités de mettre en pratique leurs compétences sur le terrain a eu une incidence sur la confiance des agents de l'ACIA dans leurs capacités de vérification lorsqu'ils sont chargés de superviser les programmes de DMPS.

Les raisons invoquées pour expliquer ce manque de confiance sont l'accès insuffisant à une formation appropriée (cours et formation en personne avec des experts en la matière) et les problèmes liés à la mise en œuvre des programmes de DMPS (comme la transition de l'inspection directe de l'industrie à la vérification d'un prestataire de services de DMPS externe) qui exige des compétences très différentes.

Il s'agit d'un élément important, car si les agents de l'ACIA manquent de confiance dans leur capacité de vérification, ils peuvent être réticents à soulever des problèmes de rendement avec les prestataires de services. Si les agents de l'ACIA manquent de compétences en matière de vérification, cela pourrait mener à une supervision inadéquate des prestataires de services, entraîner un risque juridique et/ou compromettre la réputation de l'ACIA.

En 2020, dans le cadre de l'Initiative nationale de formation de l'ACIA, on a élaboré un cours intitulé « Principes fondamentaux pour le perfectionnement des auditeurs principaux », qui pourrait contribuer à dissiper certaines inquiétudes soulevées par les agents de programmes de DMPS. Toutefois, il ne répond pas aux préoccupations liées aux compétences en matière de vérification propres aux programmes qui nécessitent une formation sur le terrain par des agents de programme principaux chevronnés.

Étude de cas : Supervision insuffisante dans le cadre du programme américain de supervision et de délégation de pouvoirs

L'équipe d'évaluation a examiné une étude de cas externe qui a souligné le risque critique pour le mandat, la réputation et la qualité du service d'une organisation que pose une capacité de supervision interne inadéquate. La Federal Aviation Association (FAA) des États-Unis administre un programme de DMPS, le programme Oversight and Delegation of Authority (ODA), qui autorise des organisations externes à exercer des fonctions de la FAA telles que l'inspection et la certification des normes de sécurité des aéronefs.

L'une de ces organisations approuvées par le programme de supervision et délégation de pouvoirs de la FAA était la compagnie Boeing, et après 2 crashs mortels d'avions Boeing 737 MAX en l'espace de 5 mois (tuant 246 personnes entre 2018-2019), une enquête du Comité de la Chambre des États-Unis sur les transports et les infrastructures a conclu que la FAA ne disposait pas d'une expertise suffisante pour assurer une supervision adéquate des conceptions et des processus de Boeing.

La délégation excessive de pouvoirs de la FAA à Boeing a érodé les capacités de supervision de la FAA, et le manque de personnel sur ce projet a empêché les agents de la FAA de prendre des décisions en toute connaissance de cause. En fin de compte, la FAA n'a pas rempli son mandat consistant à cerner les principaux problèmes de sécurité et à veiller à ce que les problèmes soient réglés de manière appropriée avant la certification.

L'ACIA a conçu certains de ses programmes de DMPS en réponse aux pressions exercées sur les ressources et en supposant qu'ils seraient « prêts à l'emploi ». Toutefois, il se pourrait que l'ACIA ait parfois sous-estimé les ressources internes nécessaires à la mise en œuvre et au maintien de ses programmes de DMPS, de leur création à leur maturation.

Par exemple, 63 % des agents de programmes de DMPS interrogés ont indiqué que des ETP supplémentaires amélioreraient la capacité de leur équipe à concevoir, à gérer et à superviser efficacement leur programme de DMPS. En outre, la plupart des 19 programmes de DMPS de l'ACIA examinés dans le cadre de la présente évaluation ne comportaient pas de plans de relève permettant à l'ACIA de conserver une expertise suffisante en la matière. La plupart des agents de programmes de DMPS de l'ACIA interrogés occupaient leur poste actuel depuis au moins cinq ans, et 28 % depuis plus de dix ans. L'expertise requise pour gérer et superviser ces programmes peut prendre de nombreuses années à acquérir.

Dans les programmes de DMPS où l'expertise interne de l'ACIA n'est pas optimale, l'ACIA peut s'appuyer fortement sur des prestataires de services externes pour appliquer et conserver les compétences qui ne sont plus disponibles au sein de l'ACIA. Cela pourrait compromettre la capacité de l'ACIA à assurer une supervision adéquate des prestataires de services et mettre en péril la capacité de l'agence à exécuter son mandat.

La mise en œuvre d'un programme de DMPS comprend un investissement initial (par exemple, formation interne et externe, processus administratifs, etc.) ainsi qu'un soutien continu pour :

s'assurer que les programmes de DMPS sont durables;
permettre l'affectation des ressources en fonction des besoins/risques;
s'adapter à un environnement opérationnel en constante évolution;
soutenir l'innovation.

Garantir le maintien de l'expertise

L'ACIA a intentionnellement conçu certains programmes de DMPS de manière à assurer le maintien de l'expertise des agents de programmes de l'ACIA et à tirer parti des ressources en matière de formation des prestataires de services externes.

Par exemple, dans certains programmes de DMPS, les agents de l'ACIA accompagnent les prestataires de services externes lors d'activités telles que les inspections ou la formation des nouveaux agents de programmes.

Cette approche combine la supervision des programmes de DMPS avec la possibilité d'assurer le maintien de l'expertise dans la prestation des services.

Recommandation 4 :

L'ACIA devrait renforcer la durabilité des programmes de DMPS en mettant en œuvre un plan visant à faciliter la formation, la collaboration, la planification de la relève, le transfert des connaissances et le maintien de l'expertise.

Constatation 4. Instruments de politique des programmes

Les instruments de politique actuels de l'ACIA ne décrivaient pas avec précision les programmes de DMPS ni les conséquences qui en découlent pour la conception, la mise en œuvre et la gestion.

Définitions de la DMPS

L'ACIA définit les termes clés liés à la DMPS de manière incohérente. Par exemple, dans l'ensemble des politiques horizontales (figure 3.4), les directives à l'appui de la politique DMPS renvoient à d'autres documents qui contiennent eux-mêmes plusieurs définitions des mêmes termes (par exemple, diversification des modes de prestation des services, programme). De plus, le terme « diversification des modes de prestation des services » est défini différemment encore une fois dans les documents de référence du cadre de gestion des programmes de l'ACIA.

La définition des ententes de DMPS se trouvant dans la politique de l'ACIA sur la DMPS exclut explicitement les ententes avec d'autres ministères et organismes fédéraux (AMOF) en tant que partenaires, même si les AMOF ont participé en tant que prestataires de services et intervenants à de nombreux programmes de DMPS de l'ACIA.

Même s'il s'agit de concepts distincts, les termes « entente de DMPS » et « programme de DMPS » sont souvent utilisés de façon interchangeable dans les politiques, les conseils et les instruments de collecte de données de l'ACIA.

Par exemple, les agents de l'ACIA ont fourni à l'équipe d'évaluation une liste de 44 ententes de DMPS de l'ACIA. L'équipe d'évaluation a constaté que cette liste comprenait 44 programmes de DMPS, dont beaucoup étaient mis en œuvre selon des modalités multiples.

L'ensemble de politiques sur les programmes horizontaux de l'ACIA et les ressources connexes fournissent une orientation et des conseils pour la conception et la prestation des programmes et services de l'agence.

Communication et collaboration avec les Intervenants
- Politique et cadre de consultation
- Politique pour une Agence ouverte et transparente
- Politique sur la prestation de lignes directrices sur les exigences réglementaires de l'ACIA
- Politique sur les publications scientifiques de la Direction générale des sciences
- Énoncé des droits et des services
Conception des Programmes
- Politique de gestion intégrée des risques
- Politique sur l'échantillonnage et les analyses^{Note de bas de page 6}
- Politique sur la mesure du rendement
- Politique sur la conception des programmes
- Politique de gestion des urgences de l'ACIA^{Note de bas de page 7}
- Politique sur les permissions^{Note de bas de page 7}
- Politique de l'Agence canadienne d'inspection des aliments sur l'intégrité scientifique
- Politique en matière d'analyse comparative fondée sur le genre^{Note de bas de page 6}
Élaboration et modification de règlements
- Politique sur la réglementation axée sur les résultats
- Politique d'incorporation par renvoi
- Politique en matière d'analyse comparative fondée sur le genre^{Note de bas de page 6}
- Politique de compétitivité et d'innovation^{Note de bas de page 7}
Promotion et application de la loi
- Politique opérationnelle de conformité et d'application de la loi^{Note de bas de page 6}
- Cadre de reconnaissance des systèmes de salubrité des aliments d'autres pays
- Politique de certification privée
Prestation de services
- Politique sur la diversification des modes de prestation de services
- Politique et cadre de recouvrement des coûts^{Note de bas de page 6}
- Politique sur le remboursement des frais d'utilisation^{Note de bas de page 6}
- Politique sur les indemnisations

DMPS – Contexte stratégique

L'environnement stratégique de la DMPS a considérablement changé ces dernières années (annexe F) . En particulier, la Ligne directrice sur les services et le numérique du SCT (2020) récemment publiée apporte plus de clarté en ce qui concerne la conception et la gestion des programmes de DMPS. La ligne directrice définit le terme « service » et décrit clairement les rôles et les responsabilités des responsables de services (comme l'ACIA), des prestataires de services et des bénéficiaires (plus d'information se trouve à approche de l'évaluation et à l'annexe A). Cette nouvelle orientation ajoute de la clarté pour permettre une compréhension commune des programmes, notamment des programmes de DMPS, et de ce à quoi ils peuvent ressembler.

L'évaluation a révélé que les instruments de politique de l'ACIA sont axés sur l'outil (c'est-à-dire les ententes) utilisé pour mettre en œuvre les programmes de DMPS et ne tiennent pas compte du contexte plus large de la gestion d'un programme conçu pour offrir des services et atteindre un résultat (plus d'information se trouve à constatations et recommandations de l'évaluation).

Au cours de l'évaluation à la fin de l'exercice 2020 à 2021, et en réponse à la nouvelle Politique sur les services et le numérique du CT, l'ACIA a nommé un agent de la Direction générale des services numérique pour qu'il dirige la fonction de gestion des services de l'agence en favorisant une perspective centralisée des services, en assurant le leadership de la gestion des services et en coordonnant les activités de l'ensemble de l'agence liées aux services, telles que les activités de gouvernance, de planification et de mesure du rendement.

L'ACIA a également commencé à examiner les moyens d'action internes pour en assurer l'harmonisation et la conformité. La Direction générale des services numérique ainsi que la Direction générale des politiques et des programmes ont formé un groupe de travail pour discuter de ce que ces changements signifient pour l'agence.

Absence de gouvernance formelle

La structure de gouvernance de l'ACIA a énormément changé au cours des dernières années. Le comité horizontal expressément chargé de surveiller les ententes de DMPS n'existe plus.

Il n'existe actuellement aucun comité de gouvernance de l'agence explicitement chargé d'examiner les programmes de DMPS.

En outre, il n'existe pas de mécanisme officiel pour le transfert ou l'échange d'information sur les programmes de DMPS, comme les ententes, les analyses et les processus décisionnels connexes, lorsque le responsable de programme passe à une autre direction générale de l'ACIA.

Les processus d'approbation et de consultation requis pour modifier les ententes de DMPS existants ou nouveaux n'étaient pas clairs :

Le Bureau de la gouvernance et de la responsabilisation (BGR) et les directeurs exécutifs sont chargés de déterminer, en fonction des risques, si une entente de DMPS nécessite un examen par la haute direction.
Les ententes de DMPS doivent être signées par un vice-président. Toutefois, la base de données actuelle ne fournit pas de renseignements sur le titre de l'agent de l'ACIA qui a signé l'entente.
Les vice-présidents (VP) de la DGAI, de la DGPP, des Opérations et de la DGS sont responsables des ententes de DMPS dans leur domaine de responsabilité respectif. Toutefois, le VP responsable, et donc le directeur exécutif responsable, d'un programme de DMPS peut changer (par exemple, restructuration de l'agence).
Les VP et les directeurs exécutifs se trouvent dans une direction générale et, pour la plupart des programmes de DMPS de l'ACIA ayant fait l'objet de l'étude, les agents de programmes de DMPS ont désigné plus d'un VP comme responsable. La plupart des programmes de DMPS sont offerts par plus d'une direction générale, ce qui rend la consultation entre directions générales cruciale. Il n'existe actuellement aucun processus formel de consultation d'une direction générale pour les programmes de DMPS.

Un processus d'approbation et de consultation clair pour l'examen des ententes de DMPS dans le contexte global des programmes de DMPS est important, car ces types de programmes comportent des risques uniques et inhérents (par exemple, continuité des activités, aspects juridiques, réputation, ACS+, accessibilité, conflits d'intérêts). En outre, les modifications et/ou les ententes relatives aux programmes de DMPS mises en œuvre par une direction générale peuvent avoir des répercussions sur d'autres directions générales. Par exemple, les économies de ressources pour une direction générale de l'ACIA ou la réduction des ETP à la suite de la prestation de programmes de DMPS peuvent constituer de véritables économies pour l'ACIA, mais cela peut aussi signifier que l'effort a simplement été transféré à une autre direction générale ou à un autre groupe professionnel au sein de l'ACIA.

Le Bureau de la gouvernance et de la responsabilisation (BGR) détermine si une entente de DMPS doit faire l'objet d'une gouvernance formelle en fonction des risques connexes (par exemple, risques juridiques, risques liés à la réputation) et de la valeur monétaire de l'entente (plus de 100 000 $).

Dans le cas de la plupart des programmes de DMPS, des analyses exhaustives visant à déterminer ces risques n'ont pas été effectuées, ou les agents de programmes actuels ne savaient pas si elles l'avaient été (pour plus d'information, voir Constatations et recommandations de l'évaluation).

La valeur monétaire d'une entente de DMPS peut être assez faible, mais la valeur du segment de l'industrie qui dépend du programme de DMPS peut être très élevée. Ce point ne ressort pas clairement dans le cadre du système de supervision actuel, puisque les ententes de DMPS sont évaluées en fonction des risques sans égard au contexte complet du programme.

Les directeurs exécutifs avaient le pouvoir discrétionnaire de décider si une entente devait respecter les exigences de la politique (par exemple, l'examen par le BGR).

De nombreux agents de programmes de l'ACIA ne connaissaient pas les instruments de politique de la DMPS de l'ACIA et l'exigence de la politique de soumettre les ententes de DMPS au BGR.

Par conséquent, les ententes n'ont pas toutes été soumises au BGR pour examen ou soumises à une fonction d'analyse critique.

Résultat de l'analyse documentaire

Un champion interne en matière de DMPS peut promouvoir une perception positive des modèles de DMPS et soutenir la prise de décisions pour l'amélioration des programmes de DMPS

Recommandation 5 :

L'ACIA devrait revoir et rajuster son ensemble de politiques sur les programmes horizontaux en fonction de la Politique sur les services et le numérique du Conseil du Trésor (et les politiques, directives, normes et lignes directrices connexes) en ce qui concerne la conception et la gestion des programmes de DMPS, et communiquer ces changements aux agents de l'ACIA.

Constatation 5. Soutien centralisé à l'ACIA

Les programmes de DMPS de l'ACIA peuvent être un moyen avantageux de fournir des services, mais l'agence ne disposait pas d'un soutien centralisé suffisant pour la mise en œuvre et la supervision de la DMPS.

Les programmes de DMPS de l'ACIA aident l'agence à remplir son mandat en tirant parti des relations avec les parties externes. Les agents de l'ACIA ont indiqué que la majorité des programmes de DMPS de l'ACIA ont été élaborés

pour obtenir une meilleure efficacité opérationnelle (95 %)
ou pour améliorer les services (84 %),
et la plupart ont également été mis en œuvre pour accroître la souplesse de la conception des programmes (58 %)
ou pour avoir accès à une expertise ou à des outils (53 %)

Raisons de la mise en œuvre des programmes de DMPS de l'ACIA

Obtenir une meilleure efficacité opérationnelle

« Nous pouvons faire des estimations approximatives de l'investissement global de l'agence dans ce programme de DMPS; il s'agit probablement de [trois à cinq] ETP. Si nous devions le faire nous-mêmes, les chiffres seraient astronomiques. Il est question de centaines d'ETP... »

agent de programme de DMPS de l'ACIA

Améliorer les services

« [Le programme de DMPS] a augmenté la capacité des laboratoires à effectuer des tests [...], améliorant ainsi la détection et la réponse précoces; renforçant les relations et favorisant la collaboration avec nos partenaires provinciaux. »

agent de programme de DMPS de l'ACIA

« Avec la mise en œuvre de la DMPS, les procédures et les politiques d'inspection ont également été améliorées afin d'assurer une prestation plus cohérente des programmes. »

agent de programme de DMPS de l'ACIA

Assouplir la conception des programmes

La DMPS permet aux programmes d'adopter « une approche fondée sur les systèmes pour accroître l'efficience et l'efficacité. »

agent de programme de DMPS de l'ACIA

Avoir accès à l'expertise et/ou aux outils

« Il est essentiel d'inclure/de faire participer les industries à l'élaboration des normes... [Le programme de DMPS] a permis de tirer parti de l'expertise et des conseils de l'industrie afin d'élaborer des normes meilleures et applicables... »

agent de programme de DMPS de l'ACIA

Les programmes de DMPS de l'ACIA procurent également des avantages importants aux intervenants externes et à l'économie canadienne (figure 3.5.2) :

en facilitant l'accès au marché;
en fournissant des débouchés aux prestataires de services;
en créant des perspectives d'emploi pour les Canadiens.

Compte tenu de ces avantages pour les intervenants, les agents de l'agence ont fait remarquer que les programmes de DMPS de l'ACIA sont souvent mis en œuvre en réponse aux demandes des intervenants.

Toutefois, la plupart des agents de l'ACIA ont également indiqué qu'il est possible d'améliorer et de renforcer les avantages de ces programmes à mesure qu'ils évoluent.

Valeur ajoutée des programmes de DMPS de l'ACIA pour les intervenants

Soutenir la viabilité de l'industrie

« Ce programme facilite l'accès aux marchés pour les exportations canadiennes dans de nombreux pays du monde. »

agent de programme de DMPS de l'ACIA

Fournir aux intervenants des gains d'efficacité opérationnelle

« [Le programme de DMPS] visait à créer des gains d'efficacité opérationnelle à la demande de l'industrie. L'investissement de l'industrie dans les programmes permet d'exporter des produits sans délai. »

agent de programme de DMPS de l'ACIA

Améliorer l'accès des intervenants aux services

« [La DMPS] offre des options au secteur, la possibilité d'un service plus rapide et une plus grande souplesse dans la réalisation des tests. » « Un délai d'exécution plus rapide, moins de ressources pour l'ACIA, plus grand accès pour l'industrie. »

agents de programmes de DMPS de l'ACIA

Accroître l'autonomie des intervenants

« La partie réglementée a plus d'autonomie, et il est plus facile pour elle de planifier [...] les expéditions car elle ne dépend plus de la disponibilité de l'ACIA. Ils peuvent faire inspecter leurs lots par les producteurs eux-mêmes; [...] exercer un contrôle de la qualité; rectifier les techniques de production, de stockage, de conservation; et améliorer les relations avec les clients. »

agent de programme de DMPS de l'ACIA

Réduire le fardeau réglementaire

« [Le programme de DMPS est] moins lourd pour l'industrie. [...] Auparavant, l'industrie devait se soumettre à de multiples inspections de la part de [deux organismes de réglementation, dont l'ACIA]. On évite ainsi les chevauchements. »

agent de programme de DMPS de l'ACIA

Les relations avec les intervenants et les groupes de travail étaient des appuis essentiels pour de nombreux programmes de DMPS de l'ACIA

Les agents de l'ACIA ont indiqué qu'en favorisant les relations de collaboration avec les prestataires de services et les autres intervenants, l'ACIA profite d'une plus grande innovation dans la conception et la gestion des programmes de DMPS. Par exemple, certains programmes de DMPS de l'ACIA ont fait appel à des intervenants ayant un intérêt direct dans la prestation du programme pour soutenir la formation et l'élaboration de normes. Cela a permis à l'ACIA d'aider l'industrie à adopter de nouvelles technologies novatrices tout en assurant le respect des normes internationales.

D'autres ministères fédéraux ayant des objectifs similaires, par exemple Agriculture et Agroalimentaire Canada (AAC), peuvent être des partenaires importants dans la prestation des programmes de DMPS de l'ACIA. Parmi les 19 programmes de DMPS de l'ACIA examinés, 10 autres ministères fédéraux différents ont participé directement à la prestation des services ou à la gestion des programmes de DMPS.

AAC est un partenaire important de l'ACIA et un participant actif dans 8 des 19 programmes de DMPS visés par la présente évaluation. Par exemple, AAC a soutenu la communication avec les intervenants, l'établissement de priorités stratégiques et le financement de la recherche et de l'élaboration de matériel de formation et de normes techniques pour les programmes de DMPS de l'ACIA. Ce partenariat a profité tant à l'industrie qu'à l'ACIA.

Les groupes de travail avec les intervenants ont rempli des fonctions importantes pour aider les agents de l'ACIA à gérer les programmes de DMPS, comme l'établissement de normes, la résolution de conflits, la détermination des priorités stratégiques et la communication avec les prestataires de services DMPS et/ou d'autres intervenants.

68 % des 19 programmes de DMPS de l'ACIA échantillonnés comprenaient des groupes de travail composés d'agents de l'ACIA, de prestataires de services et/ou d'autres intervenants.

Les agents ont indiqué qu'une communication solide entre l'ACIA et les prestataires de services était importante pour garantir que :

les problèmes de prestation de services sont résolus rapidement;
les risques de non-conformité ou de fraude ont été atténués;
tous disposent de l'information nécessaire pour appuyer la prestation des services.

« Nous faisons ceci [programme de DMPS] depuis 30 ans et nous avons fait tellement de progrès. Pourrions-nous en faire plus? Bien sûr, [nous] devons penser à la rétroaction continue et à l'amélioration continue [...] en pouvant compter [sur] les ressources nécessaires pour le faire. »

agent de programme de DMPS de l'ACIA

L'évaluation a permis de constater que l'ACIA ne disposait pas d'un mécanisme de soutien centralisé, comme un centre d'excellence DMPS ou un champion DMPS, pour promouvoir la valeur et les avantages potentiels des programmes de DMPS et pour fournir des connaissances et des outils spécialisés afin d'orienter leur mise en œuvre et leur gestion. La transition de la prestation des programmes par l'ACIA vers des prestataires de services externes peut susciter chez certains employés des craintes, de l'appréhension et même de la résistance. Les raisons sont diverses, que ce soit la satisfaction que procure le statu quo ou la peur de perdre le contrôle ou la sécurité de l'emploi. De même, la communication entre les directions générales faisait parfois défaut lorsque des changements étaient apportés à la conception des programmes de DMPS ou à l'affectation des ressources. Il s'agit de considérations importantes, car la résistance à la mise en œuvre ou à la modification des programmes de DMPS ainsi que le manque de communication interne pourraient étouffer l'innovation, entraîner des conséquences imprévues ou même rendre le programme inefficace.

Une équipe centralisée pourrait constituer un mécanisme efficace de gestion du changement pour appuyer la conception et la gestion des programmes de DMPS. En partageant les ressources sur les modèles de programmes de DMPS et en fournissant des outils et de l'expertise, une équipe centralisée (c.-à-d. un centre d'excellence DMPS) peut soutenir les agents de programmes qui travaillent avec des intervenants externes pour mettre en œuvre et maintenir des programmes de DMPS durables. En outre, une équipe centralisée pourrait aider les agents de programme à concevoir et à gérer des programmes de DMPS efficaces de l'ACIA en :

renforçant et maintenant le savoir organisationnel;
facilitant la communication entre les directions générales;
élaborant et en mettant en commun les meilleures pratiques;
promouvant la valeur ajoutée des programmes de DMPS;
fournissant l'expertise ciblée et en coordonnant les compétences requises.

Centre d'excellence

« Une équipe spécialisée qui favorise la collaboration et utilise les meilleures pratiques pour développer des capacités essentielles qui s'harmonisent avec les priorités organisationnelles. »

Gartner CoE Primer

Recommandation 6 :

L'ACIA devrait mettre en place une équipe centralisée afin de promouvoir et de soutenir une approche cohérente à l'échelle de l'agence pour la mise en œuvre, la supervision et l'amélioration continue des programmes de DMPS.

Conclusion

L'évaluation visait à déterminer si la conception et la gestion des programmes de DMPS par l'ACIA étaient efficaces. Cela est important, car si elle ne conçoit pas et ne gère pas efficacement les programmes de DMPS, l'ACIA risque de ne pas fournir les services requis et de perdre la confiance des Canadiens.

L'évaluation a permis de constater que la conception et la gestion des programmes de DMPS de l'ACIA ne sont pas aussi efficaces qu'elles pourraient l'être. Toutefois, l'évaluation a également révélé que la DMPS peut être un mécanisme efficace et avantageux pour la prestation des programmes de l'ACIA.

Remerciements

L'équipe d'évaluation tient à souligner la contribution de tous les employés de l'ACIA au Canada qui ont participé aux entrevues, aux ateliers et aux sondages à l'appui de cette évaluation. Leurs points de vue et leurs expériences ont été un élément essentiel de cette évaluation.

L'équipe d'évaluation tient également à remercier les membres du groupe de travail et du comité consultatif pour leur expertise et leur coopération tout au long de cette évaluation.

Annexes

Annexe A – Concepts clés et terminologie
Annexe B – Lois de l'ACIA
Annexe C – Politiques pertinentes du Conseil du Trésor et instruments connexes
Annexe D – Liste des acronyms
Annexe E – Méthodes d'évaluation
Annexe F – Jalons de l'ACIA et politiques du CT en matière de DMPS

Annexe A – Concepts clés et terminologie

Les extraits suivants de l'annexe C de la Ligne directrice sur les services et le numérique du SCT décrivent les concepts clés et la terminologie utilisés dans la présente évaluation.

C.1.4 : Programmes et services

Les programmes fournissent le contexte pour déterminer les services à fournir. En général, les programmes sont offerts dans le cadre de services qui contribuent à la réalisation des objectifs de programmes.

Rapport entre les activités et les services

Un service se compose d'une série d'activités (processus) qui se traduit par un extrant final unique pour le destinataire (ou client). Chaque activité n'est pas nécessairement considérée comme étant un service, même s'il lui est possible de produire des extrants intermédiaires.

Extrants finaux et extrants intermédiaires

Au moment de déterminer si une activité constitue un service, il est utile de se demander si l'activité produit un extrant intermédiaire ou un extrant final pour un client. Voici quelques exemples.

La délivrance d'un permis ou d'un certificat en vertu d'un règlement constitue habituellement un extrant final. Le rejet d'une demande de permis peut aussi constituer l'extrant final du service. L'approbation ou le rejet de la demande de permis marque la fin de la série d'activités du point de vue du client.
Les renseignements figurant dans un site Web du gouvernement du Canada au sujet de la façon de présenter une demande de permis ou de certificat constituent un extrant intermédiaire, car le client doit ensuite effectuer d'autres démarches avant de se voir délivrer le permis.

C.1.8 : Propriétaire de services et fournisseur de services

Les activités qui constituent un service peuvent être exécutées par un ou plusieurs ministères, y compris de tierces parties. Lorsque c'est le cas, il est particulièrement important de comprendre le concept de propriétaire d'un service.

Un propriétaire de services peut différer d'un fournisseur de services. Le propriétaire d'un service est l'organisation qui a le pouvoir d'offrir le service. Souvent, ce pouvoir est conféré par une loi, un règlement ou un autre instrument, et les responsabilités redditionnelles sont déléguées au gestionnaire compétent.

C.2 : Gestion des services

La gestion de services constitue l'éventail des activités et des pratiques des personnes responsables de concevoir, mettre en œuvre, fournir, surveiller et constamment améliorer les services au sujet desquels elles ont des comptes à rendre. La gestion efficace des services favorise l'excellence de la conception et de la prestation de services. Elle contribue aussi à la réalisation des objectifs de politique publique, elle optimise les ressources, elle produit des degrés élevés de satisfaction de la clientèle et elle renforce la confiance envers le gouvernement.

Les particuliers, les entreprises et les organisations, au Canada, s'attendent à des services de grande qualité de la part du gouvernement fédéral et à ce que le gouvernement fournisse des services axés sur les clients.

C.4 : Ententes de services

Une entente de services est entente administrative formelle entre deux parties ou plus qui définit les modalités d'une relation de service particulière entre deux parties ou plus.

L'établissement d'ententes de service constitue une bonne pratique de gestion relativement à toute entente conclue avec un propriétaire de services ou un fournisseur de services lorsque, par exemple, un service du gouvernement du Canada est offert par un ministère à un autre ministère ou au nom d'un autre ministère.

*Des détails supplémentaires comme les définitions des services, des extrants, etc. se trouvent dans le ligne directrice sur les services et le numérique.

Annexe B – Lois de l'ACIA

L'Agence canadienne d'inspection des aliments est responsable de l'administration et de l'application de 10 lois.

Annexe C – Politiques pertinentes du Conseil du Trésor et instruments connexes

Les politiques du Conseil du Trésor et les instruments connexes pertinents aux programmes de DMPS de l'ACIA comprennent notamment :

Politique sur les services et le numérique du Conseil du Trésor
Politique sur les résultats du Conseil du Trésor
- Directive sur les résultats
Politique sur les communications et l'image de marque du Conseil du Trésor
- Directive sur la gestion des communications
Politique sur l'accès à l'information du Conseil du Trésor
- Directive provisoire concernant l'administration de la Loi sur l'accès à l'information
Politique du Conseil du Trésor sur les langues officielles
- Directive sur les langues officielles pour les communications et services

Annexe D – Liste des acronyms

AAC: Agriculture et Agroalimentaire Canada
ACIA: Agence canadienne d'inspection des aliments
AMOF: Autres ministères et organismes fédéraux
BGR: Bureau de la gouvernance et de la responsabilisation
CoE: Centres d'excellence
CT: Conseil du Trésor
DGAI: Direction générale des affaires internationale
DGCPA: Direction générale des Communications et affaires publiques
DGGI: Direction générale de la gestion intégrée
DGSN: Direction générale des services numérique
DGS: Direction générale des Sciences
DMPS: Diversification des modes de prestation des services
DGPP: Direction générale des Politiques et programmes
ETP: Equivalent temps plein
FAA: Federal Aviation Association
HR: Direction générale des Ressources humaines (HR)
OCDE: Organisation de Coopération et de Développement Économiques
OPS: Direction générale des Opérations
SCT: Secrétariat du Conseil du Trésor du Canada

Annexe E – Méthodes d'évaluation

La conception de la recherche à méthode mixte pour cette évaluation a incorporé six sources de données à l'aide de multiples méthodes de collecte et d'analyse de données. L'évaluation a été guidée par les questions suivantes :

Quels types de programmes de DMPS l'ACIA utilise-t-elle pour offrir des programmes et des services et comment ces programmes de DMPS sont-ils structurés
Dans quelle mesure l'ACIA dispose-t-elle de la souplesse réglementaire, des politiques, des processus, des ressources, des systèmes et des compétences nécessaires pour prendre en charge la conception, la mise en œuvre et la gestion des programmes de DMPS afin d'en assurer la pertinence et l'efficacité
L'ACIA a-t-elle efficacement tiré parti des relations avec les intervenants, des ressources, de l'expertise et des outils pour prendre en charge la conception, la mise en œuvre et la gestion de la DMPS afin d'en assurer la pertinence et l'efficacité

Consultations auprès des agents de l'ACIA

Ateliers de schématisation des systèmes
Analyse des réseaux sociaux
Enquête relative aux programmes de DMPS

Examens internes, organisationnels et externes

Examen de l'environnement stratégique et opérationnel des programmes de DMPS de l'ACIA
Résultat de l'analyse documentaire
Études de cas externes

Ateliers de schématisation des systèmes

L'équipe d'évaluation a organisé des ateliers de schématisation des systèmes auxquels ont participé des agents de l'ACIA pour recueillir des données et produire en collaboration des schémas visuels des systèmes pour 38 % (19) des programmes de DMPS de l'ACIA, assurant ainsi une compréhension commune de leur structure et de leur conception.

L'équipe d'évaluation a animé des ateliers de schématisation des systèmes pour chacun des 19 programmes de DMPS visés par l'évaluation afin d'identifier les intervenants pertinents ainsi que leurs activités et leurs relations. Ces programmes ont été sélectionnés parmi les 50 programmes de DMPS de l'agence, en consultation avec des agents de l'ACIA, afin de constituer un échantillon représentatif.

L'équipe a procédé à des examens de documents et à des entrevues de cadrage afin d'élaborer un schéma préliminaire des systèmes pour chaque programme de DMPS. Les schémas des systèmes ont été modifiés en consultation avec les agents de l'ACIA à l'aide d'un logiciel de tableau blanc (Sketchboard©) afin de tenir compte des prestataires de services, des bénéficiaires de services et des autres intervenants, et de comprendre leurs relations au sein de chaque programme. Au total, 127 agents de l'ACIA provenant de la DGPP, de la DGS, de la DGAI et des Opérations ont participé aux ateliers de schématisation des systèmes.

Les ateliers ont généré des données sur la conception et le contexte des programmes. On a également demandé aux agents de l'ACIA de déterminer les possibilités d'amélioration de la conception et de la gestion des programmes de DMPS. Les données recueillies ont été codées et analysées à l'aide d'un logiciel d'analyse de données qualitatives (QDA Miner©) et de techniques d'analyse de réseaux sociaux.

Analyse des réseaux sociaux

L'équipe d'évaluation a utilisé des outils et des techniques d'analyse des réseaux sociaux pour analyser les données recueillies lors des ateliers de schématisation des systèmes et a développé une compréhension visuelle et quantitative des relations complexes entre les intervenants des 19 programmes de DMPS de l'ACIA.

L'analyse des réseaux sociaux est une méthode permettant d'étudier les structures sociales et organisationnelles à l'aide de réseaux visuels et de la théorie des graphes.

Pour analyser les données recueillies lors des ateliers de schématisation des systèmes, l'équipe d'évaluation a extrait les intervenants et leurs relations (par exemple, audit, établissement de normes) pour l'analyse des réseaux sociaux et les a organisés dans des feuilles de calcul Microsoft Excel©. Les ensembles de données ont été analysés en collaboration avec Durland Consulting, une société dotée d'une grande expertise en matière d'analyse des réseaux sociaux.

L'analyse des réseaux sociaux a donné un aperçu des structures des programmes de DMPS de l'ACIA et a permis de déterminer les acteurs dominants et les interdépendances au sein des programmes de DMPS et entre eux.

Enquête relative aux programmes de DMPS

L'équipe d'évaluation a réalisé une enquête auprès des agents de programmes de DMPS de l'ACIA de chaque direction générale participant à la gestion des 19 programmes de DMPS visés par l'évaluation afin de recueillir des données supplémentaires sur leur gestion du point de vue du programme et de l'agence.

On a effectué une enquête en ligne pour recueillir des données supplémentaires sur les 19 programmes de DMPS visés par l'évaluation. Un agent de programme de chaque direction générale participant à la gestion d'un programme de DMPS a répondu à l'enquête au nom de sa direction générale. On a encouragé la consultation d'autres collègues des directions générales participant à la conception, à la gestion et à la supervision des programmes. Le taux de réponse à l'enquête a été de 100 %.

L'enquête a fourni des données qualitatives et quantitatives qui ont été analysées à l'aide de méthodes et d'outils statistiques et d'analyse de texte. On a utilisé QDA Miner© pour coder et analyser les données de l'enquête. On a utilisé Microsoft Excel© pour créer des tableaux et des graphiques de données supplémentaires afin de faciliter l'analyse.

Réponses à l'enquête (n = 46) reçues de différentes directions générales de l'ACIA :

Opérations (37 %)
Affaires internationales (15 %)
Sciences (18 %)
Politiques et programmes (30 %)

Examen de l'environnement stratégique et opérationnel des programmes de DMPS de l'ACIA

L'équipe d'évaluation a examiné la documentation interne de l'ACIA et la documentation externe (par exemple, politiques du CT, communications avec les intervenants), et a interviewé des agents de l'ACIA qui connaissent les programmes de DMPS de l'ACIA afin de comprendre le contexte plus large dans lequel s'inscrivent les programmes de DMPS.

L'équipe d'évaluation a procédé à un examen de l'environnement stratégique et opérationnel des programmes de DMPS de l'ACIA afin de déterminer comment l'agence soutient, surveille, gère et supervise les programmes de DMPS, tant au niveau de l'agence que des programmes. Dans le cadre de cet examen, l'équipe :

a interrogé des agents de l'ACIA et étudié la documentation afin d'examiner les mécanismes de gouvernance et de supervision en place pour soutenir et surveiller la conception, la mise en œuvre et la gestion des programmes de DMPS;
a examiné les politiques et les instruments de politique de l'ACIA et du gouvernement fédéral au moyen des critères suivants :
- les orientations pour la mise en œuvre et la supervision sont claires et cohérentes;
- les directives sont pratiques et applicables;
- les rôles et les responsabilités sont clairement définis;
- les définitions clés sont disponibles et utilisées de manière cohérente.

Résultat de l'analyse documentaire

L'équipe d'évaluation a examiné la littérature didactique et grise afin de recenser les leçons apprises et les meilleures pratiques en matière de gestion des programmes de DMPS à partir de l'expérience de tous les ordres de gouvernement au Canada, de gouvernements étrangers, du milieu universitaire et du secteur privé.

L'équipe d'évaluation a procédé à une analyse documentaire externe afin de documenter les meilleures pratiques en matière de DMPS au sein du gouvernement, des secteurs privé et sans but lucratif, et du milieu universitaire.

La documentation a été obtenue à partir de recherches dans des bases de données (p. ex. Scopus, Google Scholar, etc.), dans les bibliothèques du gouvernement du Canada ainsi qu'à partir de recherches générales sur Internet. Après avoir affiné les résultats en fonction de leur pertinence pour l'évaluation, on a retenu 87 documents, notamment des publications gouvernementales, des articles évalués par des pairs et de la littérature grise publiée entre 1995 et 2020.

Cet éventail de documents a permis à l'équipe d'évaluation d'analyser l'utilisation de la DMPS au fil du temps et de comprendre les tendances et les changements d'attitude à l'égard de la DMPS chez divers publics.

La portée de l'analyse documentaire était axée sur la perspective du secteur public canadien; toutefois, des rapports et des documents provenant de contextes internationaux ont également été analysés.

Études de cas externes

L'équipe d'évaluation a examiné les études de cas de 10 programmes de DMPS administrés par des organismes de réglementation fédéraux au Canada et dans d'autres pays de l'OCDE. Les études de cas ont mis en évidence des approches innovantes et des exemples de mise en garde pertinents pour l'ACIA.

L'équipe d'évaluation a mené des études de cas sur les programmes et systèmes de DMPS afin de recenser les innovations et les leçons apprises en matière de DMPS applicables à l'ACIA. Cet examen comprenait 10 études de cas de programmes de DMPS utilisés par des organismes de réglementation fédéraux au Canada (par exemple, Mesures Canada, Transports Canada, etc.) et dans le monde (par exemple, le département de l'Agriculture des États-Unis, le ministère de l'Agriculture et des Forêts de la Nouvelle-Zélande, le ministère de l'Agriculture, de la Nature et de la Qualité des aliments des Pays-Bas, etc.).

L'équipe d'évaluation a souligné les mécanismes pertinents du point de vue de la conception et de la gestion des programmes de DMPS dans chaque étude de cas. Parmi les exemples d'innovations mises en évidence, mentionnons des modèles d'inspection fondés sur les risques et un outil d'évaluation des options de DMPS pour la conception de programmes.

Pour l'analyse documentaire et les études de cas externes, l'équipe d'évaluation a examiné plus de 150 documents couvrant 35 pays, y compris des pays membres de l'OCDE.

La plupart des documents inclus ont été publiés au cours des 10 dernières années.

1995 à 1999 (8 %)
2000 à 2004 (12 %)
2005 à 2009 (18 %)
2010 à 2014 (23 %)
2015 à 2020 (37 %)

Annexe F – Jalons de l'ACIA et politiques du CT en matière de DMPS

2002

La Politique sur la diversification des modes de prestation des services du Conseil du Trésor et les instruments connexes sont entrés en vigueur. Cet instrument fournit une orientation pour la mise en œuvre de la DMPS afin d'améliorer l'efficacité et l'efficience des services gouvernementaux.

2003

L'ACIA a mis en place un processus d'examen et d'approbation des ententes, y compris un examen officiel par les comités de gouvernance.

2007

La Politique en matière de présentation de rapports au Secrétariat du Conseil du Trésor sur les institutions fédérales et sur les sociétés dans lesquelles le Canada détient des intérêts a remplacé la Politique sur les différents modes de prestation de services du CT. La Politique portait principalement sur la collecte de renseignements concernant les programmes afin d'améliorer la prise de décisions et l'évaluation.

2009

Le Bureau de la gouvernance et de la responsabilisation (BGR) de l'ACIA est devenu le centre d'expertise pour les ententes. Le BGR assure une fonction d'analyse critique, d'orientation et de supervision des ententes.

L'ACIA a effectué un audit interne de la gestion des ententes avec des tiers. Les recommandations comprenaient l'élaboration et la communication de directives officielles, la mise en œuvre d'une approche de supervision cohérente et la mise à jour de la base de données de toutes les ententes de l'ACIA.

2012

Le processus d'approbation de la gouvernance pour les ententes avec l'ACIA a été assoupli afin de réduire les demandes présentées aux comités de la haute direction. Les ententes d'une valeur inférieure à 100 000 $ et ne comportant pas de risques majeurs n'étaient plus tenues de passer par la structure de gouvernance.

2014

La Politique sur les services du Conseil du Trésor est entrée en vigueur. La politique comprenait des directives à l'intention des administrateurs généraux pour qu'ils examinent régulièrement les services prioritaires et, le cas échéant, qu'ils adoptent d'autres méthodes de prestation de services pour améliorer la conception des programmes

2016

La Politique sur les résultats du Conseil du Trésor a remplacé la Politique en matière de présentation de rapports sur les institutions fédérales et sur les sociétés dans lesquelles le Canada détient des intérêts. La politique vise à « améliorer l'atteinte des résultats dans l'ensemble du gouvernement » et fournit des orientations pour le suivi et la supervision des programmes, notamment des programmes de DMPS.

La Politique sur la diversification des modes de prestation des services de l'ACIA et son document d'orientation connexe sont entrés en vigueur. Les objectifs de la politique visent à promouvoir :

une approche cohérente, à l'échelle de l'agence, de la mise en place et de la supervision des ententes de DMPS;
une analyse rigoureuse des ententes de DMPS proposées avant leur mise en place;
des processus efficaces pour la supervision, l'examen et l'évaluation des ententes de DMPS ainsi que pour la production de rapports connexes.

2020

La Politique sur les services et le numérique du Conseil du Trésor a remplacé la Politique sur les services du CT. La politique et ses instruments connexes définissent des termes tels que « programme » et « service » et fournissent des orientations concernant la conception des programmes, leur capacité, la mesure du rendement et les services axés sur le client.

Notes de bas de page

Note de bas de page 1

L'équipe d'évaluation a identifié une liste de 50 programmes de DMPS en 2020.

Retour à la référence de la note de bas de page 1

Note de bas de page 2

D'après l'échantillon d'évaluation de 19 programmes de DMPS de l'ACIA. Des détails supplémentaires sont disponibles dans l'annexe E.

Retour à la référence de la note de bas de page 2

Note de bas de page 3

Définition tirée de la Politique sur les résultats.

Retour à la référence de la note de bas de page 3

Note de bas de page 4

Modifiée d'après la Ligne directrice sur les services et le numérique.

Retour à la référence de la note de bas de page 4

Note de bas de page 5

« Autres » comprend le milieu universitaire, le grand public, les bénévoles et les communautés / organisations autochtones.

Retour à la référence de la note de bas de page 5

Note de bas de page 6

Les politiques étaient en cours de révision en septembre 2020

Retour à la référence de la note de bas de page 6

Note de bas de page 7

Les politiques étaient en cours d'élaboration en septembre 2020

Retour à la référence de la note de bas de page 7