Méthode d’évaluation

Pour orienter l’évaluation, une méthodologie et une matrice d'évaluation ont été élaborées en tirant parti de la souplesse de la Politique sur les résultats (2016) du Conseil du Trésor. L’évaluation portait principalement sur les questions de la pertinence et du rendement. Elle comprenait sept grandes questions, résumées ci-dessous.

Pertinence

  1. Les centres continuent-ils de répondre à un besoin démontré au sein du ministère de la Justice?

Efficacité et efficience

  1. Quelle est la conception actuelle de chaque centre et dans quelle mesure les centres ont-ils été mis en place comme prévu?
  2. Dans quelle mesure la conception et la prestation de services des centres, y compris le mandat et le modèle de prestation de services, sont-elles efficaces et efficientes?
  3. Dans quelle mesure les centres collaborent-ils pour fournir des conseils juridiques et stratégiques uniformes de grande qualité?
  4. Comment les centres contribuent-ils à la vision du ministère de la Justice à l’égard des partenariats stratégiques axés sur le client? Y a-t-il des points à améliorer?
  5. Existe-t-il des possibilités (p. ex. bonnes pratiques ou leçons apprises) qui pourraient être mises en œuvre dans d’autres centres pour améliorer leur conception ou leur prestation de services?
  6. Y a-t-il des éléments communs liés au succès de chaque centre?

L’évaluation s’est appuyée sur de multiples méthodes de collecte de données, y compris un examen des documents, un examen des données administratives, la schématisation des processus, des entrevues avec des informateurs clés, et des groupes de discussion. Chacune de ces méthodes est décrite ci-dessous.

3.1 Examen des documents

L’examen des documents suivants a fourni des renseignements descriptifs sur chaque centre, ainsi que des renseignements qui répondent aux questions de l’évaluation.

  1. Documents de programme : Les principaux documents d’information fournis par les centres ont été examinés. Dans certains cas, il s’agissait de données internes (p. ex. séances de formation, surveillance des tendances et nombre de demandes).
  2. Documents ministériels et autres documents gouvernementaux accessibles au public : L’examen des documents portait sur des documents accessibles au public et des documents pertinents sur les priorités fédérales.
  3. Sondages : L’Enquête sur les réactions des clients du Ministère est menée par la Division de la planification, des rapports et des risques ministériels dans le cadre de son programme global de gestion du rendement. Le but de l’Enquête était d’obtenir des commentaires pour déterminer dans quelle mesure les services juridiques du ministère de la Justice répondent aux besoins des ministères et organismes clients. Des commentaires qualitatifs tirés du cycle III (2016-2019) ont été obtenus pour certains des centres (c.-à-d. le CDTE et le CEDA). De plus, les résultats de l’Enquête sur la satisfaction des clients menée par le CEDA ont été examinés.

3.2 Examen des données administratives

Les données administratives sont tirées du Système d’analyse des activités du ministère de la Justice (Explore). Elles ont été extraites de l’entrepôt de données d’Explore par Tableau, qui comprend des données d’iCase, de LEX, du SIFM, et du Système de gestion des ressources humaines. Les données ont été extraites entre juillet 2020 et janvier 2021. L’examen des données a porté sur les dossiers pour lesquels les responsables de la comptabilisation du temps des centres ont consigné les heures entre l’exercice 2015-2016 et l’exercice 2019-2020. Pendant l’examen des données, on a tenu compte à la fois du nombre de dossiers activement gérés et des heures enregistrées pour ces dossiers, selon le type de dossier (à l’exclusion des dossiers ministériels), du nom du client, de l’évaluation du risque et de la complexité, et du type de travail effectué.

3.3 Schématisation des processus

Pour s’assurer que l’évaluation soit fondée sur une compréhension complète et précise de la conception et de la prestation de services de chacun des centres, un exercice de schématisation des processus a été réalisé dès le début de la collecte de données. On a demandé à un représentant du Groupe de travail sur l’évaluation de chaque centre d’aider à désigner les participants aux séances de schématisation des processus. Dans le cadre de cet exercice, une séance en personne de trois heures a été organisée dans chaque centre en vue de décrire le déroulement du travail, la façon dont les processus ont été exécutés, et les domaines où il y avait des contraintes potentielles ou ceux où des améliorations pouvaient être apportées.

3.4 Entrevues avec des informateurs clés

Des entrevues ont été menées auprès d’informateurs clés représentant les groupes suivants : les cadres supérieurs des centres, d’autres secteurs du Ministère (p. ex. les SJ, le SNC, autres secteurs ou portefeuilles, selon le cas) et les représentants des ministères et organismes clients. Les entrevues avec les conseillers juridiques des centres ont porté sur un large éventail de questions concernant la pertinence, la conception et la prestation de services, ainsi que l’efficacité et l’efficience des centres. Des entrevues ont également été menées auprès des utilisateurs des centres, y compris ceux du ministère de la Justice et d’autres ministères et organismes clients qui travaillaient directement avec les centres. Ces entrevues ont porté sur les besoins juridiques auxquels répondent les centres, les expériences de travail des utilisateurs avec les centres (p. ex. quand et comment ils ont communiqué avec les centres), et les questions liées à la qualité, à l’uniformité et à l’efficience des services reçus.

L’évaluation s’appuie sur 60 entrevues en petits groupes, auxquelles ont participé 128 personnes. Le tableau 4 fournit plus de détails sur la répartition des informateurs clés par centre, et une ventilation par groupe d’intervenants est fournie dans le tableau 7 de l’annexe B).

Tableau 4 : Répartition des informateurs clés, par centre
Centres Nombre d’entrevues réalisées auprès des informateurs clés

CDTE

21

SDC

16

CDA

17

CDIPRP

21

SDIAC

12

SDP

15

DLO

15

CEDA

11

Total

128

3.5 Groupes de discussion

Des groupes de discussion ont eu lieu avec des conseillers juridiques travaillant dans les centres . Ces groupes étaient axés sur les forces et les limites du mandat et des processus de travail actuels, ainsi que sur la qualité du soutien offert par les centres. Au total, 15 groupes de discussion, auxquels ont participé 48 personnes, ont été organisés dans l’ensemble des centres (voir le tableau 8 de l’annexe B pour une ventilation plus détaillée du nombre de participants par centre).

3.6 Limites, problèmes et stratégies d’atténuation

L’évaluation a présenté quelques limites et problèmes, et des stratégies d’atténuation ont été mises en œuvre en conséquence (voir le tableau 5).

Tableau 5 : Résumé des limites, des problèmes et des stratégies d’atténuation
Limites ou problèmes Stratégies d’atténuation
  • Entrevues et risque de partialité
  • Bien qu’un nombre important d’entrevues et de groupes de discussion aient eu lieu dans le cadre de cette évaluation, force est d’admettre que les huit centres étudiés sont assez uniques. Par conséquent, le nombre d’intervenants consultés dans chaque catégorie de chaque centre est demeuré limité.
  • Il existe un risque de partialité en raison de l’approche d’échantillonnage, de la nature volontaire de la participation, de l’autodéclaration, et de la possibilité de vouloir influencer les résultats.
  • Pour pallier ce problème, de multiples sources de données (p. ex. Enquête sur les réactions des clients du ministère de la Justice, autres enquêtes pertinentes et données administratives) et la triangulation ont été mises à profit pour confirmer les résultats, dans la mesure du possible.
  • Des efforts ont été déployés pour inclure un échantillon représentatif de participants ayant divers points de vue :
  • Vaste éventail d’intervenants (c.‑à‑d. ministères et organismes clients, SJ, SNC, autres secteurs du Ministère et conseillers juridiques dans les centres);
  • Intervenants qui ont collaboré avec les centres à divers degrés (c.‑à‑d. grands, moyens et petits utilisateurs).
  • Fiabilité et validité des données administratives saisies dans iCASE/LEX
  • Le temps consigné consacré aux divers types de dossiers peut ne pas correspondre exactement au type de travail effectué. Plusieurs centres ont fait remarquer que des enregistrements incohérents dans iCASE/ LEX pouvaient avoir été effectués (p. ex. certains travaux ont peut-être été consignés dans des catégories incorrectes).
  • En raison de certains problèmes liés à l’entrée de données et à la cohérence, il a été difficile d’obtenir des renseignements plus détaillés dans certains domaines, notamment en ce qui concerne ce qui suit :
  • Souvent, le risque et la complexité des dossiers n’ont pas été évalués ou on a tenu compte du risque et de la complexité du dossier dans son ensemble (plutôt que du travail accompli par le centre dans le dossier).
  • Les centres qui ont fourni des conseils juridiques aux SJ n’ont pas toujours reçu les numéros de dossier connexes. Par conséquent, dans certains cas, les centres ont ouvert leurs propres dossiers pour consigner le temps, ce qui a pu entraîner une rupture du lien entre l’information du dossier original (p. ex. niveau de risque et de complexité, ministère client auquel les conseils juridiques ont été fournis) et le nouveau dossier ouvert par le centre.
  • On a remédié à ce problème en tenant des séances de travail avec chaque centre afin d’évaluer pleinement tout problème potentiel de gestion des données et de déterminer la meilleure approche pour présenter l’information dans les rapports de façon appropriée.