Méthodologie de l’évaluation

• Page précédente
• Table des matières
• Page suivante

L’évaluation a été réalisée à l’aide d’une matrice d’évaluation élaborée dans le cadre de la phase de planification et comportant les questions d’évaluation et les indicateurs et sources de données correspondants.

3.1 Sources de données

L’évaluation a inclus plusieurs sources de données et utilisé les méthodes de collecte de données suivantes.

• Examen des documents et des données. L’analyse documentaire avait pour but d’examiner de façon systématique les données secondaires pertinentes qui fournissaient des informations descriptives sur les activités du Programme et les éléments répondant à la plupart des questions d’évaluation. Parmi les types de documents examinés, mentionnons les suivants :
  • Données sur les programmes du PJA (de 2017-2018 à 2019-2020); 
  • Réussites des programmes du PJA signalées dans les rapports annuels;
  • Documents de renforcement des capacités et de formation;
  • Initiatives de partenariats (p. ex., formation de la GRC, cartographie des programmes communautaires, élaboration d’une brochure d’information et de ressources, création d’une base de données en ligne);
  • Rapport sur l’état du système de justice pénale et Tableau de bord en ligne;
  • Documents du GT FPT.
• Analyse documentaire : La documentation examinée comprenait des rapports de recherche et des statistiques sur les populations autochtones, le droit et les politiques.
• Enquêtes sur les programmes de justice communautaire (2019), les intervenants (2021) et les représentants du SJP (2021) : trois enquêtes ont été réalisées et examinées dans le cadre de cette évaluation.
  1. La DJA a administré l’enquête sur les programmes de justice communautaire en 2019 afin de mieux comprendre les types de programmes et de services fournis.
  2. Une enquête distincte auprès des prestataires de services de première ligne et des intervenants en justice communautaire (IJC) a été menée par la Direction d’évaluation en 2021 afin de recueillir des données pertinentes pour les questions d’évaluation. Soulignons que l’on compte environ 200 IJC (les postes vacants peuvent avoir une incidence sur le nombre d’IJC employés à un moment donné), et que le taux de réponse parmi ces derniers était d’environ 50 %.
  3. Une enquête a également été réalisée par la Direction d’évaluation auprès des représentants du SJP. Parmi les 54 représentants du SJP interrogés, la moitié étaient des agents de la GRC et l’autre moitié des procureurs provinciaux (quelques avocats de la défense et un juge ont également participé à cette enquête). Les répondants provenaient de dix administrations, soit la Colombie-Britannique, la Saskatchewan, le Manitoba, l’Ontario, le Québec, le Nouveau-Brunswick, la Nouvelle-Écosse, le Yukon, les Territoires du Nord-Ouest et le Nunavut.

• Entretiens réalisés auprès d’informateurs clés : Des entretiens téléphoniques ont été menés auprès de 39 personnes afin de recueillir les perceptions des représentants fédéraux du ministère de la Justice Canada et de Services aux Autochtones Canada (n = 14), des représentants provinciaux et territoriaux (n = 22), et des représentants des programmes de justice communautaire du PJA (n = 3).

• Études de cas : Trois études de cas ont été réalisées auprès de douze collectivités; celles‑ci se sont concentrées sur la prévention, les programmes de médiation civile et familiale et de lutte contre la violence familiale, ainsi que sur les expériences des victimes et des survivants d’actes criminels.

  Les programmes communautaires sélectionnés pour les études de cas proposent un large éventail de programmes servant à la fois les délinquants et les victimes. Puisqu’ils ne sont pas censés être représentatifs des nombreux programmes divers et uniques soutenus par le PJA, des efforts ont été déployés pour sélectionner des programmes offrant une expertise particulière dans le domaine visé par l’étude afin que des pratiques exemplaires et des leçons apprises puissent être cernées et partagées. Les collectivités ont été sélectionnées de façon à assurer une représentation régionale ainsi que des collectivités urbaines, rurales et éloignées.

  Chaque étude de cas comprenait un examen des documents et des données, des entretiens et, dans la mesure du possible, des visites sur place. L’objectif de chaque étude de cas est défini ci-dessous, et un sommaire des participants est présenté au tableau 3.

  • Quatre collectivités ont participé à l’étude de cas sur les activités et les mesures de prévention de la criminalité. L’objectif consistait à explorer l’étendue et le type d’activités de prévention entreprises par le programme communautaire, les caractéristiques des clients participant aux mesures de prévention (par exemple, les jeunes, les anciens délinquants, les personnes présentant un risque élevé, etc.), les autres partenaires et intervenants touchés, les obstacles à ces activités, ainsi que leur incidence et leur efficacité. Les quatre collectivités qui ont accepté de participer à l’étude de cas provenaient des Territoires du Nord-Ouest, de la Saskatchewan, du Québec et de la Colombie-Britannique. Au total, 29 entretiens ont été réalisés, principalement auprès de partenaires et d’intervenants du programme.
  • Trois collectivités ont participé à l’étude de cas conçue pour permettre l’observation de certaines initiatives communautaires liées à la médiation civile et familiale et à la lutte contre la violence familiale; parmi celles-ci, deux provenaient de l’Alberta et une de la Saskatchewan. La méthodologie utilisée a consisté à réaliser des entretiens auprès de 38 personnes de trois collectivités (tous les entretiens sauf trois ont été menés en personne lors de visites de la collectivité) et à observer deux groupes de clients participant à des cercles.
  • Cinq collectivités ont participé à l’étude de cas portant sur les expériences des victimes et des survivants d’actes criminels qui ont pris part aux processus de justice réparatrice mis en œuvre par les programmes de justice communautaire du PJA. Parmi celles-ci, deux provenaient du Québec, une du Nunavut, une de la Saskatchewan et une de la Colombie-Britannique. Les visites sur place ont donné lieu à un total de 17 entretiens avec des survivants et des victimes d’actes criminels, 7 entretiens avec des participants qui s’étaient adressés eux-mêmes aux programmes, 19 entretiens avec des gestionnaires et des employés de programmes, et 27 entretiens avec des membres de la collectivité (aînés et participants communautaires au processus de justice réparatrice).

3.2 Défis et limites de l’évaluation

L’équipe d’évaluation s’est heurtée à certaines limites ou difficultés méthodologiques, notamment :

• Fiabilité des données des programmes. Il existe des incohérences dans la façon de présenter les données entre les programmes communautaires, en raison de différents systèmes de collecte de données (certaines administrations possèdent leurs propres systèmes) et de différentes capacités de produire des rapports en temps opportun. Notons également que les données des programmes n’étaient pas disponibles pour toutes les provinces et tous les territoires au cours des trois années visées par l’examen.
• Représentativité limitée des répondants provenant du SJP. Bien que les répondants du SJP provenaient de 10 administrations, la moitié des agents de la GRC qui ont participé à l’enquête provenaient du Nunavut, et la plupart des procureurs provinciaux provenaient de trois provinces (Ontario, Manitoba et Saskatchewan).
• Risque de partialité des répondants. La plupart des résultats sont basés sur des opinions (obtenues au moyen d’enquêtes et d’entretiens), ce qui pourrait engendrer un parti pris attribuable à l’approche d’échantillonnage (sélectif, non aléatoire), au caractère volontaire de la participation et au fait qu’il s’agit d’une autodéclaration (les participants rendent compte de leurs propres activités).
• Les données présentées dans ce rapport ne s’appliquent pas à tous les programmes. Comme il a été précisé à la section 2.1, les programmes de justice communautaire sont fondés sur les traditions et la culture des collectivités participantes; par conséquent, leur conception, leur structure, leur fonctionnement et leurs capacités sont appelés à varier. Certains organismes communautaires financés sont bien implantés, fonctionnent depuis longtemps et sont bien connus dans la collectivité, tandis que d’autres peuvent être établis depuis moins longtemps, ou disposer de ressources limitées et avoir une moins bonne visibilité au sein de la collectivité. Ainsi, les conclusions présentées dans cette évaluation concernant les programmes de justice communautaire s’appliqueront à certaines collectivités, et non à l’ensemble des collectivités. Par ailleurs, les études de cas n’étaient pas conçues pour être représentatives d’un large éventail de programmes; toutes les données provenant des entretiens réalisés dans le cadre des études de cas doivent donc être interprétées avec prudence.
• La plupart des données ont été recueillies pendant la pandémie de COVID-19. Les circonstances actuelles liées à la capacité des programmes communautaires de fournir des services, notamment le soutien limité en personne, les possibilités restreintes de déplacements et la mobilisation limitée au sein des collectivités, peuvent avoir influencé les perceptions à l’égard du Programme. La pandémie et les conditions de travail en régions éloignées ont eu une incidence sur la collecte des données de l’évaluation, ce qui a entraîné des retards et un accès limité aux organismes communautaires dans le cadre des études de cas sur la prévention (par exemple, toutes les entrevues des études de cas ont été réalisées par téléphone, et il a été difficile de communiquer avec certains représentants d’organismes communautaires, car ils n’étaient pas présents au bureau).
• Il n’a pas été possible d’achever l’étude sur la récidive et l’analyse comparative des coûts dans le délai imparti pour l’évaluation. L’étude prévue sur la récidive a été retardée en raison des restrictions liées à la pandémie de COVID-19, qui ont empêché le personnel des programmes de justice communautaire d’accéder à leurs bureaux pour effectuer la saisie des données. De même, la division de la GRC qui effectue les vérifications de casiers judiciaires a dû faire face à des restrictions liées à la pandémie, ce qui a entraîné des retards supplémentaires dans le cadre du projet. Puisque l’analyse comparative des coûts intègre les résultats de l’étude sur la récidive, celle-ci a également été retardée. Les travaux relatifs à ces deux études seront achevés à une date ultérieure.

La méthodologie d’évaluation a fait appel à de multiples sources de données, à des sources primaires et secondaires de données quantitatives (données des programmes et enquêtes) et à des données qualitatives (entretiens avec des informateurs clés et études de cas). Les limites ont été atténuées en triangulant les données de ces sources de données pour parvenir aux constatations présentées dans ce rapport.

• Page précédente
• Table des matières
• Page suivante