La récolte et l’analyse des données peuvent désormais s’effectuer, sur la base de la planification de l’évaluation définie dans un concept d’évaluation et/ou dans le tableau d’évaluation.
Avant de développer soi-même des instruments de récolte des données tels que des questionnaires et des guides d’entretien (ce qui demande des ressources considérables), il convient de vérifier si des instruments issus d’autres projets ne pourraient pas être utilisés, moyennant, le cas échéant, quelques adaptations. Si possible et approprié, il est souhaitable d’utiliser des instruments déjà validés – à savoir des instruments qui ont fait leurs preuves lors d’examens scientifiques. De même, il est recommandé de soumettre, avant utilisation, les instruments développés à des personnes-clés issues des milieux de la recherche (mandants, experts) pour approbation.
Avant de procéder à la récolte de données, les instruments nouvellement élaborés (questionnaires, guides d’entretien, grille d’observation, grille pour l’analyse de documents) devraient faire l’objet d’un test préalable auprès de représentants du groupe qui sera interrogé. Cela permet d’éliminer les éventuelles imprécisions par rapport à la compréhension et au déroulement du processus. De plus, cela permet d’acquérir des points de repère sur les efforts à fournir et le temps à investir. A ce stade, les instruments peuvent encore être améliorés sur la base de l’expérience de ces tests préalables.
La procédure et le timing de la récolte des données dépendent en principe de la méthode choisie et du déroulement du projet. Des instructions très précises doivent être formulées par écrit pour chaque récolte de données. Ce point est très important lorsque plusieurs personnes procèdent à cette récolte, afin d’éviter des distorsions dues à des procédures individuelles. Par ailleurs, le fait de fixer la procédure par écrit permet de la préciser dans ses moindres détails et de la documenter de manière transparente. Dans le cas d’analyses qualitatives, un premier contact est généralement pris (par écrit ou personnellement) avec la personne qui sera interrogée et les interlocuteurs, pour les informer du but et de l’objectif de l’évaluation, les motiver à participer et obtenir leur consentement. Ces personnes sont en principe assurées que les données récoltées seront utilisées de manière anonyme et qu’elles auront la possibilité de prendre connaissance des résultats (cela peut néanmoins être différent dans certains cas).
Une fois achevée la récolte des données par questionnaire, par entretien ou par observation, celles-ci doivent être traitées, structurées et analysées. En fonction de la méthode utilisée, les données récoltées sont comptées, résumées, calculées ou interprétées, puis présentées de manière claire et discutée. Des compétences en méthodologie de recherche sont nécessaires à cet effet.
En vue de préparer l’évaluation, les données numériques sont résumées dans des tableaux ad hoc. Ainsi, dans l’analyse des questionnaires, les colonnes contiennent les possibilités de réponses, et chaque ligne correspond à un questionnaire. Des programmes informatiques comme Excel, R-Project ou SPSS facilitent le traitement et la représentation des données numériques.
Les méthodes statistiques pour la présentation de données sous forme de graphiques, de tableaux simples ou de valeurs de référence, sont désignées sous le terme de statistiques descriptives. Une statistique descriptive requiert des mesures quantitatives ou des déclarations et observations qui peuvent être quantifiées. Les tableaux de fréquence, les répartitions en pourcentages et les valeurs moyennes font l’objet d’un complément sous forme de texte et les résultats marquants sont soulignés.
Les analyses quantitatives ne se résument toutefois pas aux statistiques descriptives. Des tests et analyses statistiques permettent d’examiner les liens entre différentes variables indépendantes (âge, sexe, intensité de l’intervention, etc.) et variables dépendantes (paramètres d’impact tels que les évolutions structurelles, les changements d’opinion ou de comportement). La mise en œuvre de tests statistiques exige de grandes compétences et une longue expérience en méthodologie de recherche. Raison pour laquelle ils ne se prêtent généralement pas à une auto-évaluation.
Lors d’une analyse qualitative, il s’agit, pour l’essentiel, de créer et d’examiner des données verbales (documents, procès-verbaux d’entretiens, etc.), graphiques ou vidéo en fonction de certaines questions spécifiques. Les entretiens sont généralement enregistrés sur bande audio ou vidéo, puis un procès-verbal est dressé. Dans les évaluations simples, il n’est pas nécessaire de transcrire les entretiens mot à mot pour ensuite en analyser le contenu. Un bon procès-verbal, reprenant l’essentiel des propos (éventuellement relus et validés par les interlocuteurs), suffit.
Les données récoltées doivent être structurées et résumées, de manière à pouvoir en dégager les réponses aux questions de l’évaluation.
Les méthodes d’analyse qualitative qui vont au-delà de cette simple analyse, qui codent systématiquement des entretiens transcrits in extenso et analysent ceux-ci de manière interprétative, requièrent des compétences spécifiques et de l’expérience en méthodologie de recherche, raison pour laquelle ces procédures d’interprétation ne conviennent en général pas à une auto-évaluation. L’analyse qualitative peut elle aussi s’appuyer sur de bons programmes informatiques qui facilitent le codage, la catégorisation et l’évaluation de données verbales ou visuelles (p. ex. Atlas-ti, MAXQDA, HyperRESEARCH, nVivo).
L’interprétation ne consiste pas seulement à décrire des données verbales, des tableaux, des graphiques et des illustrations, mais aussi à les placer dans le contexte général du projet et dans un cadre plus large (expériences réalisées dans d’autres projets, résultats d’études, théories), et à les interpréter et à les commenter dans cette optique.
Dans le cadre des procédures quantitatives, l’interprétation des données doit être clairement séparée de leur analyse. En revanche, dans les procédures qualitatives, l’analyse et l’interprétation sont reliées dans un processus de recherche cyclique. Tant lors de procédures quantitatives que de procédures qualitatives, des typologies des aspects examinés, groupes cibles, settings, etc. sont établies dans la mesure du possible. Celles-ci peuvent ultérieurement servir à développer des interventions spécifiques pour chaque type.
Réfléchissez bien à la manière dont les données récoltées devront être analysées. Qui s’en chargera? Quand? Comment? Si vous n’êtes pas familiarisé à l’analyse des données, demandez l’aide d’un spécialiste.