Une fois les questions de l’évaluation définies, il s’agit de définir les méthodes de recherche pour obtenir les réponses souhaitées.
En sciences sociales, deux types d’approches se sont établies: l’approche quantitative et l’approche qualitative. Celles-ci se distinguent dans leur objectif ainsi que dans leur méthode. Comme leurs noms le laissent supposer, une recherche quantitative visera à rendre compte des phénomènes dans leur quantité, tandis qu’une recherche qualitative demandera des avis, des perspectives et des données nuancés. Quoiqu’on le suggère souvent, les différentes méthodes de récolte de données et les instruments qui leur sont associés ne peuvent pas être classés sans équivoque dans l’une ou l’autre de ces deux catégories. La plupart des instruments de récolte de données peuvent être utilisés à la fois pour une évaluation quantitative ou qualitative, en fonction de leur degré d’ouverture. Ainsi, un questionnaire peut, en plus de questions fermées de nature quantitative, contenir des questions ouvertes qui peuvent faire l’objet d’une analyse qualitative. Dans les entretiens, il est aussi possible d’intégrer des éléments quantitatifs, p. ex. lorsqu’il est demandé à la personne interrogée de fournir des évaluations sur une échelle de 1 à 10, qui pourront ensuite être analysées de manière numérique.
Dans la méthode quantitative, des caractéristiques comptables sont mesurées ou des faits sont représentés de manière numérique. Les résultats sont examinés sur la base de rapports et de calculs statistiques. Les questionnaires ou observations standardisés reposent sur des connaissances déjà acquises et ciblent des aspects très spécifiques, qu’ils sondent et examinent de long en large ou à propos desquels ils souhaitent obtenir une appréciation. Les analyses quantitatives se concentrent sur des questions prédéfinies et leur perspective est donc limitée. Les nouveaux aspects qui ne figurent pas dans les catégories de réponses formulées ne sont donc généralement pas pris en compte.
La méthode qualitative est particulièrement bien adaptée pour analyser en profondeur des phénomènes complexes ou encore méconnus. Les entretiens ouverts ou les observations peuvent rendre compte d’aspects essentiels qui se perdraient dans une procédure fortement standardisée, et notamment dans le cadre de questions fermées. Pour les méthodes qualitatives, des critères de validité différents de ceux utilisés dans la recherche quantitative sont appliqués. C’est le cas de la traçabilité intersubjective, de la proportionnalité de l’objet, du fondement scientifique, de la réflexivité ou de la contextualité (Steinke 1999, Studer 2011).
Les procédures qualitatives sont souvent utilisées lorsque l’objet de la recherche est relativement neuf ou pour explorer le domaine de recherche ou la question et élaborer des hypothèses. Les méthodes quantitatives servent davantage à formuler un avis sur la fréquence ou la diffusion de certains phénomènes ou à tester des hypothèses existantes. Souvent, ces deux types de méthodes sont combinés. Lorsqu’un objet donné est simultanément éclairé sous des angles méthodologiques différents, p. ex. au moyen de plusieurs méthodes qualitatives et quantitatives, on parle de triangulation des méthodes (Flick 2004).
Il existe une quantité de méthodes et d’instruments associés qui peuvent être utilisés dans le cadre d’évaluations. Le choix de la méthode dépend de la question, mais aussi du contexte, du groupe cible, des ressources financières et en personnel ainsi que d’autres aspects.
|
Méthodes d’évaluation |
Remarques |
|
Analyse de documents |
Pour certains problèmes ou aspects, il est possible de se référer à des documents existants (rapports, concepts, illustrations, vidéos, etc.), de sorte qu’il n’est pas nécessaire de procéder à la récolte de données supplémentaires. |
|
Enquêtes écrites (version papier) |
L’enquête écrite est la méthode la plus fréquemment utilisée lorsqu’il s’agit de collecter des informations auprès d’un groupe de personnes d’ampleur moyenne à grande. Les questionnaires peuvent inclure tant des questions fermées (avec des catégories de réponses prédéfinies) qu’ouvertes. |
|
Enquêtes en ligne |
Les enquêtes en ligne présentent l’avantage, par rapport aux autres types d’enquêtes écrites, qu’elles ne nécessitent pas de ressaisir les données sous forme électronique, ce qui permet de gagner un temps considérable. Cela étant, ce canal ne permet pas de toucher tout le monde, ni toutes les catégories de population. |
|
Enquêtes téléphoniques |
Par ailleurs, les enquêtes se déroulent de plus en plus souvent par téléphone. Les enquêtes téléphoniques prennent beaucoup plus de temps que les enquêtes écrites lorsqu’un grand nombre de personnes doivent être interrogées, mais constituent une solution efficace pour les petits groupes. Elles présentent l’avantage de permettre de poser des questions complémentaires lorsque les choses ne sont pas claires. |
|
Entretiens téléphoniques |
Outre les enquêtes quantitatives, des entretiens qualitatifs peuvent également être menés par téléphone afin d’approfondir certaines questions. Comparés aux entretiens personnels, les entretiens téléphoniques permettent de gagner du temps et d’économiser des frais de déplacement. |
|
Entretiens personnels |
Les entretiens personnels créent généralement une plus grande confiance que les entretiens téléphoniques et permettent, lorsqu’ils sont réalisés sur le terrain, de se forger une meilleure idée du contexte dans lequel évoluent les personnes interrogées. |
|
Entretiens en groupe |
Par rapport aux entretiens personnels, les entretiens en groupe présentent l’avantage de faire émerger de nouveaux aspects qui peuvent ensuite être traités en groupe. Les entretiens en groupe sont donc particulièrement indiqués lorsqu’il convient de parvenir à un consensus dans les appréciations. Toutefois, les perspectives des différentes personnes ne peuvent pas autant être approfondies et examinées indépendamment des autres participants. |
|
Observations |
Les observations sont utilisées pour évaluer les événements sur place de première main – en d’autres termes, sans qu’ils soient déjà filtrés par les personnes interrogées. Il est ainsi possible de capturer le subliminal, l’inconscient et l’implicite. Toutefois, cette méthode ne permet d’évaluer que des aspects directement accessibles par l’observation, et pas, par exemple, les opinions des personnes. |
|
Mesures |
Certains aspects peuvent être mesurés objectivement avec les instruments correspondants, comme la taille et le poids pour calculer l’indice de masse corporelle de personnes et le suivre à long terme, ou la durée pour déterminer le temps nécessaire à la réalisation de travaux particuliers. Les instruments de mesure seraient dans ces cas une balance, un mètre ruban et une montre. |
|
Tests |
Quoique moins courus, les tests peuvent être utilisés à diverses fins dans les évaluations, afin de juger de l’approche retenue dans les interventions ou des produits (p. ex. tests préalables pour les campagnes d’affichage, achats-tests dans le cadre de la prévention de l’alcoolisme, tests de convivialité pour les sites Internet, etc.). |
Outre ces méthodes de récolte des données très répandues, diverses autres méthodes peuvent également être utilisées à des fins d’évaluation (p. ex. histoires, mise en place de structures, expériences, autophotographie, etc.).
Une méthode et des instruments d’évaluation judicieusement choisis garantissent que les données récoltées livreront bien les informations souhaitées et qu’elles sont adaptées pour répondre aux questions posées dans le cadre de votre évaluation. Dans le même temps, ils permettent d’éviter de récolter trop de données qui ne pourraient pas être analysées par la suite.
Une fois définies les questions de l’évaluation, vérifiez de quelles données susceptibles d’y répondre vous disposez déjà. Lors du choix des méthodes et du développement des instruments d’évaluation, demandez conseil à des évaluateurs chevronnés.