The Conversation : "Pourquoi l’enquête « police-population » du ministère de l’Intérieur est trompeuse"

Société Article
Shutterstock
Shutterstock
L’enquête présentée par le ministère de l’Intérieur sur la bonne image qu’ont les Français de la police déroge aux standards méthodologiques admis par la communauté scientifique.
Dans son allocution publique du 8 juin 2020, Christophe Castaner, alors ministre de l’Intérieur, citait les résultats d’une enquête parue le 3 juin et affirmant que « 85 % des Français ont une bonne image de la police », lui permettant ainsi de tenter de réfuter l’existence d’une crise de confiance envers les forces de l’ordre.

Cette « Enquête nationale sur la qualité du lien entre la population et les forces de sécurité intérieure » aussi intitulée EQP19 a été réalisée à la demande du ministère de l’Intérieur et plus précisément de l’École Nationale Supérieure de Police (ENSP), dont le « Centre de recherche » a signé un partenariat avec l’Université Savoie-Mont-Blanc (USMB).

Un calendrier opportun

La date de publication de cette enquête n’est en rien un hasard de calendrier : alors que le rapport avait été transmis le 31 mars 2020 comme l’indique sa page de garde, celui-ci était rendu public par le ministère dans le contexte de multiplication des mises en cause de la police dans des faits de racisme et de brutalités ainsi qu’à la suite d’une mobilisation organisée quelques jours plus tôt à Paris, d’une ampleur sans précédent en France, ayant rassemblé plus de 20 000 personnes devant le Tribunal de grande instance de Paris.

Pressé par les circonstances, le gouvernement a donc dégainé l’argument scientifique : les « Français » sont satisfaits, les sceptiques sont contredits et la qualité du service public policier n’est pas réfutée. Pourtant, cette enquête déroge aux standards méthodologiques admis par la communauté scientifique, et sa mise en exergue ne doit pas cacher la grande faiblesse des résultats qui en découle.

Questions de méthode

Le rapport, un document de 46 pages, ne semble pas avoir fait l’objet d’une relecture attentive. La construction hasardeuse de nombreuses phrases, la nébulosité du vocabulaire utilisé et les répétitions donnent à l’ensemble une facture insolite. Par exemple, l’expression « quartier complexe » (p. 7) n’est pas définie. Il n’est pas non plus précisé ce qu’est un « test de cohérence » (p. 18).

Mais les bévues stylistiques restent vénielles face aux fautes de méthode que nous avons repérées lors de l’analyse de la méthodologie, comme nous allons l’expliquer ci-après plus en détail.

Après une première enquête conduite en 2018, dite « Temps 0 », jugée insatisfaisante par les universitaires associés à sa réalisation en raison d’un taux de réponse « quantitativement insignifiant »(p.7), le Directeur central de la Sécurité publique, qui pilote de facto de l’enquête, décide pourtant, début 2019, sa « généralisation à l’ensemble des circonscriptions de sécurité publique » (p. 7), c’est-à-dire à l’ensemble des zones de police en France.

Lors de la cette deuxième phase, qui se tient durant l’année 2019, la méthode présente de très sérieux problèmes qui commencent par celui de la constitution de l’échantillon.

L’enquête fait état de 12 822 questionnaires renseignés et analysés par l’équipe de recherche. Il ne s’agit donc pas de 48 134 questionnaires comme l’avait annoncé Christophe Castaner lors de son allocution, qui avait confondu ce chiffre avec celui du nombre de personnes contactées.

L’on découvre un rapport qui se limite à présenter les fréquences de chaque variable sans chercher à les croiser entre elles, ce qui constituerait pourtant l’intérêt de ce type de démarche.

Par exemple, à la lecture du texte, on connaît le pourcentage de personnes déclarant « avoir confiance dans la police », mais on ne connaît pas la manière dont cette donnée varie en fonction de l’âge, de la catégorie socio-professionelle, ou du type de contact avec la police.

Un biais d’échantillonnage frappant

Mais surtout, et c’est ici la principale faiblesse de ce travail, ce rapport commet une erreur méthodologique grossière, entachant la qualité et la fiabilité d’une enquête de sciences sociales : le biais d’échantillonnage.

De quoi s’agit-il ? Le principe de toute enquête ayant vocation à représenter les opinions de la population générale est de garantir, au moyen d’un tirage probabiliste ou d’une reconstitution par quotas, que les réponses d’une fraction de la population peuvent être extrapolées à son ensemble.

Il faut savoir que la qualité d’un échantillon ne repose pas sur l’effectif interrogé mais sur la rigueur de sa composition ainsi que sur les modalités de passation du questionnaire.

Tous·te·s les étudiant·es en démographie ou sociologie connaissent l’épisode spectaculaire qui a conduit, en 1936, l’institut Gallup à prédire la victoire de Roosevelt sur la base d’un échantillon représentatif de 5 000 personnes tandis que le sondage réalisé par le Literary Digest auprès d’un échantillon gigantesque de deux millions d’abonné·es au journal, que l’élection intéressait suffisamment pour répondre au sondage, donnait son opposant, Landon, gagnant.

La sélection des répondant·es pose question

Concernant la constitution de l’échantillon, le document indique que les répondant·es ont été recruté·es par les « Délégués à la cohésion police-population (DCPP) » (p. 7) qui sont des policier·es retraité·es, intervenant dans les commissariats quelques heures par semaine et chargé·es d’entretenir des liens avec les habitant·es de la circonscription.

La manière dont ces agents ont convaincu des milliers de personnes de participer à l’enquête n’est pas expliquée. D’abord, on ignore comment le « recrutement » des répondant·es a été réalisé : comment les personnes ont-elles été choisies ? Quelles ont été les consignes données aux recruteurs ?

Cela pose question, ce d’autant plus qu’à cette première manière d’obtenir des questionnaires s’en est ajoutée une seconde, le recrutement spontané de personnes qui se sont portées d’elles-mêmes volontaires pour répondre à l’enquête.

On apprend en effet que « 8 000 affiches » ont été placardées dans les « lieux publics et les services de police […] au moment du lancement de l’enquête » afin d’« élargir les publics interrogés, y compris ceux qui ne sont pas directement démarchés par les policiers ».

Autrement dit, les personnes qui appartiennent aux réseaux des DCPP et/ou qui apprécient la police peuvent se porter volontaires et répondre à l’enquête, laquelle se transforme en plébiscite sous couvert de sociologie.

Conflit d’intérêt ?

Pour une telle enquête, il eut été sensé que l’institution policière n’intervienne pas au moment crucial de la constitution de l’échantillon, écueil désastreusement redoublé par la présence du logo de la Police de sécurité du quotidien, sous lequel on peut lire « Protéger, garantir et servir » dans le questionnaire.

 Capture d’écran du rapport. Enquête police-population, 2020, Author provided
Capture d’écran du rapport. Enquête police-population, 2020, Author provided


On peut ainsi légitimement supposer qu’une partie des réponses a été recueillie alors que les répondant·es pouvaient se sentir sous le regard de l’institution sur laquelle il fallait formuler des jugements.

Dans de telles conditions, on s’attend évidemment à ce que les personnes manifestant de la distance, de l’insatisfaction, voire de l’hostilité, vis-à-vis des forces de l’ordre s’abstiennent de participer à l’enquête.

Ajoutons pour finir qu’en dépit d’une absence d’information quant au principe de codage des variables que la part des « ouvrier·es » n’est que de 3 %, soit près de sept fois moins que dans la population active en France, dans un échantillon prétendant pourtant sur-représenter les quartiers défavorisés. Ces derniers sont désignés dans l’enquête par les acronymes utilisés dans les politiques publiques de sécurité soit Quartiers de reconquête républicaine (QRP) ou Police de sécurité quotidienne (PSQ).

Validation policière

Pour finir, les questionnaires ont été soit envoyés par Internet par les universitaires de l’USMB, soit passés par téléphone via un prestataire.

Les questionnaires imprimés étaient retournés directement à la police et la gendarmerie. La part de chaque voie de réponse n’est pas indiquée.

Capture d’écran du rapport, Enquête police-population 2020.

On comprend en creux dans le graphique p. 14 que l’enquête par téléphone concerne 698 personnes sur l’ensemble des répondant·es.

On comprend également que l’inscription dans l’échantillon est « validée en commissariat » et par la DGPN et que les questionnaires sont ensuite « retournés dans les commissariats et gendarmeries » (p. 10-11).

Les répondantes et répondants ont donc été l’objet d’une validation par la police et les questionnaires semblent avoir transité par les services de police.

Tant de violations de la neutralité de l’enquête interrogent, d’autant que l’on connaît l’importance au sein des exigences méthodologiques classiques d’éviter un « effet enquêteur », c’est-à-dire une influence subtile des caractéristiques de l’enquêteur·rice sur les réponses des enquêté·es.

Les lacunes du questionnaire

Le choix d’ignorer les recherches nationales ou internationales sur les relations entre la police et la population constitue une autre entorse de la présente enquête aux exigences en vigueur dans la communauté scientifique.

Le respect de ce principe de cumulativité de la recherche aurait permis de s’appuyer sur les acquis des travaux pré-existants pour éventuellement en dépasser les éventuelles limites. Un exemple, bien connu, tient à l’effet de la formulation des questions de sondage sur les réponses positives.

Ainsi, comme l’un de nous l’a montré dans un article récent sur les apports des enquêtes sociologiques dans le contexte des relations police-société, le pourcentage de personnes déclarant avoir confiance dans la police est fortement dépendant de la manière dont la question a été posée. Lorsque Ipsos pose la question « Avez-vous confiance dans la police ? », 65 % des répondant·es disent « oui » (« plutôt » ou « tout à fait »). Si l’ONDRP et l’Insee demandent « La police est-elle efficace contre la délinquance ? », on remarque une baisse de vingt points des réponses positives (46 % de « plutôt » ou « tout à fait »), et si la SOFRES interroge « A qui faites-vous le plus confiance pour limiter le risque de cambriolage ? », le pourcentage de personnes qui répondent « la police » est de 19 %.

Prendre en compte les expériences concrètes

Ensuite, les recherches disponibles soulignent également la nécessité de prendre en compte les expériences concrètes que les répondant·es ont eues avec la police (la fréquence des contrôles d’identité par exemple) pour comprendre les perceptions de cette dernière.

Or, dans la présente enquête, aucune question précise n’est prévue sur ces interactions concrètes.

La seule question disponible est formulée en des termes insuffisamment précis : « Avez-vous été en contact avec la police ? » (p. 38).

Mais le questionnaire ne renseigne ni le contexte, ni la période de référence.

Il est dès lors difficile de produire une quelconque analyse sur la base de cette seule question, qui agrège des expériences de « contact » très hétérogènes : contrôles, dépôts de plainte, convocations, demandes de renseignements, etc.

La présélection par un policier et le remplissage du questionnaire lui-même donnant lieu pour les répondant·es à un contact avec la police, il est même envisageable que certain·es se fondent sur cette interaction pour le moins singulière pour répondre à cette question.

Il en va de même de la prise en compte du statut minoritaire des répondant·es : elle est absente, alors que l’appartenance à des groupes minoritaires (qu’ils soient religieux ou ethnoraciaux) est une variable essentielle pour comprendre tant les perceptions des forces de l’ordre que les rapports concrets avec ces dernières.

La recherche en doute

En conclusion, les résultats de l’enquête police-population du ministère de l’Intérieur, pour laquelle l’université a été « missionnée », concourent à l’imprécision du diagnostic pourtant indispensable sur les relations police-population.

La manière dont l’échantillon a été construit, les questions posées ainsi que les conditions de passation et de remise des questionnaires jettent un sérieux doute sur les résultats présentés par le ministre de l’Intérieur en personne.

La déficience d’expertise du ministère de l’Intérieur, et de son « centre de recherche » de l’ENSP, sur les données qu’il contribue à produire est un obstacle majeur à l’amélioration des connaissances sur l’état des relations police – population, et donc des relations elles-mêmes.

La possible suppression par le gouvernement de l’enquête de référence « Cadre de vie et sécurité » (Insee/ONDRP/SSMSI) en même temps que l’Institut National des Hautes Études de la Sécurité et de la Justice qui l’abrite, est de ce point de vue préoccupante, et le serait plus encore si elle devait être remplacée par la diffusion ad hoc de résultats mal assurés.

Le sociologue canadien Jean‑Paul Brodeur écrivait que la police se caractérise notamment par sa « résistance au projet de connaître ».

La production et la mise en avant de cette enquête en dépit de son manque de fiabilité, qui traduit une utilisation sélective et déformante de la recherche par le ministère de l’Intérieur, en fournit ici une nouvelle et dommageable illustration.The Conversation

Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.

Publié le10 juillet 2020
Mis à jour le10 juillet 2020