Par Noé Le Blanc
le 23/02/2012
pour http://blog.mondediplo.net
En juillet 2009, le gouvernement avait cru bon d’habiller sa politique d’installation de caméras de vidéosurveillance de voie publique d’une étude dont la méthodologie grotesque s’était aussitôt attirée de sévères critiques [1]. L’œuvre de trois corps d’inspection dépendant du ministère de l’intérieur (Inspection générale de l’administration [IGA], Inspection générale de la police nationale [IGPN], Inspection générale de la gendarmerie nationale [IGGN]), ce travail continue de servir d’alibi scientifique au gouvernement, notamment auprès des autorités locales qu’il souhaite convaincre des avantages de l’installation de caméras [2].
En août 2011, sans doute inquiètes que les manquements de leur enquête au plus élémentaire bon sens scientifique ne finissent par trop se voir, les trois inspections responsables ont récidivé en publiant « une actualisation et un approfondissement » du premier rapport qui « revient en introduction sur les critiques méthodologiques dont le rapport 2009 avait été l’objet ». En effet, « plusieurs d’entre elles paraissent recevables » à la nouvelle mission d’étude, qui « s’efforce de les prendre en considération ».
Les critiques qui « mettent en cause l’indépendance des auteurs du rapport » sont en revanche jugées « inacceptables » [3]. Pourtant, s’il n’est pas inutile de rappeler qu’il s’agit de fonctionnaires de l’intérieur évaluant une politique de ce même ministère, la meilleure preuve de la servilité des enquêteurs réside précisément dans les manquements méthodologiques qu’ils avouent à demi-mot. Seuls des chercheurs aux ordres oseraient présenter au public une « étude » aux écueils aussi flagrants. Pour le dire autrement : une méthode défaillante suppose soit de ne pas conclure, soit de se donner la conclusion d’avance, puisque l’étude elle-même ne peut livrer aucun résultat. Rien ne sert donc de pousser des cris d’orfraie. La meilleure (et la seule) preuve d’« indépendance » qui soit recevable est évidemment la mobilisation d’une méthodologie digne de ce nom.
Sans surprise cependant, cette deuxième production sombre dans tous les travers de la première. Sans surprise car il ne s’agit après tout que de « l’actualisation » et de « l’approfondissement » du rapport initial, et non de sa mise à la poubelle. Les enquêteurs se félicitent même que « la mission propose des conclusions qui corroborent celles qu’elle avait livrées l’an passé » : cette concordance de résultats indique bien une concordance de méthode, sauf à considérer qu’elle relève d’une coïncidence (auquel cas, pourquoi la remarquer ?). De toute façon, soulignent-ils, l’étude présentée « ne prétend pas à la précision scientifique » — à quel genre de précision prétend-elle ? Le caractère alambiqué de certaines formulations suggère tout de même qu’une espèce de mauvaise conscience théorique hante parfois les enquêteurs : « Ce débat [méthodologique] conduira [la mission], comme en 2009, à relativiser ses conclusions, sans toutefois renoncer à les exprimer, tout au moins lorsque les chiffres sont suffisamment probants pour le faire. » Mieux vaut en effet n’exprimer que des conclusions qui s’appuient sur des chiffres « suffisamment probants ».
La première salve de critiques essuyées par les fonctionnaires de l’intérieur n’a pas réussi à leur faire réviser radicalement leurs pratiques scientifiques. Soucieuses de recenser aussi exhaustivement que possible les aberrations du premier document gouvernemental, peut-être ces critiques ont-elles pêché par une attention excessive aux questions de détails. Je voudrais donc présenter ici quelques critiques plus fondamentales, qui souligneront l’inanité identique des deux rapports, sans m’attarder à décortiquer chaque affirmation qu’ils contiennent. J’espère que la simplicité de ces quelques arguments-massue réussira là où de longs développements ont manifestement échoué.
Pour commencer, examinons la nature des chiffres que les enquêteurs prennent comme base de données : il s’agit, non des « chiffres de la délinquance », mais du chiffre des « faits constatés par les services » de police et de gendarmerie, recensés dans « l’état 4001 [4] ». La différence entre les deux, que les enquêteurs préfèrent balayer d’un revers de la main (« les chiffres de la délinquance par circonscription de police (...) reflètent approximativement les réalités d’une agglomération »), est très importante. Comme le souligne le chercheur Laurent Mucchielli :
Grossiers et malléables, les « chiffres de la délinquance » constituent donc un réservoir de données extrêmement sujettes à caution, pour ne pas dire quasiment inutilisables. Cette difficulté affecte l’ensemble des travaux de criminologie qui prennent cette base comme référence, soit la quasi-totalité des publications officielles qui traitent de « la délinquance ».
Mais un deuxième problème vient aggraver l’affaire dans le cas des études portant sur l’efficacité de la vidéosurveillance de voie publique : en effet, le périmètre des zones vidéosurveillées ne recouvre aucunement celui des zones administrativo-policières au niveau desquelles les chiffres de la délinquance sont recueillis (« par circonscription de police, donc le plus souvent à l’échelle d’une agglomération » en zone police, « par communauté de brigades, par brigade et par commune » en zone gendarmerie). Difficile dès lors de prétendre que ces chiffres reflètent, même de loin, l’action des caméras.
Consciente du problème (déjà souligné dans les critiques du premier rapport), la mission semble regretter d’être « contrainte, du fait des données dont elle dispose au niveau national, de s’en tenir aux périmètres rappelés ci-dessus (...) faute de chiffres nationaux à une échelle inférieure » ; mais elle ne s’avoue pas vaincue pour autant. Au contraire : ces périmètres, explique-t-elle, présentent « l’avantage de neutraliser les effets de déport de la délinquance (effet plumeau) ».
Le raisonnement des enquêteurs semble être le suivant : mesurer l’évolution des délits enregistrés à l’intérieur des zones vidéosurveillées à strictement parler permet sans doute d’apprécier l’impact des caméras au plus près, mais ne dit pas quelle proportion des délits ont été simplement déplacés plutôt qu’effectivement dissuadés. Mesurer l’évolution des délits enregistrés au niveau de la circonscription de police ou de gendarmerie où se trouvent les caméras présente au contraire l’avantage de ne compter que les délits véritablement dissuadés, puisque les délits « déportés » de la zone vidéosurveillée sont comptabilisés au niveau de la circonscription comme s’étant produits. On suppose bien entendu que l’ensemble des délits « déportés » de la zone vidéosurveillée se produisent malgré tout à l’intérieur de la circonscription au niveau duquel les données statistiques sont recueillies (notons que les enquêteurs ne se posent jamais la question d’examiner quels délits sont susceptibles d’être « déportés », à quelle distance, etc.).
La mission affirme ainsi que les chiffres de la délinquance par la circonscription de police ou de gendarmerie traduisent l’impact dissuasif des caméras corrigé de son « effet plumeau » — et il nous faut protester ici contre cette manie pénible d’inventer des noms ridicules pour conférer un semblant de consistance à des concepts qui relèvent plus du flou artistique que de la « précision scientifique » —, c’est-à-dire qu’ils constituent un indicateur statistique supérieur à la simple mesure de l’effet dissuasif des caméras, une mesure plus juste pourrait-on dire de l’effet global de la vidéosurveillance. Bref, au pays des merveilles statistiques, l’imprécision est une richesse, et se servir des chiffres de zones sans caméras pour évaluer l’efficacité de celles-ci un « avantage » plutôt qu’un défaut rédhibitoire.
L’idée que l’utilisation statistique des chiffres par zones policières permet de « neutraliser les effets de déport de la délinquance » appelle au moins les trois remarques suivantes.
— D’abord, l’une des critiques formulées contre le premier rapport était que les enquêteurs utilisaient les chiffres de la « délinquance générale » pour mesurer l’impact des caméras. Les auteurs du deuxième rapport commentent ce choix en expliquant avec flegme que « la mission avait pris un parti de simplicité », mais admettent que la critique était fondée : « La mission admet que ce choix a conduit à utiliser des agrégats qui englobent des catégories de faits dont certains sont moins que d’autres ou même pas du tout susceptibles d’être impactés par les dispositifs de vidéoprotection. C’est pourquoi elle a retenu dans cette étude complémentaire une approche plus ciblée sur certains types de délinquance — la délinquance dite “de rue”. » Pourtant, quelle que soit l’importance de « l’effet plumeau », l’utilisation des chiffres de la délinquance au niveau des agglomérations (zone police) ou des communes (zone gendarmerie) plutôt qu’au niveau des zones vidéosurveillées revient également à utiliser des « agrégats » présentant les mêmes défauts. Ne faut-il pas s’en émouvoir ?
— Ensuite, on peut remarquer que dans le premier rapport les enquêteurs avaient jugé « l’effet plumeau » « globalement faible », écrivant même que « les écarts d’évolution des faits constatés entre les zones sous vidéoprotection et celles qui ne le sont pas sont trop faibles pour qu’on puisse les calculer ». Si l’effet plumeau est nul ou insignifiant, « l’avantage de neutraliser un éventuel effet plumeau » l’est sûrement tout autant (notez le « éventuel » dans cette deuxième formulation, toujours tirée du deuxième rapport).
— Enfin, du point de vue formel cet argument est proprement confondant. Les enquêteurs proposent en effet de résoudre un problème d’imprécision (donc de lecture, d’interprétation) d’un chiffre en lui assignant l’expression d’une variable supplémentaire, c’est-à-dire en l’affectant dune ambiguïté constitutive. C’est deux pour le prix d’un : un même chiffre (déjà très imprécis) doit renseigner non plus sur un seul, mais sur deux phénomènes à la fois. Or, si un même chiffre indique à la fois la « dissuasion » et le « déport » sans que la proportion entre les deux ne soit spécifiée, il est impossible de savoir ce qu’il indique : dissuasion, ou déport ? On ne sait pas ce que mesurent les mesures des enquêteurs.
De plus, comme la « dissuasion » et le « déport » s’annulent statistiquement (la « dissuasion » fait baisser un chiffre que le « déport » fait remonter), il devient impossible de connaître, non pas simplement la nature de l’impact des caméras (« dissuasion » ou « déport »), mais son importance, c’est-à-dire, s’il y a eu impact ou non. Les chiffres du « déport » masquent en effet systématiquement (mais dans une proportion inconnue) ceux de la « dissuasion », et inversement : un réseau de vidéosurveillance qui dissuade beaucoup mais déporte également beaucoup produira des statistiques identiques à un réseau qui dissuade et déporte peu. Ou encore, l’impact d’un réseau qui connaît un taux de déport de 100 % (remarquons que les enquêteurs ne tentent jamais de chiffrer ce taux) apparaîtra toujours comme statistiquement nul, quel que soit son importance réelle. Bref, si l’on prend au sérieux la proposition méthodologique des enquêteurs (qu’un même chiffre exprime deux variables qui s’annulent statistiquement), une même variation statistique peut traduire un impact des caméras très important comme inexistant : il devient donc impossible de quantifier cet impact, non simplement à cause du caractère imprécis des données disponibles, mais par construction [7]. La justification théorique (ou quasi-théorique) produite par les enquêteurs pour farder l’une des tares les plus criantes de leur travail revient ainsi à rendre impossible l’interprétation des données proposées.
Il faut remarquer ici que la mission exclut du champ de son investigation « la question de l’efficacité en matière d’élucidation des crimes et délits, faute de progrès accomplis dans la traçabilité statistique de la vidéo ». En effet, comme elle l’explique très justement, « pour être véritablement évalué, l’impact d’une politique doit être “évaluable”, c’est-à-dire que des dispositions précises de suivi doivent être prises, et pour la vidéoprotection ce n’est pas encore le cas. Le traçage du facteur vidéo n’a pas sensiblement progressé par rapport à l’an passé. La mission estime donc que des approfondissements ne sont pas possibles dans l’immédiat au plan national ». Le rapport 2009 indiquait quant à lui des résultats calamiteux en matière d’élucidation : un taux d’élucidation plus élevé dans les CSP « non-équipées » que dans les CSP « équipées » en zone police, et moins d’une personne « mise en cause » par caméra et par an en zone gendarmerie. Sans doute ce bilan n’est-il pas sans relation avec les brusques réserves méthodologiques des enquêteurs. Quoi qu’il en soit, on peut se demander pourquoi la mission n’a pas également renoncé à évaluer l’impact dissuasif des caméras faute d’une « traçabilité statistique » suffisante.
Examinons à présent la méthode mise en œuvre par les auteurs du deuxième rapport pour déterminer, à partir de ces chiffres, l’impact de la vidéosurveillance sur la délinquance. Mais, d’abord, un peu de méthode.
Comparer telles quelles les différentes évolutions n’a donc de sens que si on les suppose identiques jusqu’en 2000, supposition sans fondement et probablement fausse. On serait ainsi tenté de classer l’étude gouvernementale à l’échelon 1, le plus bas. Les mesures proposées par la mission n’étant cependant pas à strictement parler « ponctuelles », puisque l’effet des caméras est examiné sur une dizaine d’années, on accordera bien volontiers un échelon de scientificité 1,5.
Encore faut-il souligner que les résultats obtenus par les enquêteurs sont entachés d’une seconde difficulté au moins aussi invalidante que la première : le manque de comparabilité des catégories de zones urbaines distinguées. Quel procédé méthodologique autorise (c’est-à-dire, permet d’interpréter) la comparaison d’agrégats urbains a priori complètement différents les uns des autres, puisque la seule information dont on dispose à leur sujet est leur densité respective en caméras ? Comment éliminer méthodologiquement l’impact sur les délits des « facteurs concurrents » (pour reprendre les termes du rapport) tels que « l’aménagement urbain (dont l’éclairage nocturne), le développement de polices municipales, et des politiques de prévention diverses, tous éléments qui concourent à l’efficacité d’une politique de sécurité dont la vidéoprotection n’est qu’un élément » ? Pour attribuer aux caméras les différences d’évolution de la « délinquance de rue » constatées, il faut en effet supposer égaux tous les autres facteurs susceptibles d’influer sur les délits au sein des agrégats considérés, soit dans les faits, soit grâce à une correction statistique appropriée. Mais comment s’en assurer en ignorant tout de ces facteurs ? La constitution des agrégats pose d’ailleurs le même problème que celui de leur comparaison : rien ne permet a priori de comptabiliser ensemble (comme si ces unités transcrivaient une réalité homogène) les chiffres de la délinquance provenant de villes dont la seule caractéristique commune est une certaine densité en caméras.
En 2009, la mission avait résolu cette difficulté « en ne prenant pas ces facteurs concurrents en considération ». Pour justifier ce choix, elle « avait simplement postulé qu’à l’échelle de l’échantillon représentatif de villes équipées qu’elle avait proposé, et à celui de l’ensemble des villes non équipées auquel elle le comparait, ces facteurs concurrents évoluaient en moyenne de façon similaire dans les deux groupes ».
En 2011, la mission concède qu’« il a été à juste titre suggéré que le facteur vidéoprotection devrait être isolé pour en analyser précisément l’effet ». Cependant, « la mission n’a pas davantage cherché à isoler ces facteurs concurrents », reconnaissant « évidemment » que « de nombreux facteurs concurrents peuvent exercer une influence sur l’évolution de la délinquance », mais jugeant comme en 2009 que « la dimension des agrégats et le nombre de sites comparés doit permettre de les neutraliser largement ».
Ici, les enquêteurs confondent tout simplement quantité et qualité. Leurs résultats dépendent de la supposition selon laquelle l’importance numérique des agrégats considérés suffit à fonder leur comparabilité. Plus les agrégats sont importants, affirment-ils, plus les résultats obtenus reflètent l’impact d’un nombre important de « facteurs concurrents », meilleures sont les chances que ces facteurs se recoupent d’un agrégat à l’autre, c’est-à-dire s’annulent statistiquement. Il s’agit donc d’une véritable opération d’alchimie statistique : plus la disparité interne des agrégats (qui comptabilisent sous un même chiffre des résultats aux significations très hétérogènes) est grande, mieux elle permet d’annuler leur disparité externe (de les rendre comparables). Bref, il suffit pour comparer n’importe quel ensemble à n’importe quel autre que les deux soient numériquement importants, aussi hétérogènes soient-ils. Le plomb statistique est ainsi transmuté en or, « en moyenne », sinon « largement ».
Inutile de souligner l’inanité (la gratuité) de ce postulat, qui suppose le geste bienveillant d’une main invisible œuvrant dans l’ombre à égaliser les facteurs ; on remarquera simplement qu’encore une fois, on ne sait plus pourquoi les enquêteurs s’interdisent de travailler avec les chiffres de la « délinquance générale » : ils pourraient avec la même logique postuler que les délits qui sont « moins que d’autres ou même pas du tout susceptibles d’être impactés par les dispositifs de vidéoprotection » évoluent « en moyenne de façon similaire » dans chaque agrégat distingué car « l’échelle de l’échantillon » considéré permet de « neutraliser largement » la distorsion statistique qu’ils imposent aux mesures enregistrées. Les comparaisons effectuées produiraient ainsi les mêmes résultats, que l’on utilise les chiffres de la délinquance générale ou ceux de la délinquance de rue. Mais sans doute ne faut-il pas trop pousser le bouchon.
Les résultats produits par ce dispositif méthodologique bancal ne présentent logiquement qu’une cohérence de surface, puisqu’il s’agit d’une suite de coïncidences, dont certaines sont heureuses pour les enquêteurs, d’autres non. Ainsi les vols avec violence connaissent une baisse relative de la délinquance de rue dans les zones urbaines les plus vidéosurveillées sur la période 2000-2009 (par rapport aux zones les moins surveillées), mais une hausse relative sur les périodes 2002-2003 et 2005-2008. Autrement dit, si l’on accepte que ces différences d’évolution expriment l’effet des caméras, alors il faut conclure que celles-ci font tantôt baisser, tantôt augmenter la délinquance en fonction des dates retenues pour la mesure. A conditions inchangées, on constate ainsi des effets contraires, qu’il est pour le moins problématique d’attribuer à un facteur unique (les caméras).
La mission n’ignore pourtant pas quelles conditions méthodologiques lui permettraient de produire des conclusions solides : « La méthode consistant à comparer des paires de villes appariées ou des portions de villes, dont les caractéristiques seraient similaires, les unes étant équipées, les autres pas, est certes plus rigoureuse dans son principe, mais aussi beaucoup plus complexe à mettre en œuvre. Elle peut notamment se heurter à la difficulté de sélectionner les paires. Le choix devrait garantir les similitudes, sans omettre aucun facteur significatif de différence autre que la vidéo. L’opération devrait porter sur un nombre suffisant de paires pour être représentative et porter sur une période de plusieurs années. » Elle ajoute qu’« il serait préférable de suivre l’évolution de la délinquance au niveau d’un quartier », l’idéal étant de « jumeler la notion de paires appariées avec celle d’une approche par quartiers », dispositif méthodologique qui situerait en effet l’enquête à l’échelon 4 de la MS.
Expliquant sans rire que « le mieux est parfois l’ennemi du bien », la mission choisit néanmoins de renoncer à ce travail « car les délais et les moyens qui lui étaient impartis n’auraient permis une analyse que sur un nombre très réduit de sites et sur une période courte, rendant difficile toute extrapolation » et « hasardeuses les conclusions générales » qui en seraient « hâtivement tirées ». Elle préfère adopter une « approche globale » qui consiste à prendre en compte sans autre forme de procès « la totalité des CSP pour lesquelles les données de délinquance sont disponibles sur la période 2000-2009, soit 393 circonscriptions, et toutes les communes de plus de 10 000 habitants en zone de gendarmerie, soit 190 communes » afin de « s’abstraire des difficultés de choix d’un échantillon et élargir le point de vue ».
Pourtant, les « difficultés » dont les enquêteurs veulent « s’abstraire » sont celles-là même qu’il faut affronter si l’on veut prétendre à des résultats généralisables : c’est évidemment une connaissance aussi précise que possible du contexte particulier d’où proviennent les données (le « choix d’un échantillon ») qui permet d’étendre les résultats obtenus à d’autres contextes. Sans données ni dispositif théorique pour construire un rapport entre les résultats produits par l’enquête ministérielle (à supposer qu’ils signifient quelque chose) et le contexte singulier de chaque zone urbaine, l’unité statistique examinée par les enquêteurs (« la totalité des CSP, etc. ») n’est rien d’autre qu’un cas particulier, et même très particulier puisque, sorte de monstre géographico-statistique, il n’est comparable à aucune situation réelle. Aucune généralisation des résultats obtenus n’est donc possible, puisque ceux-ci ne valent que pour l’unité (monstrueuse) considérée.
« La mission comprend que certains puissent être hostiles ou réservés face à la mise en place de caméras de vidéoprotection. » La mission est trop bonne.
[2] Comme l’indique le documentaire « Camera City » de La Chaine Parlementaire.
[3] [La mission] « tient à rappeler que ce travail avait été effectué de façon entièrement autonome et collégiale par ses cosignataires, qui en avaient arrêté en toute indépendance les modalités et en toute responsabilité les conclusions, conformément aux statuts et aux traditions des corps d’inspection auxquels ils appartiennent, qui leur permettent de travailler en toute neutralité ».
[4] Fichier qui recense chaque année tous les faits enregistrés par les services de police et de gendarmerie, répartis selon 107 catégories.
[5] Laurent Mucchielli, « Délinquance : la com’ rituelle du ministre de l’intérieur », blog Mediapart, janvier 2011.
[6] Le nombre de faits élucidés dépasse ainsi parfois le nombre de faits constatés, grâce ou à cause de l’abus d’astuces comptables développées en réponse à des pressions hiérarchiques. Chercheur au CNRS, Christian Mouhanna explique le principe de ces astuces de la façon suivante : « En matière de consommation de cannabis, l’arrestation d’un fumeur de joint — un fait constaté — représente aussi un fait élucidé, puisque l’auteur du délit est immédiatement identifié, soit un taux d’élucidation au minimum de 100 % — voire plus dans la réalité. Si l’on pousse la logique à l’extrême, le vol de dix polos Lacoste peut être enregistré comme un seul et même fait. Mais si l’on retrouve le lot, il est possible de prendre en compte dix faits élucidés, soit un par article. » (« Les statistiques deviennent une fin en soi », interview dans L’Express, 13 novembre 2007). Voir aussi Jean-Hugues Matelly et Christian Mouhanna, Police, des chiffres et des doutes, Editions Michalon, 2007.
[7] Une absurdité comparable surgit lorsque l’on assigne aux caméras la double fonction de détection et de dissuasion des délits, puis que l’on essaie de mesurer leur « efficacité », sans réfléchir que l’expression statistique de ces fonctions est contradictoire (la détection fait augmenter un chiffre que la dissuasion fait baisser). Cf. « Sous l’œil myope des caméras », Le Monde diplomatique, septembre 2008.
[8] Je cite cependant la formulation définitive de cette échelle, qui date de 2002. Lawrence W. Sherman, Denise C. Gottfredson, Doris L. MacKenzie, John Eck, Peter Reuter, et Shawn D. Bushwa, “Preventing Crime : What Works, What Doesn’t, What’s Promising,” National Institute of Justice, 1998.
[9] B. Welsh et D. Farrington, « Crime prevention effects of closed circuit television : a systematic review », Home Office Research Study 252, p. 4.
[10] « L’analyse est cette fois menée sur la totalité des CSP pour lesquelles les données de délinquance sont disponibles sur la période 2000-2009, soit 393 circonscriptions, et sur toutes les communes de plus de 10 000 habitants en zone de gendarmerie, soit 190 communes. »
[11] L’importance de la prise en compte statistique des tendances historiques est souligné par Jason Ditton et Emma Short dans leur célèbre étude de 1996 « Yes it works, no it doesn’t » qui évaluait les dispositifs de vidéosurveillance dans la ville de Glasgow et la bourgade d’Airdrie voisine. L’étude avait constaté une baisse de la délinquance consécutive à l’installation de caméras à Airdrie (« yes it works »), mais une hausse à Glasgow (« no it doesn’t »). Ditton et Short commentent ainsi ces résultats contradictoires : « Si le réseau de vidéosurveillance de Glasgow avait été installé à un moment où la délinquance enregistrée était au plus haut, il aurait été facile de prévoir une baisse indépendante [de l’action des caméras] ensuite. Mais comme les caméras furent installées alors que la délinquance était au plus bas, une hausse était l’évolution la plus probable. Il est tout aussi plausible de considérer que si les caméras d’Airdrie avaient été installées deux ans plus tard (…) le taux de délinquance serait reparti à la hausse. »
le 23/02/2012
pour http://blog.mondediplo.net
« Vous avez lu quelquefois des textes de criminologues ? C’est à vous couper bras et jambes. Et je le dis avec étonnement, non avec agressivité, parce que je n’arrive pas à comprendre comment ce discours de la criminologie a pu en rester là. On a l’impression que le discours de la criminologie a une telle utilité, est appelé si fortement et rendu si nécessaire par le fonctionnement du système qu’il n’a même pas eu besoin de se donner une justification théorique, ou même simplement une cohérence ou une armature. Il est entièrement utilitaire. »Analyse critique du « Rapport complémentaire sur l’efficacité de la vidéoprotection, » de MM. René Mertes, Didier Chabrol, Philippe Debrosse et Jean-Pierre Sallaz pour le ministère de l’intérieur, de l’outre-mer et des collectivités territoriales (août 2011).
Michel Foucault, Dits et Ecrits, tome 1, texte n° 156, Gallimard, 1994.
En juillet 2009, le gouvernement avait cru bon d’habiller sa politique d’installation de caméras de vidéosurveillance de voie publique d’une étude dont la méthodologie grotesque s’était aussitôt attirée de sévères critiques [1]. L’œuvre de trois corps d’inspection dépendant du ministère de l’intérieur (Inspection générale de l’administration [IGA], Inspection générale de la police nationale [IGPN], Inspection générale de la gendarmerie nationale [IGGN]), ce travail continue de servir d’alibi scientifique au gouvernement, notamment auprès des autorités locales qu’il souhaite convaincre des avantages de l’installation de caméras [2].
En août 2011, sans doute inquiètes que les manquements de leur enquête au plus élémentaire bon sens scientifique ne finissent par trop se voir, les trois inspections responsables ont récidivé en publiant « une actualisation et un approfondissement » du premier rapport qui « revient en introduction sur les critiques méthodologiques dont le rapport 2009 avait été l’objet ». En effet, « plusieurs d’entre elles paraissent recevables » à la nouvelle mission d’étude, qui « s’efforce de les prendre en considération ».
Les critiques qui « mettent en cause l’indépendance des auteurs du rapport » sont en revanche jugées « inacceptables » [3]. Pourtant, s’il n’est pas inutile de rappeler qu’il s’agit de fonctionnaires de l’intérieur évaluant une politique de ce même ministère, la meilleure preuve de la servilité des enquêteurs réside précisément dans les manquements méthodologiques qu’ils avouent à demi-mot. Seuls des chercheurs aux ordres oseraient présenter au public une « étude » aux écueils aussi flagrants. Pour le dire autrement : une méthode défaillante suppose soit de ne pas conclure, soit de se donner la conclusion d’avance, puisque l’étude elle-même ne peut livrer aucun résultat. Rien ne sert donc de pousser des cris d’orfraie. La meilleure (et la seule) preuve d’« indépendance » qui soit recevable est évidemment la mobilisation d’une méthodologie digne de ce nom.
Sans surprise cependant, cette deuxième production sombre dans tous les travers de la première. Sans surprise car il ne s’agit après tout que de « l’actualisation » et de « l’approfondissement » du rapport initial, et non de sa mise à la poubelle. Les enquêteurs se félicitent même que « la mission propose des conclusions qui corroborent celles qu’elle avait livrées l’an passé » : cette concordance de résultats indique bien une concordance de méthode, sauf à considérer qu’elle relève d’une coïncidence (auquel cas, pourquoi la remarquer ?). De toute façon, soulignent-ils, l’étude présentée « ne prétend pas à la précision scientifique » — à quel genre de précision prétend-elle ? Le caractère alambiqué de certaines formulations suggère tout de même qu’une espèce de mauvaise conscience théorique hante parfois les enquêteurs : « Ce débat [méthodologique] conduira [la mission], comme en 2009, à relativiser ses conclusions, sans toutefois renoncer à les exprimer, tout au moins lorsque les chiffres sont suffisamment probants pour le faire. » Mieux vaut en effet n’exprimer que des conclusions qui s’appuient sur des chiffres « suffisamment probants ».
La première salve de critiques essuyées par les fonctionnaires de l’intérieur n’a pas réussi à leur faire réviser radicalement leurs pratiques scientifiques. Soucieuses de recenser aussi exhaustivement que possible les aberrations du premier document gouvernemental, peut-être ces critiques ont-elles pêché par une attention excessive aux questions de détails. Je voudrais donc présenter ici quelques critiques plus fondamentales, qui souligneront l’inanité identique des deux rapports, sans m’attarder à décortiquer chaque affirmation qu’ils contiennent. J’espère que la simplicité de ces quelques arguments-massue réussira là où de longs développements ont manifestement échoué.
Pour commencer, examinons la nature des chiffres que les enquêteurs prennent comme base de données : il s’agit, non des « chiffres de la délinquance », mais du chiffre des « faits constatés par les services » de police et de gendarmerie, recensés dans « l’état 4001 [4] ». La différence entre les deux, que les enquêteurs préfèrent balayer d’un revers de la main (« les chiffres de la délinquance par circonscription de police (...) reflètent approximativement les réalités d’une agglomération »), est très importante. Comme le souligne le chercheur Laurent Mucchielli :
Il faut d’abord marteler ce rappel fondamental : les statistiques de la gendarmerie et de la police ne sont pas « les chiffres de la délinquance ». Elles sont le résultat de l’enregistrement des procès-verbaux dressés par ces fonctionnaires, ce qui ne représente qu’une petite partie de la délinquance. Tout ce que les policiers et les gendarmes n’ont pas su, ou bien ont su mais n’ont pas « procéduralisé », n’est pas compté. Si les victimes n’ont pas porté plainte ou que leur plainte n’a pas fait l’objet d’un procès-verbal en bonne et due forme (on les a débouté, on a fait une simple « main courante »), la délinquance n’existe pas officiellement. En outre, les contraventions (même les plus graves, de 5ème classe) ne sont pas comptées, ni les délits routiers, ni la plupart des infractions au droit du travail, au droit de l’environnement, au droit fiscal, etc.Approximatifs, les « chiffres de la délinquance » possèdent aussi une extrême plasticité [6]. Comme l’écrit Christian Mouhanna : « Chaque fonctionnaire dispose d’une très large marge d’appréciation, qui fausse l’exactitude des chiffres. Policiers et gendarmes sont à la fois juges et parties de leur travail. La tentation est donc grande de minorer la délinquance constatée ou de surévaluer la performance des services, d’autant que la prime au rendement et la logique de productivité ont accentué la pression sur l’échelon local . »
Non, décidément, il ne s’agit pas d’un baromètre fiable et représentatif de l’évolution de la délinquance. D’autant que les policiers et les gendarmes subissent depuis 2002 une pression inédite pour produire les « bons chiffres », et qu’il existe toute une série de techniques pour y parvenir. Face à des plaintes concernant des problèmes parfois réellement bénins (dispute familiale, bagarre de cour de récréation, échauffourée entre automobilistes, vol de pot de fleurs, carreau cassé, etc.), ils peuvent décider d’agir de façon informelle ou bien verbaliser et donc faire monter la statistique. Face à des plaintes en série concernant le même auteur, ils peuvent parfois faire autant de dossiers qu’il y a de plaignants, ou bien les regrouper [5].
Grossiers et malléables, les « chiffres de la délinquance » constituent donc un réservoir de données extrêmement sujettes à caution, pour ne pas dire quasiment inutilisables. Cette difficulté affecte l’ensemble des travaux de criminologie qui prennent cette base comme référence, soit la quasi-totalité des publications officielles qui traitent de « la délinquance ».
Mais un deuxième problème vient aggraver l’affaire dans le cas des études portant sur l’efficacité de la vidéosurveillance de voie publique : en effet, le périmètre des zones vidéosurveillées ne recouvre aucunement celui des zones administrativo-policières au niveau desquelles les chiffres de la délinquance sont recueillis (« par circonscription de police, donc le plus souvent à l’échelle d’une agglomération » en zone police, « par communauté de brigades, par brigade et par commune » en zone gendarmerie). Difficile dès lors de prétendre que ces chiffres reflètent, même de loin, l’action des caméras.
Consciente du problème (déjà souligné dans les critiques du premier rapport), la mission semble regretter d’être « contrainte, du fait des données dont elle dispose au niveau national, de s’en tenir aux périmètres rappelés ci-dessus (...) faute de chiffres nationaux à une échelle inférieure » ; mais elle ne s’avoue pas vaincue pour autant. Au contraire : ces périmètres, explique-t-elle, présentent « l’avantage de neutraliser les effets de déport de la délinquance (effet plumeau) ».
Le raisonnement des enquêteurs semble être le suivant : mesurer l’évolution des délits enregistrés à l’intérieur des zones vidéosurveillées à strictement parler permet sans doute d’apprécier l’impact des caméras au plus près, mais ne dit pas quelle proportion des délits ont été simplement déplacés plutôt qu’effectivement dissuadés. Mesurer l’évolution des délits enregistrés au niveau de la circonscription de police ou de gendarmerie où se trouvent les caméras présente au contraire l’avantage de ne compter que les délits véritablement dissuadés, puisque les délits « déportés » de la zone vidéosurveillée sont comptabilisés au niveau de la circonscription comme s’étant produits. On suppose bien entendu que l’ensemble des délits « déportés » de la zone vidéosurveillée se produisent malgré tout à l’intérieur de la circonscription au niveau duquel les données statistiques sont recueillies (notons que les enquêteurs ne se posent jamais la question d’examiner quels délits sont susceptibles d’être « déportés », à quelle distance, etc.).
La mission affirme ainsi que les chiffres de la délinquance par la circonscription de police ou de gendarmerie traduisent l’impact dissuasif des caméras corrigé de son « effet plumeau » — et il nous faut protester ici contre cette manie pénible d’inventer des noms ridicules pour conférer un semblant de consistance à des concepts qui relèvent plus du flou artistique que de la « précision scientifique » —, c’est-à-dire qu’ils constituent un indicateur statistique supérieur à la simple mesure de l’effet dissuasif des caméras, une mesure plus juste pourrait-on dire de l’effet global de la vidéosurveillance. Bref, au pays des merveilles statistiques, l’imprécision est une richesse, et se servir des chiffres de zones sans caméras pour évaluer l’efficacité de celles-ci un « avantage » plutôt qu’un défaut rédhibitoire.
L’idée que l’utilisation statistique des chiffres par zones policières permet de « neutraliser les effets de déport de la délinquance » appelle au moins les trois remarques suivantes.
— D’abord, l’une des critiques formulées contre le premier rapport était que les enquêteurs utilisaient les chiffres de la « délinquance générale » pour mesurer l’impact des caméras. Les auteurs du deuxième rapport commentent ce choix en expliquant avec flegme que « la mission avait pris un parti de simplicité », mais admettent que la critique était fondée : « La mission admet que ce choix a conduit à utiliser des agrégats qui englobent des catégories de faits dont certains sont moins que d’autres ou même pas du tout susceptibles d’être impactés par les dispositifs de vidéoprotection. C’est pourquoi elle a retenu dans cette étude complémentaire une approche plus ciblée sur certains types de délinquance — la délinquance dite “de rue”. » Pourtant, quelle que soit l’importance de « l’effet plumeau », l’utilisation des chiffres de la délinquance au niveau des agglomérations (zone police) ou des communes (zone gendarmerie) plutôt qu’au niveau des zones vidéosurveillées revient également à utiliser des « agrégats » présentant les mêmes défauts. Ne faut-il pas s’en émouvoir ?
— Ensuite, on peut remarquer que dans le premier rapport les enquêteurs avaient jugé « l’effet plumeau » « globalement faible », écrivant même que « les écarts d’évolution des faits constatés entre les zones sous vidéoprotection et celles qui ne le sont pas sont trop faibles pour qu’on puisse les calculer ». Si l’effet plumeau est nul ou insignifiant, « l’avantage de neutraliser un éventuel effet plumeau » l’est sûrement tout autant (notez le « éventuel » dans cette deuxième formulation, toujours tirée du deuxième rapport).
— Enfin, du point de vue formel cet argument est proprement confondant. Les enquêteurs proposent en effet de résoudre un problème d’imprécision (donc de lecture, d’interprétation) d’un chiffre en lui assignant l’expression d’une variable supplémentaire, c’est-à-dire en l’affectant dune ambiguïté constitutive. C’est deux pour le prix d’un : un même chiffre (déjà très imprécis) doit renseigner non plus sur un seul, mais sur deux phénomènes à la fois. Or, si un même chiffre indique à la fois la « dissuasion » et le « déport » sans que la proportion entre les deux ne soit spécifiée, il est impossible de savoir ce qu’il indique : dissuasion, ou déport ? On ne sait pas ce que mesurent les mesures des enquêteurs.
De plus, comme la « dissuasion » et le « déport » s’annulent statistiquement (la « dissuasion » fait baisser un chiffre que le « déport » fait remonter), il devient impossible de connaître, non pas simplement la nature de l’impact des caméras (« dissuasion » ou « déport »), mais son importance, c’est-à-dire, s’il y a eu impact ou non. Les chiffres du « déport » masquent en effet systématiquement (mais dans une proportion inconnue) ceux de la « dissuasion », et inversement : un réseau de vidéosurveillance qui dissuade beaucoup mais déporte également beaucoup produira des statistiques identiques à un réseau qui dissuade et déporte peu. Ou encore, l’impact d’un réseau qui connaît un taux de déport de 100 % (remarquons que les enquêteurs ne tentent jamais de chiffrer ce taux) apparaîtra toujours comme statistiquement nul, quel que soit son importance réelle. Bref, si l’on prend au sérieux la proposition méthodologique des enquêteurs (qu’un même chiffre exprime deux variables qui s’annulent statistiquement), une même variation statistique peut traduire un impact des caméras très important comme inexistant : il devient donc impossible de quantifier cet impact, non simplement à cause du caractère imprécis des données disponibles, mais par construction [7]. La justification théorique (ou quasi-théorique) produite par les enquêteurs pour farder l’une des tares les plus criantes de leur travail revient ainsi à rendre impossible l’interprétation des données proposées.
Il faut remarquer ici que la mission exclut du champ de son investigation « la question de l’efficacité en matière d’élucidation des crimes et délits, faute de progrès accomplis dans la traçabilité statistique de la vidéo ». En effet, comme elle l’explique très justement, « pour être véritablement évalué, l’impact d’une politique doit être “évaluable”, c’est-à-dire que des dispositions précises de suivi doivent être prises, et pour la vidéoprotection ce n’est pas encore le cas. Le traçage du facteur vidéo n’a pas sensiblement progressé par rapport à l’an passé. La mission estime donc que des approfondissements ne sont pas possibles dans l’immédiat au plan national ». Le rapport 2009 indiquait quant à lui des résultats calamiteux en matière d’élucidation : un taux d’élucidation plus élevé dans les CSP « non-équipées » que dans les CSP « équipées » en zone police, et moins d’une personne « mise en cause » par caméra et par an en zone gendarmerie. Sans doute ce bilan n’est-il pas sans relation avec les brusques réserves méthodologiques des enquêteurs. Quoi qu’il en soit, on peut se demander pourquoi la mission n’a pas également renoncé à évaluer l’impact dissuasif des caméras faute d’une « traçabilité statistique » suffisante.
Examinons à présent la méthode mise en œuvre par les auteurs du deuxième rapport pour déterminer, à partir de ces chiffres, l’impact de la vidéosurveillance sur la délinquance. Mais, d’abord, un peu de méthode.
Echelle de scientificité
Il existe une « échelle de scientificité » internationalement reconnue et couramment utilisée dans la littérature méta-analytique (c’est-à-dire, qui évalue des évaluations) en criminologie, mais aussi dans d’autres domaines : la Maryland Scale of Scientific Methods (MS). Celle-ci fut construite en 1998 [8] par une équipe de chercheurs de l’université du Maryland missionnés par le ministère américain de la justice ; il s’agissait d’établir une liste de ce qui marche, ce qui ne marche pas et ce qui est prometteur en termes de lutte contre la délinquance. La MS avait pour but de déterminer la valeur scientifique des études criminologiques à la disposition de l’équipe afin de leur permettre de sélectionner (parmi plus de 500 évaluations) celles dont les conclusions méritaient d’être retenues.
La MS propose de classer les études en fonction de la méthodologie qu’elles déploient selon cinq échelons de validité scientifique :
— Premier échelon : corrélation ponctuelle entre une intervention et une mesure statistique.
— Deuxième échelon : mesures statistiques effectuées avant et après l’intervention, sans groupe témoin comparable.
— Troisième échelon : mesures statistiques effectuées avant et après l’intervention sur le groupe cible et sur un groupe témoin comparable.
— Quatrième échelon : mesures statistiques effectuées avant et après l’intervention sur le groupe cible et sur un groupe témoin comparable, avec la prise en compte d’autres variables susceptibles d’influer sur la mesure obtenue.
— Cinquième échelon : répartition aléatoire des groupes cibles et des groupes témoins.
Chaque échelon correspond à un palier méthodologique ; chaque palier signale une meilleure prise en compte statistique de l’impact des variables extérieures (inconnues) sur les mesures enregistrées, autrement dit une meilleure neutralisation du « bruit » statistique. Plus l’échelon est élevé, plus la méthode est rigoureuse, plus les variations statistiques enregistrées peuvent être attribuées avec certitude à l’intervention dont l’étude évalue l’impact [9].
Le premier échelon, qui correspond à une simple corrélation, constitue le degré zéro de la mesure statistique. Comme l’expliquent les auteurs de la MS, le constat d’une corrélation ne permet pas d’établir « si ce sont les faits délictueux qui ont causé la mise en œuvre de la politique menée ou bien celle-ci qui a causé la variation constatée des chiffres de la délinquance ». Autrement dit, il est à ce stade statistiquement impossible de démêler l’effet de la cause, de déterminer le « sens causal » de la liaison entre les éléments considérés (liaison qui est ainsi parfaitement accidentelle). Les mesures enregistrées ne se distinguent pas encore du « bruit », c’est-à-dire, n’ont aucun sens.
Le deuxième échelon permet d’établir un « sens causal » déterminé : le facteur « absent » dans la période précédent l’intervention est désigné comme « causal » par le protocole expérimental. Toutefois, sans possibilité méthodologique d’isoler statistiquement l’effet recherché, il est impossible de déterminer si l’impact de cette « cause » encore purement hypothétique est nul ou infini. Notamment, se contenter de comparer l’évolution d’un indicateur (par exemple, la délinquance) avant et après une intervention (par exemple, l’installation de caméras) expose au risque d’enregistrer simplement l’évolution normale dans le temps du phénomène concerné : une baisse locale de la délinquance associée à une installation de caméras s’inscrit par exemple peut-être dans une baisse plus globale de la délinquance au niveau régional.
Le troisième échelon correspond au plus simple dispositif méthodologique capable de produire des résultats scientifiquement recevables, c’est-à-dire, interprétables. L’élimination de l’impact statistique de variables extérieures sur les mesures obtenues grâce à la présence d’un groupe témoin permet en effet d’interpréter les mesures enregistrées comme résultant de l’intervention évaluée (comme son « effet »).
Le quatrième échelon correspond à des dispositifs construits pour neutraliser le facteur chance (l’impact de causes complètement imprévues, telles que l’arrestation d’une bande dans l’une des zones étudiées) et le biais de sélection (rien ne dit par exemple qu’un résultat obtenu en étudiant des quartiers résidentiels soit transposable sans condition à des quartiers à forte activité commerciale). Il s’agit ainsi de pouvoir généraliser les résultats obtenus par la comparaison du groupe cible et du groupe témoin (échelon 3) à d’autres contextes, ce que permet typiquement l’étude de plusieurs groupes appariés cible/témoin de nature différente.
Enfin, le cinquième échelon correspond à des conditions expérimentales optimales où toutes les variables parasites sont éliminées, où le « bruit » statistique est nul et les groupes sont comparables au point d’être interchangeables. B. Welsh et D. Farrington l’explicitent en ces termes : « Ce qui définit les expériences à répartition aléatoire (...) est l’identité des groupes cibles et des groupes témoins avant l’intervention expérimentale au regard de toutes les variables externes possibles. De la sorte, toute différence constatée après coup entre les deux doit nécessairement être attribuée à l’intervention. »
Les chercheurs du Maryland récapitulent les distinctions entre les différents échelons de la MS dans le tableau suivant :
Risques pesant sur la validité interneLecture : X = présence du risque
Classement des méthodes Sens causal Tendance historique Facteur chance Biais de sélection Echelon 1 X X X X Echelon 2 0 X X X Echelon 3 0 0 X X Echelon 4 0 0 0 X Echelon 5 0 0 0 0
0 = absence du risque
Selon les chercheurs, seules méritent d’être retenues les études comportant « au moins une évaluation du troisième échelon statistiquement significative et la majorité des autres données recueillies soutenant une conclusion identique ». En-deçà de cette limite, les résultats des études sont qualifiés d’« inconnus »Revenons à notre rapport. A quel échelon de validité scientifique se situe-t-il ? Les enquêteurs du ministère ont décidé d’examiner l’évolution des chiffres de « délinquance de rue » sur la période 2000-2009 (zone police) et 2003-2009 (zone gendarmerie) en classant les zones urbaines prises en compte [10]« dans trois catégories selon la densité de caméras : au moins une caméra de voie publique pour 4 000 habitants, une caméra pour 4 000 à 10 000 habitants, une caméra pour 10 000 habitants ou plus (y compris zéro caméra) ». Il s’agit donc d’examiner l’évolution de la « délinquance de rue » en fonction de la densité en caméras des zones urbaines considérées. Comparer les différentes évolutions doit permettre d’apercevoir l’effet de la vidéosurveillance de voie publique.
Exemple de tableau statistique proposé par le rapport :
Les coups et blessures volontaires. Les CBV ont fortement progressé dans toute la période, toutefois, la hausse a été mieux maîtrisée dans les CSP qui disposent de la plus forte densité de caméras.
On peut d’abord remarquer que n’est effectuée aucune mesure de l’évolution de la délinquance « avant » l’installation de caméras, comme le requiert l’échelon 2 de la MS. En 2009 pourtant, « la mission avait choisi de ne prendre en compte que les caméras installées depuis deux ans au moins et de considérer que leur effet devait être observé sur une période allant de deux ans avant à deux après leur installation », cela « dans un souci de mieux isoler l’effet de la vidéoprotection ». Mais, comme les enquêteurs le remarquent dans le second rapport, « cela pouvait générer des périodes d’observation allant de 5 à 9 ans pour les villes qui avaient échelonné l’implantation de leurs dispositifs de vidéoprotection ». Ils choisissent donc en 2011 d’ignorer la question du moment de l’installation « pour éviter ces inconvénients ».
Or, sans mesure ante des variations de la délinquance, impossible d’isoler statistiquement l’impact des caméras, c’est-à-dire, impossible de leur attribuer les variations de la délinquance constatées. Simplement comparer l’évolution de la délinquance dans des zones urbaines d’une densité en caméras différente ne permet pas d’interpréter les écarts constatées comme l’effet de la vidéosurveillance : il ne suffit pas de mesurer si la délinquance a davantage baissé (ou moins augmenté) dans les villes mieux équipées en caméras, encore faut-il savoir si l’on pouvait s’y attendre statistiquement [11].Le même exercice de comparaison effectué en divisant les zones urbaines selon une caractéristique parfaitement arbitraire (la densité en pots de fleurs ou en piscines publiques) livrerait aussi des différences d’évolution de la délinquance. Il est évident qu’on ne pourrait nullement y lire l’impact (positif ou négatif) de cet élément arbitraire (pots de fleurs ou piscines publiques) sur la délinquance. Il faudrait pour cela comparer non simplement les différentes courbes d’évolution de la délinquance, mais les différents rapports entre ces évolutions et leur évolution antérieure respective.
Comparer telles quelles les différentes évolutions n’a donc de sens que si on les suppose identiques jusqu’en 2000, supposition sans fondement et probablement fausse. On serait ainsi tenté de classer l’étude gouvernementale à l’échelon 1, le plus bas. Les mesures proposées par la mission n’étant cependant pas à strictement parler « ponctuelles », puisque l’effet des caméras est examiné sur une dizaine d’années, on accordera bien volontiers un échelon de scientificité 1,5.
Encore faut-il souligner que les résultats obtenus par les enquêteurs sont entachés d’une seconde difficulté au moins aussi invalidante que la première : le manque de comparabilité des catégories de zones urbaines distinguées. Quel procédé méthodologique autorise (c’est-à-dire, permet d’interpréter) la comparaison d’agrégats urbains a priori complètement différents les uns des autres, puisque la seule information dont on dispose à leur sujet est leur densité respective en caméras ? Comment éliminer méthodologiquement l’impact sur les délits des « facteurs concurrents » (pour reprendre les termes du rapport) tels que « l’aménagement urbain (dont l’éclairage nocturne), le développement de polices municipales, et des politiques de prévention diverses, tous éléments qui concourent à l’efficacité d’une politique de sécurité dont la vidéoprotection n’est qu’un élément » ? Pour attribuer aux caméras les différences d’évolution de la « délinquance de rue » constatées, il faut en effet supposer égaux tous les autres facteurs susceptibles d’influer sur les délits au sein des agrégats considérés, soit dans les faits, soit grâce à une correction statistique appropriée. Mais comment s’en assurer en ignorant tout de ces facteurs ? La constitution des agrégats pose d’ailleurs le même problème que celui de leur comparaison : rien ne permet a priori de comptabiliser ensemble (comme si ces unités transcrivaient une réalité homogène) les chiffres de la délinquance provenant de villes dont la seule caractéristique commune est une certaine densité en caméras.
En 2009, la mission avait résolu cette difficulté « en ne prenant pas ces facteurs concurrents en considération ». Pour justifier ce choix, elle « avait simplement postulé qu’à l’échelle de l’échantillon représentatif de villes équipées qu’elle avait proposé, et à celui de l’ensemble des villes non équipées auquel elle le comparait, ces facteurs concurrents évoluaient en moyenne de façon similaire dans les deux groupes ».
En 2011, la mission concède qu’« il a été à juste titre suggéré que le facteur vidéoprotection devrait être isolé pour en analyser précisément l’effet ». Cependant, « la mission n’a pas davantage cherché à isoler ces facteurs concurrents », reconnaissant « évidemment » que « de nombreux facteurs concurrents peuvent exercer une influence sur l’évolution de la délinquance », mais jugeant comme en 2009 que « la dimension des agrégats et le nombre de sites comparés doit permettre de les neutraliser largement ».
Ici, les enquêteurs confondent tout simplement quantité et qualité. Leurs résultats dépendent de la supposition selon laquelle l’importance numérique des agrégats considérés suffit à fonder leur comparabilité. Plus les agrégats sont importants, affirment-ils, plus les résultats obtenus reflètent l’impact d’un nombre important de « facteurs concurrents », meilleures sont les chances que ces facteurs se recoupent d’un agrégat à l’autre, c’est-à-dire s’annulent statistiquement. Il s’agit donc d’une véritable opération d’alchimie statistique : plus la disparité interne des agrégats (qui comptabilisent sous un même chiffre des résultats aux significations très hétérogènes) est grande, mieux elle permet d’annuler leur disparité externe (de les rendre comparables). Bref, il suffit pour comparer n’importe quel ensemble à n’importe quel autre que les deux soient numériquement importants, aussi hétérogènes soient-ils. Le plomb statistique est ainsi transmuté en or, « en moyenne », sinon « largement ».
Inutile de souligner l’inanité (la gratuité) de ce postulat, qui suppose le geste bienveillant d’une main invisible œuvrant dans l’ombre à égaliser les facteurs ; on remarquera simplement qu’encore une fois, on ne sait plus pourquoi les enquêteurs s’interdisent de travailler avec les chiffres de la « délinquance générale » : ils pourraient avec la même logique postuler que les délits qui sont « moins que d’autres ou même pas du tout susceptibles d’être impactés par les dispositifs de vidéoprotection » évoluent « en moyenne de façon similaire » dans chaque agrégat distingué car « l’échelle de l’échantillon » considéré permet de « neutraliser largement » la distorsion statistique qu’ils imposent aux mesures enregistrées. Les comparaisons effectuées produiraient ainsi les mêmes résultats, que l’on utilise les chiffres de la délinquance générale ou ceux de la délinquance de rue. Mais sans doute ne faut-il pas trop pousser le bouchon.
Les résultats produits par ce dispositif méthodologique bancal ne présentent logiquement qu’une cohérence de surface, puisqu’il s’agit d’une suite de coïncidences, dont certaines sont heureuses pour les enquêteurs, d’autres non. Ainsi les vols avec violence connaissent une baisse relative de la délinquance de rue dans les zones urbaines les plus vidéosurveillées sur la période 2000-2009 (par rapport aux zones les moins surveillées), mais une hausse relative sur les périodes 2002-2003 et 2005-2008. Autrement dit, si l’on accepte que ces différences d’évolution expriment l’effet des caméras, alors il faut conclure que celles-ci font tantôt baisser, tantôt augmenter la délinquance en fonction des dates retenues pour la mesure. A conditions inchangées, on constate ainsi des effets contraires, qu’il est pour le moins problématique d’attribuer à un facteur unique (les caméras).
La mission n’ignore pourtant pas quelles conditions méthodologiques lui permettraient de produire des conclusions solides : « La méthode consistant à comparer des paires de villes appariées ou des portions de villes, dont les caractéristiques seraient similaires, les unes étant équipées, les autres pas, est certes plus rigoureuse dans son principe, mais aussi beaucoup plus complexe à mettre en œuvre. Elle peut notamment se heurter à la difficulté de sélectionner les paires. Le choix devrait garantir les similitudes, sans omettre aucun facteur significatif de différence autre que la vidéo. L’opération devrait porter sur un nombre suffisant de paires pour être représentative et porter sur une période de plusieurs années. » Elle ajoute qu’« il serait préférable de suivre l’évolution de la délinquance au niveau d’un quartier », l’idéal étant de « jumeler la notion de paires appariées avec celle d’une approche par quartiers », dispositif méthodologique qui situerait en effet l’enquête à l’échelon 4 de la MS.
Expliquant sans rire que « le mieux est parfois l’ennemi du bien », la mission choisit néanmoins de renoncer à ce travail « car les délais et les moyens qui lui étaient impartis n’auraient permis une analyse que sur un nombre très réduit de sites et sur une période courte, rendant difficile toute extrapolation » et « hasardeuses les conclusions générales » qui en seraient « hâtivement tirées ». Elle préfère adopter une « approche globale » qui consiste à prendre en compte sans autre forme de procès « la totalité des CSP pour lesquelles les données de délinquance sont disponibles sur la période 2000-2009, soit 393 circonscriptions, et toutes les communes de plus de 10 000 habitants en zone de gendarmerie, soit 190 communes » afin de « s’abstraire des difficultés de choix d’un échantillon et élargir le point de vue ».
Pourtant, les « difficultés » dont les enquêteurs veulent « s’abstraire » sont celles-là même qu’il faut affronter si l’on veut prétendre à des résultats généralisables : c’est évidemment une connaissance aussi précise que possible du contexte particulier d’où proviennent les données (le « choix d’un échantillon ») qui permet d’étendre les résultats obtenus à d’autres contextes. Sans données ni dispositif théorique pour construire un rapport entre les résultats produits par l’enquête ministérielle (à supposer qu’ils signifient quelque chose) et le contexte singulier de chaque zone urbaine, l’unité statistique examinée par les enquêteurs (« la totalité des CSP, etc. ») n’est rien d’autre qu’un cas particulier, et même très particulier puisque, sorte de monstre géographico-statistique, il n’est comparable à aucune situation réelle. Aucune généralisation des résultats obtenus n’est donc possible, puisque ceux-ci ne valent que pour l’unité (monstrueuse) considérée.
« La mission comprend que certains puissent être hostiles ou réservés face à la mise en place de caméras de vidéoprotection. » La mission est trop bonne.
Notes
[1] Cf. notamment « Vidéosurveillance : un rapport qui ne prouve rien », de Tanguy Le Goff et Eric Heilmann (PDF) et ici-même « Vidéosurveillance : un rapport aux ordres », 19 octobre 2009.
[2] Comme l’indique le documentaire « Camera City » de La Chaine Parlementaire.
[3] [La mission] « tient à rappeler que ce travail avait été effectué de façon entièrement autonome et collégiale par ses cosignataires, qui en avaient arrêté en toute indépendance les modalités et en toute responsabilité les conclusions, conformément aux statuts et aux traditions des corps d’inspection auxquels ils appartiennent, qui leur permettent de travailler en toute neutralité ».
[4] Fichier qui recense chaque année tous les faits enregistrés par les services de police et de gendarmerie, répartis selon 107 catégories.
[5] Laurent Mucchielli, « Délinquance : la com’ rituelle du ministre de l’intérieur », blog Mediapart, janvier 2011.
[6] Le nombre de faits élucidés dépasse ainsi parfois le nombre de faits constatés, grâce ou à cause de l’abus d’astuces comptables développées en réponse à des pressions hiérarchiques. Chercheur au CNRS, Christian Mouhanna explique le principe de ces astuces de la façon suivante : « En matière de consommation de cannabis, l’arrestation d’un fumeur de joint — un fait constaté — représente aussi un fait élucidé, puisque l’auteur du délit est immédiatement identifié, soit un taux d’élucidation au minimum de 100 % — voire plus dans la réalité. Si l’on pousse la logique à l’extrême, le vol de dix polos Lacoste peut être enregistré comme un seul et même fait. Mais si l’on retrouve le lot, il est possible de prendre en compte dix faits élucidés, soit un par article. » (« Les statistiques deviennent une fin en soi », interview dans L’Express, 13 novembre 2007). Voir aussi Jean-Hugues Matelly et Christian Mouhanna, Police, des chiffres et des doutes, Editions Michalon, 2007.
[7] Une absurdité comparable surgit lorsque l’on assigne aux caméras la double fonction de détection et de dissuasion des délits, puis que l’on essaie de mesurer leur « efficacité », sans réfléchir que l’expression statistique de ces fonctions est contradictoire (la détection fait augmenter un chiffre que la dissuasion fait baisser). Cf. « Sous l’œil myope des caméras », Le Monde diplomatique, septembre 2008.
[8] Je cite cependant la formulation définitive de cette échelle, qui date de 2002. Lawrence W. Sherman, Denise C. Gottfredson, Doris L. MacKenzie, John Eck, Peter Reuter, et Shawn D. Bushwa, “Preventing Crime : What Works, What Doesn’t, What’s Promising,” National Institute of Justice, 1998.
[9] B. Welsh et D. Farrington, « Crime prevention effects of closed circuit television : a systematic review », Home Office Research Study 252, p. 4.
[10] « L’analyse est cette fois menée sur la totalité des CSP pour lesquelles les données de délinquance sont disponibles sur la période 2000-2009, soit 393 circonscriptions, et sur toutes les communes de plus de 10 000 habitants en zone de gendarmerie, soit 190 communes. »
[11] L’importance de la prise en compte statistique des tendances historiques est souligné par Jason Ditton et Emma Short dans leur célèbre étude de 1996 « Yes it works, no it doesn’t » qui évaluait les dispositifs de vidéosurveillance dans la ville de Glasgow et la bourgade d’Airdrie voisine. L’étude avait constaté une baisse de la délinquance consécutive à l’installation de caméras à Airdrie (« yes it works »), mais une hausse à Glasgow (« no it doesn’t »). Ditton et Short commentent ainsi ces résultats contradictoires : « Si le réseau de vidéosurveillance de Glasgow avait été installé à un moment où la délinquance enregistrée était au plus haut, il aurait été facile de prévoir une baisse indépendante [de l’action des caméras] ensuite. Mais comme les caméras furent installées alors que la délinquance était au plus bas, une hausse était l’évolution la plus probable. Il est tout aussi plausible de considérer que si les caméras d’Airdrie avaient été installées deux ans plus tard (…) le taux de délinquance serait reparti à la hausse. »
Aucun commentaire:
Enregistrer un commentaire