Mythes du meurtre et de la régression multiple

par Ted Goertzel
Université Rutgers, Camden NJ 08102

Publié dans The Skeptical Inquirer, volume 26, n ° 1, janvier / février 2002, p. 19-23.
Traduction en espagnol comme « Modèle économique, science et technologie » dans Psicologia Politica, n ° 24 (Valence, Espagne).

Croyez-vous que chaque fois qu’un prisonnier est exécuté aux États-Unis, huit meurtres futurs sont dissuadés? Croyez-vous qu’une augmentation de 1% du nombre de citoyens autorisés à porter des armes dissimulées entraîne une diminution de 3,3% du taux de meurtres de l’État? Croyez-vous que 10 à 20% de la baisse de la criminalité dans les années 90 a été causée par une augmentation du nombre d’avortements dans les années 1970? Ou que le taux de meurtre aurait augmenté de 250% depuis 1974 si les États-Unis n’avaient pas construit autant de nouvelles prisons?

Si l’une de ces études vous a induit en erreur, vous êtes peut-être tombé dans le piège d’une science pernicieuse: l’utilisation de modèles mathématiques sans capacité prédictive démontrée pour tirer des conclusions politiques. Ces études sont superficiellement impressionnantes. Rédigés par des scientifiques sociaux réputés issus d’institutions prestigieuses, ils apparaissent souvent dans des revues scientifiques à comité de lecture. Remplis de calculs statistiques complexes, ils fournissent des « faits » numériques précis qui peuvent être utilisés comme points de discussion pour les débats dans les arguments politiques. Mais ces « faits » sont la volonté de tous. Avant que l’encre soit sèche sur une étude, une autre apparaît avec des « faits » complètement différents. Malgré leur apparence scientifique, ces modèles ne répondent pas au critère fondamental d’un modèle mathématique utile: la capacité de faire des prévisions meilleures que le hasard.

Bien que les économistes soient les principaux praticiens de cet art mystérieux, les sociologues, les criminologues et autres spécialistes des sciences sociales en ont également des versions. Il est connu sous différents noms, notamment « modélisation économétrique », « modélisation par équation structurelle » et « analyse de trajectoire ». Toutes ces méthodes permettent d’utiliser les corrélations entre variables pour effectuer des déductions causales. Comme le savent tous ceux qui ont suivi un cours de statistique, la corrélation n’est pas un lien de causalité. Les corrélations entre deux variables sont souvent « parasites » car elles sont causées par une troisième variable. Les modélisateurs économétriques tentent de résoudre ce problème en incluant toutes les variables pertinentes dans leurs analyses, en utilisant une technique statistique appelée « régression multiple ». Si l’on avait des mesures parfaites de toutes les variables causales, cela fonctionnerait. Mais les données ne sont jamais assez bonnes. Les efforts répétés pour utiliser la régression multiple pour obtenir des réponses définitives aux questions de politique publique ont échoué.

Mais de nombreux spécialistes des sciences sociales hésitent à admettre l’échec. Ils ont consacré des années à l’apprentissage et à l’enseignement de la modélisation par régression et continuent à utiliser la régression pour formuler des arguments de causalité non justifiés par leurs données. J’appelle ces arguments les mythes de la régression multiple et j’aimerais utiliser comme exemple quatre études sur les taux de meurtres.

Mythe 1: Plus d’armes à feu, moins de criminalité.

John Lott, économiste à l’Université de Yale, a utilisé un modèle économétrique pour soutenir que « permettre aux citoyens de porter des armes dissimulées dissuaderait les crimes violents, sans augmenter le nombre de morts accidentelles ». L’analyse de Lott impliquait « doit adopter » des lois qui obligent les autorités locales à délivrer un permis d’armes dissimulé à tout citoyen respectueux des lois qui en fait la demande. Lott a estimé que chaque augmentation de 1% de la possession d’armes à feu dans une population entraîne une diminution de 3,3% des taux d’homicides. Lott et son co-auteur, David Mustard, ont publié la première version de leur étude sur Internet en 1997, et l’ont téléchargée par des dizaines de milliers de personnes. Il a fait l’objet de forums politiques, de chroniques de journaux et de débats souvent assez sophistiqués sur le World Wide Web. Dans un livre au titre accrocheur Plus d’armes, Moins de crimes, Lott raillait ses critiques, les accusant de faire passer l’idéologie avant la science.

Le travail de Lott est un exemple de surenchère statistique. Il a plus de données et une analyse plus complexe que quiconque étudie le sujet. Il exige que quiconque veut contester ses arguments soit plongé dans un débat statistique très complexe, basé sur des calculs si difficiles qu’ils ne peuvent pas être résolus avec des ordinateurs de bureau ordinaires. Il défie quiconque n’est pas d’accord avec lui de télécharger son ensemble de données et de refaire ses calculs, mais la plupart des spécialistes des sciences sociales ne pensent pas que cela vaille la peine de reproduire des études à l’aide de méthodes qui ont échoué à plusieurs reprises. La plupart des chercheurs en contrôle des armes à feu ont simplement effacé les affirmations de Lott et Mustard et ont poursuivi leurs travaux. Frank Zimring et Gordon Hawkins (1997), deux éminents spécialistes de la justice pénale, ont rédigé un article dans lequel ils expliquaient:

de même que MM. Lott et Mustard peuvent, avec un modèle des déterminants de l’homicide, produire des résidus statistiques suggérant que les lois «édictées» réduisent les homicides, nous nous attendons à ce qu’un économètre déterminé puisse produire un traitement des mêmes périodes historiques avec des modèles différents et effets opposés. La modélisation économétrique est une arme à double tranchant dans sa capacité à faciliter les découvertes statistiques pour réchauffer le cœur des vrais croyants de toutes les allégeances.

Zimring et Hawkins avaient raison. En l’espace d’un an, deux économétriciens déterminés, Dan Black et Daniel Nagin (1998) ont publié une étude montrant que s’ils modifiaient légèrement le modèle statistique ou l’appliquaient à différents segments des données, les résultats de Lott et Mustard disparaissaient. Black et Nagin ont constaté que lorsque la Floride avait été retirée de l’échantillon, il n’y avait « pas d’impact détectable des lois sur le droit de porter sur le taux de meurtres et de viols ». Ils ont conclu que « l’inférence basée sur le modèle de Lott et Mustard est inappropriée et que leurs résultats ne peuvent être utilisés de manière responsable pour formuler une politique publique ».

John Lott, cependant, a contesté leur analyse et a continué à promouvoir la sienne. Lott avait rassemblé des données pour chacun des comtés américains pour chaque année de 1977 à 1992. Le problème, c’est que les comtés américains varient énormément en taille et en caractéristiques sociales. Quelques grands, regroupant les grandes villes, représentent un très fort pourcentage des meurtres commis aux États-Unis. En fait, aucun de ces très grands comtés n’a « promulgué » de lois sur le contrôle des armes à feu. Cela signifie que l’immense ensemble de données de Lott n’était tout simplement pas adapté à sa tâche. Il n’existait aucune variation dans sa principale variable de causalité – « édictera » des lois – aux endroits où la plupart des meurtres ont eu lieu.

Il n’a pas mentionné cette limitation dans son livre ou ses articles. Lorsque j’ai découvert le manque de lois «doit émettre» dans les grandes villes lors de mon propre examen de ses données, je l’ai interrogé à ce sujet. Il a haussé les épaules, affirmant qu’il avait « contrôlé » la taille de la population dans son analyse. Mais l’introduction d’un contrôle statistique dans l’analyse mathématique ne compensait pas le fait qu’il ne disposait simplement d’aucune donnée pour les grandes villes où le problème de l’homicide était le plus aigu.

Il m’a fallu un certain temps pour trouver ce problème dans ses données, car je ne connaissais pas le problème du contrôle des armes à feu. Mais Zimring et Hawkins se sont immédiatement intéressés à cela car ils savaient que des lois « doivent être adoptées » ont été instituées dans les États où la National Rifle Association était puissante, principalement dans le sud, l’ouest et les régions rurales. C’étaient des États qui avaient déjà peu de restrictions sur les armes à feu. Ils ont observé que cet historique législatif entravait « notre capacité à comparer les tendances des États » émettra « avec les tendances des autres États. Parce que les États qui ont modifié la législation sont différents quant à l’emplacement et à la constitution de ceux qui ne l’ont pas été, les comparaisons entre les catégories risquer de confondre les influences démographiques et régionales avec l’impact comportemental de différents régimes juridiques.  » Zimring et Hawkins ont en outre observé que:

Lott et Mustard sont bien entendu au courant de ce problème. Leur solution, une technique économétrique standard, consiste à construire un modèle statistique qui tiendra compte de toutes les différences entre l’Idaho et la ville de New York qui influent sur les taux d’homicide et de criminalité, autres que les lois « doit émettre ». Si l’on peut « spécifier » les principales influences de notre modèle sur les homicides, les viols, les cambriolages et les vols de véhicules, nous pouvons éliminer l’influence de ces facteurs sur les différentes tendances. Lott et Mustard construisent des modèles qui estiment les effets des données démographiques, des données économiques et des sanctions pénales sur diverses infractions. Ces modèles constituent le summum en matière de statistiques statistiques sur la cuisine familiale en ce sens qu’ils ont été créés pour cet ensemble de données par ces auteurs et qu’ils ne sont testés que sur les données qui seront utilisées dans l’évaluation des impacts du droit de porter.
Lott et Mustard comparaient les tendances de l’Idaho et de la Virginie occidentale et du Mississippi avec celles de Washington, D.C. et de New York. En réalité, il s’est produit une explosion d’homicides liés au crack dans les principales villes de l’est des années 1980 et au début des années 90. Toute l’argumentation de Lott se résumait à l’affirmation selon laquelle les États essentiellement « ruraux et occidentaux » émettront « seront épargnés par l’épidémie d’homicides liée à la fissure en raison de leurs lois » autoriseront « . Cela n’aurait jamais été pris au sérieux s’il n’avait pas été masqué par un labyrinthe d’équations.

Deuxième mythe: emprisonner plus de gens réduit le crime

L’affaire Lott and Mustard n’est exceptionnelle que par l’attention du public. Il est assez courant, même typique, de publier des études rivales utilisant des méthodes économétriques pour parvenir à des conclusions opposées sur le même sujet. Il n’ya souvent rien de mal à l’une ou l’autre des analyses. Ils utilisent simplement des ensembles de données légèrement différents ou des techniques différentes pour obtenir des résultats différents. Il semble que les modélisateurs de régression puissent obtenir le résultat souhaité sans violer les règles de l’analyse de régression. Dans une déclaration de frustration exceptionnellement franche face à cet état de choses, deux criminologues très respectés, Thomas Marvell et Carlisle Moody (1997: 221), ont rendu compte de la réception d’une étude sur l’effet de l’emprisonnement sur les taux d’homicides. Ils ont rapporté qu’ils:

ont largement diffusé [leurs] résultats, ainsi que les données utilisées, auprès de leurs collègues spécialistes de l’analyse quantitative. La réponse la plus fréquente est qu’ils refusent de croire les résultats, quelle que soit la qualité de l’analyse statistique. Derrière cette affirmation se cache la notion, souvent discutée de manière informelle mais rarement publiée, que les spécialistes des sciences sociales peuvent obtenir tout résultat souhaité en manipulant les procédures utilisées. En fait, la grande diversité des estimations concernant l’impact des populations carcérales est considérée comme une bonne preuve de la malléabilité de la recherche. Même parmi les nombreux qui publient régulièrement des études quantitatives, il en découle que, quelle que soit la qualité de l’analyse, les résultats ne sont crédibles que s’ils sont conformes aux attentes antérieures. Une discipline de recherche ne peut pas réussir dans un tel cadre.
À leur grand mérite, Marvell et Moody ont reconnu franchement les problèmes de la régression multiple et ont proposé des améliorations. Malheureusement, certains économétriciens sont tellement immergés dans leurs modèles qu’ils ne savent plus à quel point ils sont arbitraires. Ils finissent par croire que leurs modèles sont plus réels, plus valables que la réalité désordonnée, récalcitrante, «incontrôlée» qu’ils prétendent expliquer.

Troisième mythe: Exécuter des gens réduit le crime

En 1975, l’American Economic Review publiait un article d’un grand économiste, Isaac Ehrlich de l’Université du Michigan, qui estimait que chaque exécution dissuadait huit homicides. Avant Ehrlich, le spécialiste le plus connu de l’efficacité de la peine capitale était Thorsten Sellen, qui avait utilisé une méthode d’analyse beaucoup plus simple. Sellen a préparé des graphiques comparant les tendances dans différents états. Il a trouvé peu ou pas de différence entre les États avec ou sans peine de mort. Il a donc conclu que la peine de mort ne faisait aucune différence. Ehrlich, dans un acte statistique de surenchère statistique, a affirmé que son analyse était plus valable parce qu’elle contrôlait tous les facteurs qui influent sur les taux d’homicides.

Même avant sa publication, les travaux d’Ehrlich avaient déjà été cités par le Solliciteur général des États-Unis dans un mémoire d’amicus curiae déposé devant la Cour suprême des États-Unis pour défendre la peine de mort. Heureusement, le tribunal a décidé de ne pas s’appuyer sur le témoignage d’Ehrlich car celui-ci n’avait pas été confirmé par d’autres chercheurs. C’était judicieux, car au bout d’un an ou deux, d’autres chercheurs ont publié des analyses économétriques tout aussi sophistiquées montrant que la peine de mort n’avait aucun effet dissuasif.

La controverse sur le travail d’Ehrlich était si importante que le Conseil national de recherches du Canada a réuni un groupe d’experts réuni au sein d’un groupe d’experts pour l’examiner. Après un examen très approfondi, le comité a décidé que le problème ne venait pas uniquement du modèle d’Ehrlich, mais de l’idée d’utiliser des méthodes économétriques pour résoudre les controverses concernant les politiques de justice pénale. Ils (Manski, 1978: 422) ont conclu que:

Comme les données susceptibles d’être disponibles pour une telle analyse ont des limites et que le comportement criminel peut être si complexe, il ne faut pas s’attendre à l’émergence d’une étude comportementale définitive qui résoudra toute controverse sur les effets comportementaux des politiques de dissuasion.

La plupart des experts pensent maintenant que Sellen avait raison, que la peine capitale n’a aucun effet démontrable sur les taux de meurtres. Mais Ehrlich n’a pas été convaincu. Il est désormais un vrai croyant solitaire dans la validité de son modèle. Dans une récente interview (Bonner et Fessendren, 2000), il a insisté sur le fait que « si des variations telles que le chômage, l’inégalité des revenus, la probabilité d’être appréhendé et le désir d’utiliser la peine de mort sont comptabilisées, la peine de mort présente un effet dissuasif important ».

Quatrième mythe: l’avortement légalisé a provoqué la baisse de la criminalité dans les années 1990.

En 1999, John Donohue et Steven Levitt ont publié une étude fournissant une nouvelle explication de la forte baisse du taux de meurtres dans les années 1990. Ils ont fait valoir que la légalisation de l’avortement par la Cour suprême des États-Unis en 1973 avait entraîné une diminution du nombre d’enfants non désirés, dont un nombre disproportionné serait devenu un criminel. Le problème de cet argument est que la légalisation de l’avortement était un événement historique unique et que les événements uniques ne fournissaient pas suffisamment de données pour une analyse de régression valide. Il est vrai que l’avortement a été légalisé plus tôt dans certains États que dans d’autres, et Donohue et Levitt utilisent ce fait. Mais tous ces États suivaient les mêmes processus historiques et de nombreux autres événements se produisaient au cours de la même période historique qui ont eu une incidence sur les taux de meurtres. Une analyse de régression valide devrait capturer toutes ces choses et les tester sous une large gamme de variations. Les données existantes ne le permettent pas. Par conséquent, les résultats d’une analyse de régression varient en fonction des données sélectionnées pour l’analyse.

Dans ce cas, Donohue et Levitt ont choisi de se concentrer sur le changement sur une période de douze ans, en ignorant les fluctuations au cours de ces années. Comme l’a souligné James Fox (2000: 303), « ils ont manqué la plupart des évolutions de la criminalité au cours de cette période: la tendance à la hausse observée à la fin des années 80 et la correction à la baisse après quelque chose comme étudier les effets des phases de lune sur les marées, mais seulement enregistrer les données pour les périodes de marée basse.  »

Lors de la rédaction de cet article, j’avais inclus une phrase disant « bientôt un autre analyste de la régression va probablement réanalyser les mêmes données et aboutir à des conclusions différentes ». Quelques jours plus tard, ma femme m’a remis un article de journal sur une telle étude. L’auteur n’était autre que John Lott, de Yale, et John Whitley de l’Université d’Adélaïde. Ils ont analysé les mêmes chiffres et conclu que « la légalisation de l’avortement augmentait les taux de meurtre d’environ 0,5 à 7% » (Lott et Whitely, 2001).

Pourquoi des résultats si différents? Chaque groupe d’auteurs a simplement sélectionné une méthode différente pour modéliser un ensemble de données inadéquat. L’économétrie ne peut pas faire de loi générale valable le fait historique que l’avortement a été légalisé dans les années 1970 et que la criminalité a diminué dans les années 1990. Il nous faudrait au moins quelques dizaines d’expériences historiques de ce type pour un test statistique valide.

Conclusions.

Le test de l’acide dans la modélisation statistique est la prédiction. La prévision ne doit pas nécessairement être parfaite. Si un modèle peut prédire significativement mieux que des suppositions aléatoires, c’est utile. Par exemple, si un modèle pouvait prévoir les prix des actions, même légèrement mieux que les estimations aléatoires, il rendrait ses propriétaires très riches. Des efforts considérables ont donc été déployés pour tester et évaluer des modèles de cours des actions. Malheureusement, les chercheurs qui utilisent des techniques économétriques pour évaluer les politiques sociales soumettent très rarement leurs modèles à des tests prédictifs. Leur excuse est qu’il faut trop de temps pour connaître les résultats. Vous ne recevez pas de nouvelles données sur la pauvreté, l’avortement ou l’homicide toutes les quelques minutes, contrairement au prix des actions. Mais les chercheurs peuvent effectuer des tests prédictifs de différentes manières. Ils peuvent développer un modèle en utilisant les données d’une juridiction ou d’une période donnée, puis l’utiliser pour prédire des données provenant d’autres temps ou d’autres lieux. Mais la plupart des chercheurs ne le font tout simplement pas. Sinon, les modèles échouent et les résultats ne sont jamais publiés.

Les revues qui publient des études économétriques sur des questions de politique publique ne nécessitent souvent pas de test prédictif, ce qui montre que les éditeurs et les relecteurs ont de faibles attentes pour leurs domaines. Ainsi, les chercheurs prennent des données sur une période de temps donnée et ajustent leur modèle jusqu’à ce qu’ils puissent « expliquer » les tendances déjà observées. Il y a toujours plusieurs façons de le faire et, avec les ordinateurs modernes, il n’est pas très difficile de continuer à essayer jusqu’à ce que vous trouviez quelque chose qui vous convient. À ce stade, le chercheur s’arrête, rédige les conclusions et envoie le document pour publication. Plus tard, un autre chercheur pourra ajuster le modèle pour obtenir un résultat différent. Cela remplit les pages des revues savantes, et tout le monde fait semblant de ne pas remarquer que peu ou pas de progrès ont été réalisés. Mais nous ne sommes pas plus près d’avoir un modèle économétrique valide des taux de meurtre aujourd’hui que lorsque Isaac Ehrlich a publié le premier modèle en 1975.

La communauté scientifique ne dispose pas de bonnes procédures pour reconnaître l’échec d’une méthode de recherche largement utilisée. Les méthodes enchâssées dans les programmes d’études supérieures des principales universités et publiées dans des revues prestigieuses ont tendance à se perpétuer. Beaucoup de profanes supposent que si une étude a été publiée dans une revue à comité de lecture, elle est valide. Les cas que nous avons examinés montrent que ce n’est pas toujours le cas. L’examen par les pairs permet de s’assurer que les pratiques établies ont été suivies, mais il n’est guère utile lorsque ces pratiques elles-mêmes sont défectueuses.

En 1991, David Freedman, éminent sociologue de l’Université de Californie à Berkeley et auteur de manuels sur les méthodes de recherche quantitative, a jeté les bases du modèle de régression en déclarant franchement: « Je ne pense pas que la régression puisse porter beaucoup de fardeau un argument de causalité. Les équations de régression ne sont pas, en elles-mêmes, très utiles pour contrôler les variables de confusion « (Freedman, 1991: 292). L’article de Freedman a provoqué un certain nombre de réactions vives. Richard Berk (1991: 315) a observé que l’argument de Freedman « sera très difficile à accepter pour la plupart des sociologues quantitatifs. Il va au cœur de leur entreprise empirique et, ce faisant, met en péril toute une carrière professionnelle ».

Face aux critiques qui veulent avoir la preuve qu’ils peuvent prévoir les tendances, les modélisateurs de la régression recourent souvent à la surenchère statistique. Ils font des arguments si complexes que seuls d’autres analystes de la régression hautement qualifiés peuvent les comprendre, et encore moins les réfuter. Souvent cette technique fonctionne. Les critiques potentielles abandonnent simplement dans la frustration. Après avoir entendu John Lott parler des taux d’armes dissimulées et des taux d’homicides, le journal The Philadelphia Inquirer (1999) a regretté, après s’être entretenu avec d’autres experts, que -statistiques, variables nominales et méthodes d’analyse de données «Poisson» vs «moindres carrés».  »

Boldt avait raison de soupçonner qu’il était entraîné dans une mission idiote. En fait, en sociologie ou en criminologie, aucune découverte importante ne peut être communiquée aux journalistes et aux décideurs qui ne disposent pas de diplômes d’études supérieures en économétrie. Il est temps d’admettre que l’empereur n’a pas de vêtements. Lorsqu’ils présentent un modèle économétrique, les consommateurs doivent insister sur le fait qu’il peut prédire les tendances des données autres que celles utilisées pour les créer. Les modèles qui échouent à ce test sont de la malbouffe, quelle que soit la complexité de l’analyse.

RÉFÉRENCES

Berk, Richard.A. 1991. Vers une méthodologie pour simples mortels, « Sociological Methodology 21: 315-324.
Boldt, David. 1999. « Étude sur les armes à feu », Philadelphia Inquirer, 14 décembre. Téléchargé le 17 mai 2000 sur: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Black, Dan. et Daniel Nagin 1998. Les lois sur le droit de porter dissuadent-elles les crimes violents? Journal of Legal Studies 27: 209-219.
Bonner, Raymond et Ford Fessendren. 2000. Les États sans peine de mort partagent un taux d’homicides plus bas « , New York Times, 22 septembre. Download from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John et Steven Levitt. 1999. Légalisation de l’avortement et du crime. Stanford University Law School. Téléchargé en août 2000 à partir de: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.
Fox, James. 2000. Données démographiques et homicide américain, dans A. Blumstein et J. Wallman (éd.), The Crime Drop in America, Cambridge University Press, New York, p. 288-317.
Freedman, David 1991. Modèles statistiques et cuir de chaussure. Sociological Methodology 21: 291-313.
Lott, John. 2000. Plus d’armes à feu, moins de criminalité: Comprendre la criminalité et les lois sur le contrôle des armes à feu. University of Chicago Press, deuxième édition avec analyses supplémentaires.
Lott, John. et John Whitley. 2001. Avortement et crime: enfants non désirés et naissances hors mariage, « Document de recherche n ° 254 de Yale Law & Economics. Téléchargé le 9 juillet 2001 sur: http://papers.ssrn.com/sol3/papers.cfm ? abstract_id = 270126.
Marvell, Thomas et Carlisle Moody, C. 1997. L’impact de la croissance des prisons sur l’homicide. Études sur l’homicide 1: 205-233.
Zimring, Frank et Gordon Hawkins. 1997. Armes de poing dissimulées: la contrefaçon contrefaisante, The Responsive Community 7: 46-60.

Page source: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *