miniatura|Paradoxa de Simpson per a dades contínues: una tendència positiva apareix per a dos grups separats (blau i vermell) i una tendència negativa (negre, ratlles) quan les dades es combinen. En probabilitat i estadística, la paradoxa de Simpson o efecte Yule-Simpson és una paradoxa en la qual una tendència que apareix en diversos grups de dades desapareix quan aquests grups es combinen i en el seu lloc apareix la tendència contrària per a les dades agregades. Aquesta situació es presenta amb freqüència en les ciències socials o en l'estadística mèdica,Clifford H. Wagner(febrer 1982) «Simpson's Paradox in Real Life». The American Statistician 36 (1): 46-48.. DOI: 10.2307/2684093. JSTOR: 2684093. i és causa de confusió quan a la freqüència de les dades se li assigna sense fonament una interpretació causal.Judea Pearl. Causality: Models, Reasoning, and Inference, Cambridge University Press (2000, 2nd edition 2009). La paradoxa desapareix quan s'analitzen les relacions causals presents.
Encara que relativament desconeguda per a la població, la paradoxa de Simpson és ben coneguda per als estadístics i es descriu en molts llibres introductoris d'estadística.David Freedman, Robert Pisani and Roger Purves. Statistics (4ª ed.) W.W. Norton, 2007, p. 19. David S. Moore and D.S. George P. McCabe (febrer de 2005). "Introduction to the Practice of Statistics" (5th edition). W.H. Freeman & Company. Molts estadístics creuen que s'hauria d'informar al públic sobre resultats contraris a la intuïció com la paradoxa de Simpson.Robert L. Wardrop (febrer de 1995) "Simpson's Paradox and the Hot Hand in Basketball". The American Statistician, 49 (1): p. 24–28.Alan Agresti (2002). "Categorical Data Analysis" (2ª ed.) John Wiley and Sons
El fenomen va ser descrit per primera vegada per Edward H. Simpson en un article tècnic de 1951,Simpson, Edward H. (1951). «The Interpretation of Interaction in Contingency Tables». Journal of the Royal Statistical Society, Ser. B 13: 238-241.' però ja havia estat descrit prèviament per Karl Pearson, et al., en 1899,Pearson, Karl; Lee, A.; Bramley-Moore, L. (1899). «Genetic (reproductive) election: Inheritance of fertility in man». Philosophical Translations of the Royal Statistical Society, Ser. A 173: 534-539.' i per Udny Yule en 1903.G. U. Yule (1903). «Notes on the Theory of Association of Attributes in Statistics». Biometrika 2 (2): 121-134.' DOI: 10.1093/biomet/2.2.121. El nom paradoxa de Simpson va ser usat per primera vegada per Colin R. Blyth en 1972.Colin R. Blyth (junio de 1972). «On Simpson's Paradox and the Sure-Thing Principle». Journal of the American Statistical Association 67 (338): 364-366.' DOI: 10.2307/2284382. JSTOR: 2284382.
Atès que Edward Simpson no va descobrir realment aquesta paradoxa estadística (sent un cas de la llei de eponimia de Stigler), alguns escriptors prefereixen fer ús dels termes impersonals paradoxa de la reversió i paradoxa de l'amalgamació, o a vegades l'efecte Yule-Simpson.I. J. Good, Y. Mittal (junio de 1987). «The Amalgamation and Geometry of Two-by-Two Contingency Tables». The Annals of Statistics 15 (2): 694-711.' DOI: 10.1214/aos/1176350369. ISSN: 0090-5364. JSTOR: 2241334.
Exemples Tractament de càlculs del ronyó Aquest és un exemple real pres d'un estudi mèdic.C. R. Charig, D. R. Webb, S. R. Payne, J. E. Wickham (29 de març de 1986). «Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extracorporeal shockwave lithotripsy»' DOI: 10.1136/bmj.292.6524.879. PMC: 1339981. PMID: 3083922. que compara la proporció d'èxit de dos tractaments per als càlculs renals.Steven A. Julious and Mark A. Mullee (12 de marzo de 1994). «Confounding and Simpson's paradox». BMJ 309 (6967): 1480-1481.' PMC: 2541623. PMID: 7804052. La següent taula mostra els percentatges d'èxit i la quantitat de tractaments que involucren càlculs grans i petits. Aquí es refereix per a Tractament A als procediments quirúrgics i per Tractament B a la nefrolitotomia percutània: Tractament A Tractament B Càlculs petits Grup 193 % (81/87) Grup 287 % (234/270) Càlculs grans Grup 373 % (192/263) Grup 469 % (55/80) Global 78 % (273/350) 83 % (289/350) La conclusió paradoxal és que el tractament A és més efectiu quan s'usa tant en càlculs petits com en càlculs grans, encara que el tractament B és més efectiu quan es consideren globalment tots els càlculs. En aquest cas, la variable "amagada" (o factor de confusió) de la grandària del càlcul no es coneixia que fos important per endavant abans que s'incloguessin els seus efectes.
El tractament que es considera millor es determina mitjançant una desigualtat entre dues proporcions (èxits/total). La reversió de la desigualtat entre les proporcions crea la paradoxa de Simpson, la qual succeeix quan els següents dos efectes es donen de forma simultània. Les grandàries de tots dos grups, combinats quan s'ignora la variable oculta, són molt diferents. Els metges tendeixen a donar als casos severs (càlculs grans) el millor tractament (A) i als casos més lleus el tractament B. Per tant, els totals queden dominats pels grups 3 i 2 i no pels grups 1 i 4 que són molt més petits. La variable amagada té un major efecte en les proporcions, ja que en el percentatge d'èxit influeix en major mesura la severitat del cas que l'elecció del tractament. Per tant, el grup de pacients amb càlculs grans usant el tractament A (grup 3) té un resultat inferior al grup amb càlculs més petits encara quan en aquest últim grup s'usés el tractament B (grup 2).
Tractament mèdic utilitzant nombres extrems Aquest exemple fictici segueix en temàtica al del cas anterior, però amb nombres exageradament dicotomizats a fi de facilitar la comprensió del fenomen.
La següent taula mostra per a aquest cas fictici, igual que en l'exemple real, els percentatges d'èxit i la quantitat de tractaments que involucren al problema tipus "1" i al problema tipus "2": Tractament A Tractament B Problema tipus "1" Grup 1100 % (1/1) Grup 298.9 % (98/99) Problema tipus "2" Grup 31 % (1/99) Grup 40 % (0/1) Tots dos 2 % (2/100) 98 % (98/100) En aquest cas és clar que l'estudi no té validesa per l'extrem de les mostres, però la paradoxa subjacent es conserva: el tractament A és millor en tots dos tipus de problema, però el tractament B és millor en el conjunt. Es fa així mateix més evident on està el risc, en haver-se explotat en l'exemple: el fet que les mostres estadístiques siguin tan dicotòmiques entre tipus de problema, provoca l'aparent contradicció.
Discriminació per gènere a Berkeley Un dels exemples millor coneguts de la paradoxa de Simpson va ocórrer quan es va presentar una demanda contra la Universitat de Califòrnia, Berkeley per discriminació contra les dones que havien sol·licitat el seu ingrés al postgrau. Els resultats de les admissions per a l'estiu de 1973 mostraven que els homes sol·licitants tenien major possibilitat de ser triats que les dones i que la diferència era tal que no era possible que fos deguda a l'atzar.David Freedman, Robert Pisani and Roger Curves. Statistics (3rd edition). W.W. Norton, 1998. P.J. Bickel, E.A. Hammel and J.W. O'Connell (1975). «Sex Bias in Graduate Admissions: Data From Berkeley». Science 187 (4175): 398-404.' DOI: 10.1126/science.187.4175.398. PMID: 17835295.. Sol·licituds Admissions Homes 8442 44 % Dones 4321 35 % No obstant això, en examinar els departaments de forma individual, es va trobar que en cap departament existia un biaix contra les dones. De fet, la majoria dels departaments havia presentat un "petit però estadísticament significatiu biaix en favor de les dones" Les dades dels sis majors departaments es llisten a sota. Departament Homes Dones Sol·licituds Admissions Sol·licituds Admissions A 825 62 % 108 82 % B 560 63 % 25 68 % C 325 37 % 593 34 % D 417 33 % 375 35 % E 191 28 % 39324 % F 272 6 % 341 7 % L'article de recerca de Bickel, et al. va concloure que les dones solien presentar sol·licituds en camps competitius amb baix percentatge d'admissions (tals com el departament de llengua anglesa) mentre que els homes solien presentar en departaments amb menor competència i major percentatge d'admissions (com a enginyeria i química). Les condicions sota les quals les dades de freqüència de les admissions de departaments específics van constituir una defensa contra els càrrecs de discriminació es troben consignades en el llibre Causality (Causalitat) per Pearl.
Referències
Enllaços externs Un exemple pràctic de la paradoxa de Simpson Stanford Encyclopedia of Philosophy: "Simpson's Paradox" – by Gary Malinas. The Wall Street Journal column "The Numbers Guy" for December 2, 2009 Un exemple de la paradoxa de Simpson en la comparació de les taxes d'atur de les recessions de 2009 i 1983.
Simpson