En resumen. En la Encuesta de Competencias de Adultos de la OCDE (datos de 2023, publicados en diciembre de 2024), el 25 % de los adultos de los países de la OCDE obtuvo el Nivel 1 o menos en competencia numérica y el 14 % alcanzó los Niveles 4 o 5. En Estados Unidos, la proporción con baja competencia numérica pasó del 29 % en 2017 al 34 % en 2023. Mientras tanto, las herramientas de IA y las presentaciones de proveedores producen más porcentajes seguros de sí mismos que nunca. Quien no es analista necesita unas diez ideas, cada una con una pregunta asociada, que impiden que una cifra verdadera lo engañe. El formato importa tanto como el lector: cuando 160 ginecólogos vieron las estadísticas de una prueba como probabilidades condicionales, el 21 % encontró la respuesta correcta; después de aprender a reformularlas como recuentos sobre 1.000, lo hizo el 87 %. La jugada del CEO: exige que toda cifra que impulse una decisión llegue con su denominador, su comparación y su fuente, y decide de antemano qué preguntas son obligatorias antes de actuar. La jugada del estudiante: convierte cada porcentaje en “cuántos de cada 1.000” y reconstruye cada semana una afirmación a partir de su fuente original.
Esta guía forma parte del clúster de Habilidades Cognitivas Fundamentales, anclado en nuestro artículo sobre la lectura profunda como ventaja competitiva. Es el complemento numérico del protocolo de 5 pasos para verificar los resultados de la IA y de las 12 señales de alerta de las malas respuestas de la IA. Esos artículos detectan afirmaciones falsas. Este aborda un caso más difícil: cifras que son verdaderas y aun así engañan.
¿Por qué necesita estadística ahora alguien que no es analista?
Producir un gráfico o una frase del tipo “la mayoría de los clientes prefiere” ya casi no cuesta nada, así que llegan más cifras a quienes deciden y con menos comprobaciones (consulta nuestro artículo sobre la crisis de la relación señal-ruido). La medición internacional más reciente de la competencia numérica adulta muestra lo expuestos que están los lectores.
La Encuesta de Competencias de Adultos de la OCDE evaluó a adultos de 16 a 65 años en 31 países participantes. La puntuación media de la OCDE en competencia numérica fue de 263 en una escala de 0 a 500. Los adultos del Nivel 1, según la descripción de la encuesta, manejan números enteros, decimales, fracciones comunes y porcentajes y “idean estrategias simples de uno o dos pasos”. Leer un riesgo relativo, una probabilidad condicional o una media sesgada suele exigir más pasos que eso.
Tabla 1. Competencia numérica adulta en una selección de países, Encuesta de Competencias de Adultos de la OCDE 2023 (adultos de 16-65 años)
| País o economía | Puntuación media en competencia numérica | Nivel 1 o inferior | Nivel 4 | Nivel 5 |
|---|---|---|---|---|
| Media de la OCDE | 263 | 25 % | 12 % | 2 % |
| Finlandia | 294 | 12 % | 26 % | 5 % |
| Japón | 291 | 10 % | 21 % | 3 % |
| Países Bajos | 284 | 15 % | 20 % | 4 % |
| Alemania | 273 | 20 % | 16 % | 2 % |
| Inglaterra (Reino Unido) | 268 | 21 % | 14 % | 2 % |
| Francia | 257 | 28 % | 10 % | 1 % |
| España | 250 | 30 % | 6 % | 0 % |
| Estados Unidos | 249 | 34 % | 10 % | 2 % |
| Italia | 244 | 35 % | 6 % | 0 % |
| Chile | 214 | 56 % | 2 % | 0 % |
Fuente: Encuesta de Competencias de Adultos de la OCDE 2023, reproducida por la Oficina Central de Estadística de Irlanda (PIAAC 2023 International Comparison, Tablas 3.2 y 3.5). Porcentajes redondeados tal como se publicaron.
Hay dos lecturas importantes. La dispersión es grande: 80 puntos separan las medias de Finlandia y Chile, y la proporción con baja competencia numérica va del 10 % en Japón al 56 % en Chile. E incluso en el país más fuerte la mayoría de los adultos no está arriba: los Niveles 4 y 5 juntos abarcan el 31 % de los adultos finlandeses y el 14 % en la media de la OCDE (cálculo de CEOtudent a partir de proporciones redondeadas). No des por hecho que quien presenta un gráfico es uno de ellos.
El Centro Nacional de Estadísticas Educativas de Estados Unidos añade una tendencia: la proporción de adultos estadounidenses en el Nivel 1 o inferior en competencia numérica pasó del 29 % en 2017 al 34 % en 2023, con la advertencia de que la edición de 2023 se aplicó íntegramente en tabletas y las evaluaciones difieren.
Concepto 1: ¿Es un cambio relativo o un cambio absoluto?
Sobre una base pequeña, los cambios relativos parecen dramáticos mientras los cambios absolutos siguen siendo minúsculos.
Gerd Gigerenzer y sus colegas, en una monografía de 2007 en Psychological Science in the Public Interest, describen la alarma por la píldora anticonceptiva en el Reino Unido. En octubre de 1995, los reguladores advirtieron de que las píldoras de tercera generación duplicaban el riesgo de trombosis, un aumento del 100 %. Los estudios subyacentes mostraban alrededor de 1 caso por cada 7.000 mujeres con las píldoras anteriores y unos 2 por cada 7.000 con las nuevas: un aumento absoluto de 1 de cada 7.000. Los autores informan de unos 13.000 abortos adicionales estimados en Inglaterra y Gales al año siguiente.
La misma monografía muestra lo contrario en el caso de los beneficios. Una reducción del 25 % en las muertes por cáncer de mama gracias al cribado mamográfico corresponde, en palabras de los autores, a “1 mujer menos de cada 1.000”. En muestras aleatorias de mujeres de cuatro países, solo el 6 % dio una respuesta que los autores aceptaron como correcta (de 0 a 5 de cada 1.000), mientras que el 60 % de las encuestadas estadounidenses creía que el beneficio era de 80 o más de cada 1.000. (Ejemplos de encuadre procedentes de investigaciones de 2007, no recomendaciones de salud.)
Tabla 2. Análisis de CEOtudent: el mismo resultado publicado expresado de cuatro maneras
| Resultado publicado | Encuadre relativo | Encuadre absoluto | Recuentos por cada 1.000 | Unidades por cada caso adicional o evitado |
|---|---|---|---|---|
| Trombosis, píldora nueva frente a anterior (Gigerenzer et al. 2007) | +100 % | +1 de cada 7.000 (0,014 puntos porcentuales) | de 0,14 a 0,29 | 7.000 mujeres por cada caso adicional |
| Muertes por cáncer de mama con cribado (Gigerenzer et al. 2007) | -25 % | 1 menos de cada 1.000 | de unas 4 a 3 (línea de base implícita) | 1.000 mujeres cribadas por cada muerte evitada |
| Gráfico de barras de tipo impositivo (Correll et al. 2020, Fig. 1b) | +13,1 % | +4,6 puntos porcentuales (del 35,0 % al 39,6 %) | de 350 a 396 por cada 1.000 dólares | Barra dibujada 5,6 veces más alta |
Análisis de CEOtudent de las cifras de Gigerenzer et al. (2007) y de Correll, Bertini y Franconeri (2020); aritmética en calc.py. La línea de base de la fila 2 es derivada: un recorte relativo del 25 % equivalente a 1 de cada 1.000 implica un riesgo inicial de unos 4 de cada 1.000.
La pregunta que hay que hacer: “¿De cuántos?”
Concepto 2: ¿Qué pasa de cada 1.000? Tasas base y frecuencias naturales
Nuestro artículo sobre las tasas base y la visión externa explica por qué los resultados típicos deberían anclar las previsiones. Las frecuencias naturales, es decir, probabilidades reformuladas como recuentos en un grupo imaginario, hacen que las tasas base sean utilizables en el momento.
En una sesión de formación continua de 2007 descrita en la monografía de Gigerenzer, a 160 ginecólogos se les dijo: el 1 % de las mujeres de una población de cribado tiene cáncer de mama; una mujer con cáncer da positivo el 90 % de las veces; una mujer sin cáncer aun así da positivo el 9 % de las veces. Al preguntarles qué significa un resultado positivo, la mayoría respondió “90 %” u “81 %”, las estimaciones fueron del 1 % al 90 %, y el 21 % eligió la mejor respuesta.
Reformulado como recuentos: diez de cada 1.000 mujeres tienen cáncer de mama, y 9 de ellas dan positivo. De las 990 sin cáncer, unas 89 también dan positivo. Así que, de aproximadamente 98 positivos, unas 9 tienen cáncer, alrededor de 1 de cada 10, o un 9,2 % (cálculo de CEOtudent). Tras entrenarse en esta traducción, el 87 % de los ginecólogos eligió la respuesta correcta.
Los médicos no cambiaron; cambió la representación. El método sirve para cualquier filtro, desde los modelos antifraude hasta los detectores de texto generado por IA: empieza con 1.000 casos, aplica la tasa base, la tasa de aciertos y la tasa de falsas alarmas, y cuenta.
La pregunta que hay que hacer: “De todos los señalados, ¿cuántos son reales?”
Concepto 3: ¿Qué tamaño tenía la muestra?
Los grupos pequeños producen resultados extremos en ambas direcciones porque unos pocos casos mueven mucho su media. Howard Wainer, en un ensayo de 2007 en American Scientist, llamó “la ecuación más peligrosa” al resultado de De Moivre de 1730, según el cual la variabilidad de una media se reduce con la raíz cuadrada del tamaño de la muestra.
Su ejemplo central salió caro. Desde finales de la década de 1990, la Fundación Bill y Melinda Gates apoyó las escuelas pequeñas, con subvenciones educativas de unos 1,7 mil millones de $ hasta 2001, en parte porque las escuelas pequeñas estaban sobrerrepresentadas entre las de mejores puntuaciones. Wainer y Harris Zwerling examinaron las 1.662 escuelas de Pensilvania que comunicaban puntuaciones de lectura de 5.º curso. De las 50 mejores, 6 estaban entre el 3 % de escuelas más pequeñas: un 12 % en lugar del 3 % esperado, una sobrerrepresentación de cuatro veces. Pero 9 de las 50 escuelas con peores puntuaciones (18 %) también estaban entre las 50 más pequeñas. Las escuelas pequeñas abarrotaban ambos extremos, y la relación global entre tamaño y puntuaciones de 5.º curso era prácticamente plana.
Lo mismo se aplica a las clasificaciones en el trabajo: si la sucursal con mejor conversión o el equipo piloto de IA mejor valorado es también la unidad más pequeña, el tamaño por sí solo puede explicar la posición.
Como referencia, toma un supuesto ilustrativo: una pregunta de encuesta cuya respuesta verdadera es el 50 %. Con 8 encuestados, el error estándar es de unos 17,7 puntos porcentuales, así que un intervalo aproximado del 95 % abarca unos 35 puntos a cada lado. Con 400 encuestados es de 2,5 puntos. Cincuenta veces más datos compran solo unas siete veces más precisión (cálculo de CEOtudent en calc.py).
La pregunta que hay que hacer: “¿En cuántos casos se basa, y dónde quedan los grupos más pequeños en la clasificación?”
Concepto 4: ¿Quién falta en los datos? Filtros de selección
Los encuestados eligieron responder, los casos de estudio se eligieron porque tuvieron éxito, los estudios se publicaron en parte porque sus resultados eran llamativos. Cuando un filtro favorece ciertos resultados, los datos visibles los exageran.
La Open Science Collaboration, con 270 autores colaboradores y el apoyo del Center for Open Science, repitió 100 estudios experimentales y correlacionales publicados en tres revistas de psicología, con diseños de alta potencia estadística. Su informe de 2015 en Science encontró que el 97 % de los estudios originales tenía resultados significativos, frente al 36 % de las replicaciones (35 de 97). El tamaño medio del efecto cayó de 0,403 a 0,197, aproximadamente la mitad (cálculo de CEOtudent: 0,49), y en 82 de 99 pares comparables el efecto original era mayor.
Las cifras son específicas de las revistas muestreadas, pero cualquier literatura o página de “historias de clientes” muestra a los supervivientes de un filtro.
La pregunta que hay que hacer: “¿Qué no se ve aquí?” Pregunta quién no respondió, qué se excluyó y cuántos intentos precedieron al que se muestra.
Concepto 5: ¿Podría explicarlo otra cosa? Correlación y factores de confusión
Dos cosas que se mueven juntas pueden compartir una causa (un factor de confusión), funcionar a la inversa o simplemente seguir la misma tendencia.
Un caso didáctico: en 2012, el New England Journal of Medicine publicó un breve artículo de Franz Messerli sobre una correlación entre el consumo de chocolate y el número de premios Nobel. Como resumen Pierre Maurage, Alexandre Heeren y Mauro Pesenti en The Journal of Nutrition (2013), llevó a sugerir que más chocolate podría significar más premiados gracias a los flavanoles del cacao. Ellos sostienen que esa interpretación se desmorona en cuanto se consideran otros alimentos ricos en flavanoles, e informan de correlaciones altas entre el número de premiados y otras medidas “estén o no relacionadas de forma convincente” (resumen). La riqueza nacional y el gasto en investigación son causas comunes plausibles.
En el trabajo el patrón tiene menos gracia. Los equipos que usan una nueva herramienta de IA declaran más producción, pero quienes la adoptaron primero quizá también tenían a los mejores mandos. Los clientes que usan una función se dan menos de baja, pero los clientes comprometidos usan más funciones y a la vez se dan menos de baja.
La pregunta que hay que hacer: “¿Qué más difiere entre estos grupos, y se asignó a alguien al azar?”
Concepto 6: ¿Se invierte el patrón al dividir los datos? La paradoja de Simpson
Una comparación puede apuntar en un sentido en el total y en el contrario dentro de los subgrupos cuando los grupos se reparten de forma desigual entre esos subgrupos. El caso clásico son las admisiones de posgrado del otoño de 1973 en la Universidad de California, Berkeley, analizadas por Peter Bickel, Eugene Hammel y William O’Connell en Science en 1975. Los datos de los seis departamentos más grandes vienen incluidos con el software estadístico R, así que las cifras pueden recalcularse con exactitud.
Tabla 3. Análisis de CEOtudent: admisiones en UC Berkeley, otoño de 1973, seis departamentos más grandes
| Departamento | Hombres admitidos | Tasa de los hombres | Mujeres admitidas | Tasa de las mujeres | Diferencia (mujeres menos hombres) |
|---|---|---|---|---|---|
| A | 512 de 825 | 62,1 % | 89 de 108 | 82,4 % | +20,3 puntos |
| B | 353 de 560 | 63,0 % | 17 de 25 | 68,0 % | +5,0 puntos |
| C | 120 de 325 | 36,9 % | 202 de 593 | 34,1 % | -2,9 puntos |
| D | 138 de 417 | 33,1 % | 131 de 375 | 34,9 % | +1,8 puntos |
| E | 53 de 191 | 27,7 % | 94 de 393 | 23,9 % | -3,8 puntos |
| F | 22 de 373 | 5,9 % | 24 de 341 | 7,0 % | +1,1 puntos |
| Los seis en conjunto | 1.198 de 2.691 | 44,5 % | 557 de 1.835 | 30,4 % | -14,2 puntos |
Análisis de CEOtudent del conjunto de datos UCBAdmissions distribuido con R (4.526 solicitantes), derivado de Bickel, Hammel y O’Connell (1975); tasas recalculadas en calc.py.
En conjunto, los hombres fueron admitidos en un 44,5 % y las mujeres en un 30,4 %. Sin embargo, las tasas de las mujeres fueron más altas en cuatro de los seis departamentos. La inversión se debe a dónde presentó cada cual su solicitud: el 51,5 % de los hombres solicitó plaza en los departamentos A y B, que admitían a la mayoría de los solicitantes, mientras que el 92,8 % de las mujeres la solicitó en los departamentos C a F, que rechazaban a la mayoría (cálculo de CEOtudent). La documentación de R lo dice sin rodeos: la aparente asociación “se debe a diferencias en la tendencia de hombres y mujeres a solicitar plaza en los distintos departamentos”.
La pregunta que hay que hacer: “¿Se mantiene el resultado dentro de cada segmento, y están los grupos repartidos igual entre segmentos?”
Concepto 7: ¿Se eligió por ser extremo? Regresión a la media
Todo lo que se selecciona por ser inusualmente alto o bajo tiende a medirse más cerca de la media la vez siguiente, haya intervención o no. Adrian Barnett, Jolieke van der Pols y Annette Dobson (International Journal of Epidemiology, 2005) describen la regresión a la media como un fenómeno que “puede hacer que la variación natural en datos repetidos parezca un cambio real”, más intenso cuando el error de medición es grande y cuando el seguimiento abarca solo casos seleccionados por un primer valor extremo (resumen).
La autobiografía de Daniel Kahneman para el Nobel ofrece la versión laboral. Un instructor de vuelo objetó a su consejo sobre los elogios: los cadetes elogiados por una maniobra impecable solían hacerlo peor la vez siguiente, y los cadetes a los que se gritaba solían mejorar. Kahneman vio que los rendimientos extremos son en parte suerte, que no se repite a voluntad, de modo que “la estadística nos castiga por recompensar a los demás y nos recompensa por castigarlos”.
Así, la peor región mejora tras un programa de reestructuración y el mejor empleado baja tras un bonus, sin que eso demuestre nada sobre ninguno de los dos.
La pregunta que hay que hacer: “¿Se eligió esto por un resultado extremo, y qué le pasó a un grupo similar sin intervención?”
Concepto 8: ¿Media de qué? Media, mediana y asimetría
La media lo suma todo y divide; la mediana es el caso central. Cuando unos pocos valores son muy grandes, como ocurre con los ingresos, el tamaño de los contratos, los sobrecostes o el tiempo ahorrado con una herramienta de IA, la media se desplaza hacia la cola.
El informe Income in the United States: 2025 (septiembre de 2026) de la Oficina del Censo de Estados Unidos sitúa la mediana de ingresos de los hogares en 87.460 $, un 2,6 % más que los 85.210 $ de 2024. La Tabla histórica H-6 de la Oficina sitúa la media de 2025 en 126.700 $: 39.240 $, o un 45 %, por encima de la mediana (cálculo de CEOtudent). El informe también señala que los ingresos en el percentil 90 eran 13,06 veces los del percentil 10. “El hogar medio” puede desviarse decenas de miles de dólares sin una sola cifra falsa, y lo mismo puede ocurrir con el “tiempo medio ahorrado” cuando unos pocos usuarios intensivos dominan.
La pregunta que hay que hacer: “¿Media o mediana, y cómo es la dispersión?”
Concepto 9: ¿Dónde empieza el eje? Diseño engañoso de gráficos
Michael Correll, Enrico Bertini y Steven Franconeri (CHI 2020) reproducen un gráfico de barras televisivo que comparaba un tipo impositivo máximo del 35,0 % con uno del 39,6 %. Con el eje y empezando en el 34 %, la segunda barra se dibujó unas seis veces más alta, aunque la relación entre los valores es de 1,13 a 1. El artículo llama a la diferencia “un aumento del 4,6 %”; en sentido estricto son 4,6 puntos porcentuales, una subida relativa del 13,1 % (cálculo de CEOtudent). Incluso investigadores cuidadosos confunden porcentaje y puntos porcentuales.
Sus experimentos con participantes reclutados en línea encontraron que truncar el eje y tenía “un impacto constante y significativo en la importancia percibida de los tamaños del efecto”, tanto en gráficos de líneas como de barras, y que las señales de advertencia, como un eje cortado o un relleno degradado, no tenían un efecto constante. Conocer el truco no lo neutraliza; hay que leer las etiquetas de los ejes.
La pregunta que hay que hacer: “¿Cuáles son los valores del eje, y qué cambio importaría realmente aquí?”
Concepto 10: ¿Qué te dice “estadísticamente significativo”?
El 7 de marzo de 2016, la American Statistical Association publicó seis principios sobre los valores p. Principio 2: “Los valores p no miden la probabilidad de que la hipótesis estudiada sea verdadera, ni la probabilidad de que los datos se hayan producido solo por azar.” Principio 5: un valor p “no mide el tamaño de un efecto ni la importancia de un resultado.” El Principio 3 añade que “las decisiones empresariales o de política pública no deberían basarse únicamente en si un valor p supera un umbral concreto.”
“Significativo” no significa grande, importante ni probable de replicarse, como muestra el Concepto 4.
Una trampa relacionada es el teatro de la precisión: una mejora de productividad expresada con dos decimales a partir de un piloto con un puñado de personas. Los decimales no dicen nada sobre la incertidumbre. Nuestra auditoría de la afirmación de las 35.000 decisiones al día muestra una cifra de apariencia precisa que circuló durante años sin una medición rastreable, y nuestra guía sobre la calibración de la confianza muestra cómo juzgar si un intervalo declarado es honesto.
La pregunta que hay que hacer: “¿Qué tamaño tiene el efecto, qué incertidumbre tiene, y lo ha encontrado alguien más?”
Guía de campo de las cifras engañosas
Tabla 4. Marco editorial de CEOtudent: la Guía de campo de las cifras engañosas
| Concepto | La trampa en una línea | La pregunta clave | La versión honesta | Dónde aparece en el trabajo |
|---|---|---|---|---|
| Relativo frente a absoluto | Porcentaje grande, base minúscula | ¿De cuántos? | “De 4 a 2 por cada 1.000 (50 %)” | Presentaciones de proveedores, titulares |
| Tasas base | Precisión de la prueba leída como precisión de la alerta | De todos los señalados, ¿cuántos son reales? | Verdaderos y falsos positivos por cada 1.000 | Alertas de fraude, cribado de CV, detectores de IA |
| Tamaño de la muestra | Las unidades pequeñas ganan y pierden clasificaciones | ¿Cuántos casos? | n declarado, con un intervalo | Clasificaciones, pilotos, encuestas de equipo |
| Selección | Solo se ven los supervivientes | ¿Qué no se ve aquí? | Tasa de respuesta y exclusiones declaradas | Casos de estudio, testimonios |
| Correlación | Movimiento conjunto leído como causa | ¿Qué más difiere? ¿Asignación aleatoria? | Comparación controlada, factores de confusión nombrados | Paneles de adopción frente a rendimiento |
| Paradoja de Simpson | El total contradice a los segmentos | ¿Se mantiene en cada segmento? | Tabla por segmentos junto al total | Ventas por región, valoraciones por equipo |
| Regresión a la media | Los extremos vuelven a la media y la acción se lleva el mérito | ¿Elegido por ser extremo? ¿Comparado con qué? | Grupo de comparación sin intervención | Reestructuraciones, bonus, pilotos del “peor mes” |
| Media frente a mediana | Una cola arrastra la media | ¿Media o mediana? ¿Dispersión? | Mediana más percentiles | Salarios, tiempo ahorrado, tamaño de los contratos |
| Diseño de gráficos | El eje fabrica u oculta el drama | ¿Cuáles son los valores del eje? | Eje etiquetado, escala justificada | Diapositivas del consejo, gráficos generados por IA |
| Significación y precisión | “Significativo” y decimales leídos como importancia | ¿Qué tamaño, qué incertidumbre, se ha replicado? | Tamaño del efecto con intervalo | Pruebas A/B, resúmenes de estudios hechos por IA |
Marco editorial de CEOtudent; una ayuda de lectura, no un procedimiento estadístico.
Lista de 10 preguntas previas a la decisión para cualquier estadística
Úsala antes de que una cifra cambie un presupuesto, una contratación o una estrategia.
- Fuente: ¿Se puede abrir la tabla o el artículo original?
- Denominador: ¿De cuántos?
- Comparación: ¿Comparado con qué: el año pasado, un grupo de control, nada?
- Tamaño absoluto: Si es relativo, ¿cuáles son los valores de antes y de después?
- Tasa base: ¿Qué frecuencia tiene aquello que se detecta o se predice?
- Muestra: ¿Cuántos casos, elegidos cómo?
- Datos ausentes: ¿Quién o qué no está en los datos, y por qué?
- Alternativas: ¿Qué más podría producir esto, incluida la regresión a la media?
- Segmentos: ¿Se mantiene dentro de los principales subgrupos?
- Incertidumbre: ¿Cuál es el intervalo, y lo ha replicado alguien?
Rutina de práctica semanal (unos 30 minutos): el lunes, anota una estadística del trabajo o de una respuesta de IA junto con la fuente que declara. El martes, busca el original con nuestro protocolo de verificación. El miércoles, conviértela en recuentos de cada 1.000 y escribe la versión absoluta en una frase. El jueves, aplica las diez preguntas y anota cuáles se saltó la presentación original. El viernes, escribe dos líneas sobre qué decisión debería y no debería respaldar la cifra; como sostiene nuestro artículo sobre escribir para pensar, ponerlo por escrito comprueba si lo has entendido.
Tabla 5. Ejemplo ilustrativo resuelto: un proveedor dice que su herramienta de IA “reduce los errores de procesamiento en un 50 %”
| Concepto | Valor | Estado |
|---|---|---|
| Transacciones al mes | 10.000 | Supuesto ilustrativo |
| Tasa de error actual | 4 por cada 1.000 | Supuesto ilustrativo |
| Tasa de error tras un recorte del 50 % | 2 por cada 1.000 | Derivado de la afirmación |
| Reducción absoluta | 0,2 puntos porcentuales; 20 errores al mes | Derivado |
| Coste por error | 120 unidades monetarias | Supuesto ilustrativo |
| Ahorro mensual | 2.400 | Derivado |
| Coste mensual de la herramienta | 3.000 | Supuesto ilustrativo |
| Resultado neto mensual | -600 | Derivado |
| Tasa de error actual de equilibrio | 5 por cada 1.000 | Derivado |
Cada dato de entrada es un supuesto ilustrativo, no un dato de producto; aritmética en calc.py. El titular del “50 %” es idéntico tanto si la herramienta se amortiza como si no.
La jugada del CEO y la jugada del estudiante
La jugada del CEO. Haz obligatorios tres campos para cualquier cifra que impulse una decisión: denominador, comparación y fuente. Decide por escrito qué preguntas de la lista deben responderse antes de actuar, y devuelve cualquier diapositiva que no pueda responderlas, la haya producido quien o lo que sea. Combínalo con pensar en apuestas, para que las cifras inciertas se usen como probabilidades y no como certezas.
La jugada del estudiante. Entrénate como lo hicieron los ginecólogos: cambia la representación hasta que la respuesta sea obvia. Convierte cada porcentaje en recuentos de cada 1.000 y reconstruye cada semana una afirmación a partir de su fuente. Con los meses, los diez conceptos se convierten en reflejos, parte de la habilidad de evaluación más amplia de juzgar resultados que no has producido tú.
Lo que esto no significa
- Esto no es un curso de estadística. Los diez conceptos son un mínimo defensivo; la modelización, la inferencia causal y el diseño experimental requieren formación o un especialista.
- Las cifras relativas no son deshonestas. Sirven bien para comparar efectos entre grupos. El problema es una cifra relativa sin su base absoluta.
- Una replicación fallida no significa fraude. La Open Science Collaboration encontró que el éxito de la replicación se predecía mejor por la solidez de la evidencia original que por las características de los equipos.
- Los ejemplos de salud son información general sobre cómo se comunican las estadísticas, no consejo médico; las cifras corresponden a los estudios citados.
Preguntas frecuentes
¿Cuál es el hábito más útil para alguien que no es analista?
Convertir los porcentajes en recuentos de cada 1.000. Deja al descubierto la confusión entre relativo y absoluto, hace visibles las tasas base y llevó a los ginecólogos del 21 % al 87 % de aciertos en el estudio anterior.
¿Cómo se detecta rápidamente un gráfico engañoso?
Lee las etiquetas de los ejes antes que las barras. Comprueba dónde empieza el eje vertical, si dos series usan escalas distintas y si el cambio mostrado importaría en la práctica.
¿Una muestra más grande es siempre mejor?
Cuadruplicar una muestra reduce a la mitad el margen de error, pero una muestra grande sesgada sigue estando sesgada.
¿Qué significa p < 0,05 en lenguaje llano?
Que los datos serían bastante sorprendentes si no hubiera ningún efecto, según el modelo del analista. Según la American Statistical Association, no es la probabilidad de que la hipótesis sea verdadera ni una medida del tamaño del efecto.
¿Cómo se aplica esto a las cifras que producen las herramientas de IA?
Del mismo modo, más un paso: confirma que la cifra existe en una fuente real antes de analizarla. Nuestra guía de señales de alerta trata las cifras inventadas.
Fuentes
- Central Statistics Office (Irlanda). Programme for the International Assessment of Adult Competencies (PIAAC) 2023: International Comparison, Tables 3.2 and 3.5. Publicación estadística, 10 de diciembre de 2024 (reproduce los resultados de la Encuesta de Competencias de Adultos de la OCDE 2023).
- US National Center for Education Statistics. Highlights of the 2023 U.S. PIAAC Results: Highlights of U.S. National Results. Diciembre de 2024.
- Gigerenzer, G., Gaissmaier, W., Kurz-Milcke, E., Schwartz, L. M. y Woloshin, S. Helping Doctors and Patients Make Sense of Health Statistics. Psychological Science in the Public Interest, 8(2), 53-96, 2007 (copia del repositorio de la Universidad de Konstanz).
- Wainer, H. The Most Dangerous Equation. American Scientist, 95(3), mayo-junio de 2007 (copia archivada de la página del editor).
- Open Science Collaboration. Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716, 2015 (versión de autor, repositorio de la Universidad de Dundee).
- American Statistical Association. American Statistical Association Releases Statement on Statistical Significance and P-Values. Nota de prensa, 7 de marzo de 2016 (enumera los seis principios; no se abrió la declaración completa de Wasserstein y Lazar).
- Messerli, F. H. Chocolate Consumption, Cognitive Function, and Nobel Laureates. New England Journal of Medicine, 367(16), 1562-1564, 2012 (solo el registro de PubMed; contenido según el resumen de la fuente 8).
- Maurage, P., Heeren, A. y Pesenti, M. Does Chocolate Consumption Really Boost Nobel Award Chances? The Peril of Over-Interpreting Correlations in Health Studies. Journal of Nutrition, 143(6), 931-933, 2013 (solo el resumen).
- R Core Team. UCBAdmissions: Student Admissions at UC Berkeley. Archivo de datos y documentación del paquete datasets de R, que cita a Bickel, P. J., Hammel, E. A. y O’Connell, J. W., Sex Bias in Graduate Admissions: Data from Berkeley, Science, 187, 1975 (no se abrió el artículo original).
- Kahneman, D. Biographical. Sveriges Riksbank Prize in Economic Sciences in Memory of Alfred Nobel 2002, Nobel Prize outreach.
- Barnett, A. G., van der Pols, J. C. y Dobson, A. J. Regression to the Mean: What It Is and How to Deal With It. International Journal of Epidemiology, 34(1), 215-220, 2005 (solo el resumen; se publicó una fe de erratas en 2015).
- US Census Bureau. Income in the United States: 2025. Current Population Reports P60-289, septiembre de 2026.
- US Census Bureau. Historical Income Tables, Table H-6: Median and Mean Household Income of All Households by Region, 1975 to 2025.
- Correll, M., Bertini, E. y Franconeri, S. Truncating the Y-Axis: Threat or Menace? CHI 2020 Conference on Human Factors in Computing Systems (versión 2 de arXiv, enero de 2020).
Las Tablas 2, 3 y 5 son análisis de CEOtudent (la Tabla 5 es ilustrativa y cada dato de entrada es un supuesto); la Tabla 4 es un marco editorial de CEOtudent. Las proporciones combinadas de los Niveles 4 y 5 se calculan a partir de porcentajes publicados redondeados. Deliberadamente no utilizados: la tabla por subgrupos de cálculos renales de Charig et al. (1986) (solo se pudo abrir el resumen), los totales de todo el campus de Berkeley que se citan a menudo (no se abrió el artículo original), los resultados de Pandey et al. (2015) sobre gráficos engañosos (sin texto completo abierto) y el coeficiente de correlación entre chocolate y premios Nobel (artículo de Messerli no accesible).
Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.
