Calibración de la confianza en tus juicios: cómo saber cuán seguro deberías estar realmente

En resumen. La calibración es la correspondencia entre lo seguro que dices estar y la frecuencia con la que resulta que aciertas. En encuestas trimestrales realizadas de junio de 2001 a marzo de 2011, los directores financieros (CFO) de EE. UU. dieron intervalos de confianza del 80 % para la rentabilidad del S&P 500 del año siguiente que contuvieron la rentabilidad realizada solo el 36 % de las veces. En un torneo geopolítico de tres años con retroalimentación mediante la puntuación de Brier, los pronosticadores estaban seguros al 65,4 % y acertaban el 63,3 %. En un estudio de laboratorio, cambiar solo el formato de la pregunta elevó la tasa de acierto de los intervalos del 90 % del 73,79 al 88,35 %. La jugada del CEO: ningún pronóstico se firma sin un número, un rango y una línea en un registro que se puntúa más adelante. La jugada del estudiante: haz un ejercicio de 10 preguntas con intervalos del 90 % y un ejercicio de Brier con 20 afirmaciones hasta que tus tasas de acierto coincidan con tu confianza declarada.

Este artículo pertenece al clúster de modelos mentales de CEOtudent. Pensar en apuestas trata sobre cómo decidir en condiciones de incertidumbre, y la guía de tasas base explica de dónde debería salir una primera estimación. Este artículo cubre el paso intermedio: auditar el propio número de confianza.

¿Qué significa estar bien calibrado?

Un pronosticador está calibrado cuando, en todas las ocasiones en que dice “70 %”, el suceso ocurre aproximadamente el 70 % de las veces. Para un rango, la prueba es la tasa de acierto: con qué frecuencia el intervalo declarado contiene el valor real. Como lo expresan McKenzie, Liersch y Yaniv, las personas bien calibradas verían que el 90 % de sus intervalos del 90 % contienen el valor real.

Bajo la expresión “exceso de confianza” se esconden tres errores:

• Sobreprecisión: rangos demasiado estrechos. Haran, Moore y Morewedge la consideran el tipo de exceso de confianza más robusto.
• Probabilidades con exceso de confianza: decir 90 % sobre afirmaciones que se cumplen el 70 % de las veces.
• Falta de confianza: cubrirse más de lo que justifica la evidencia, algo que aparece más abajo en un estudio con analistas de inteligencia expertos.

La calibración no lo es todo: alguien que siempre declara la tasa base puede estar perfectamente calibrado y ser inútil. Esa segunda propiedad se llama resolución o discriminación; en el estudio de Bickel, Floehr y Kim sobre los pronósticos meteorológicos de EE. UU., el término de resolución era mucho mayor que la penalización de fiabilidad por la descalibración.

¿Cuánto se separan la confianza declarada y las tasas de acierto reales?

Tabla 1. La brecha de calibración (análisis de CEOtudent de siete estudios publicados)

Grupo y tarea	Confianza declarada	Tasa de acierto real	Brecha (puntos)
Directores financieros de EE. UU., intervalos del 80 % para la rentabilidad del S&P 500 a 1 año, todos los trimestres	80 %	36 %	+44,0
Mismos directores financieros, solo los trimestres menos volátiles	80 %	59 %	+21,0
Participantes en línea, intervalos del 90 %, temperatura de Washington DC a un mes vista	90 %	29,17 %	+60,8
Participantes de laboratorio, intervalos del 90 %, años de elección de presidentes de EE. UU.	90 %	54,34 %	+35,7
Residentes de Pittsburgh, intervalos del 90 %, temperatura local a un mes vista	90 %	73,79 %	+16,2
Mismos residentes, intervalos del 90 % construidos a partir de tramos de probabilidad (SPIES)	90 %	88,35 %	+1,7
Internistas, viñetas diagnósticas más fáciles	7,2 de 10 (leído como 72 %)	55,3 %	+16,7
Internistas, viñetas diagnósticas más difíciles	6,4 de 10 (leído como 64 %)	5,8 %	+58,2
Pronosticadores del torneo geopolítico, todas las condiciones	65,4 %	63,3 %	+2,1
Mismo torneo, equipos con una hora de formación	64,3 %	63,6 %	+0,7
Analistas canadienses de inteligencia estratégica, 1.514 pronósticos	índice con signo	índice con signo	-7,6
National Weather Service, probabilidad de lluvia a 1 día, temporada fría, media	20,1 %	21,8 %	-1,7
The Weather Channel, días en que pronosticó un 70 % de probabilidad de lluvia	70 %	84 %	-14,0
GPT-4 antes del posentrenamiento, subconjunto de un test de opción múltiple	por tramos	por tramos	0,7 (sin signo)
GPT-4 después del posentrenamiento, mismo subconjunto	por tramos	por tramos	7,4 (sin signo)

Fuentes: Ben-David, Graham y Harvey; Haran, Moore y Morewedge 2010; Meyer et al. 2013 (solo el resumen); Moore et al. 2016; Mandel y Barnes 2014; Bickel, Floehr y Kim 2011; GPT-4 Technical Report, figura 8. Brechas calculadas por CEOtudent en calc.py; un valor positivo significa exceso de confianza. Leer como porcentaje la escala de confianza de 0 a 10 de los internistas es un reescalado de CEOtudent. La fila de inteligencia es el índice de calibración con signo de los autores (menos 0,076). Las filas de GPT-4 son el error de calibración esperado, un promedio sin signo.

Léelo como una descripción, no como una clasificación: los estudios difieren en tarea, muestra, periodo, dificultad y puntuación. Destacan cuatro patrones.

1. Los rangos fallan mucho más que las probabilidades. Todas las filas de intervalos, salvo la de SPIES, muestran entre 16 y 61 puntos de exceso de confianza, mientras que las filas del torneo, de inteligencia y meteorológicas se sitúan a menos de 8 puntos de cero, salvo un nivel de probabilidad de The Weather Channel. Soll y Klayman encontraron el mismo contraste en un solo estudio: elegir entre dos respuestas mostraba mucho menos exceso de confianza que los intervalos.
2. El formato consigue lo que la fuerza de voluntad no. Los mismos residentes de Pittsburgh pasaron de una brecha de 16,2 puntos a 1,7 puntos cuando se les pidió repartir la probabilidad entre tramos en lugar de nombrar dos extremos.
3. La dificultad mueve la precisión mucho más que la confianza. Los 118 médicos de Meyer y sus colegas diagnosticaron correctamente el 55,3 % de los casos más fáciles y el 5,8 % de los más difíciles, pero su confianza solo pasó de 7,2 a 6,4 sobre 10. La precisión cayó 49,5 puntos, alrededor de un 89,5 % en términos relativos; la confianza cayó alrededor de un 11,1 %.
4. Los entornos ricos en retroalimentación acaban cerca de cero. Los meteorólogos conocen el resultado al día siguiente; los pronosticadores del torneo veían clasificaciones de Brier que se actualizaban a medida que se cerraban las preguntas.

¿Por qué los intervalos de confianza son mucho peores que las probabilidades de sí o no?

El diagnóstico de Soll y Klayman es que los intervalos subjetivos son sistemáticamente demasiado estrechos para la precisión de la información en la que se basan, a veces solo un 40 % del tamaño necesario. Los datos de los directores financieros lo muestran en términos de mercado: el intervalo medio de los CFO tenía una amplitud del 14,5 %, mientras que la diferencia entre los percentiles 10 y 90 de las rentabilidades reales del S&P 500 a un año era del 42,2 %, unas 2,91 veces mayor. Solo el 3,4 % de los CFO dio un intervalo más amplio que el 42,2 %.

El formato es una de las palancas más eficaces. La tabla 2 compara los intervalos convencionales del 90 % con las Subjective Probability Interval Estimates (SPIES, estimaciones subjetivas de intervalos de probabilidad): el rango de valores posibles se divide en tramos, cada tramo recibe una probabilidad y el rango del 90 % se lee después.

Tabla 2. Tasas de acierto de los intervalos del 90 % según el método de obtención (cifras tal como se publicaron)

Experimento	Participantes	Cantidad estimada	Tasa de acierto del intervalo del 90 %	Tasa de acierto de SPIES al 90 %	Ventaja de SPIES (puntos, cálculo de CEOtudent)
1	103 residentes de Pittsburgh	Temperatura máxima de Pittsburgh a un mes vista	73,79 %	88,35 %	14,56
2	116 participantes en línea de EE. UU.	Temperatura máxima de Washington DC a un mes vista	29,17 %	73,91 %	44,74
3	334 participantes de laboratorio de Pittsburgh	Año en que cada presidente de EE. UU. del siglo XX fue elegido por primera vez	54,34 %	76,91 %	22,57

Fuente: Haran, Moore y Morewedge, Judgment and Decision Making, 2010. En el experimento 1, los intervalos construidos a partir de los fractiles 5 y 95 acertaron el mismo 73,79 % que los convencionales, y quienes hicieron primero juicios SPIES trazaron después también intervalos convencionales más amplios. Pedir los dos límites por separado solo ayuda un poco (Haran y sus colegas describen el método de fractiles de Soll y Klayman como una reducción modesta de la sobreprecisión); lo que amplía los rangos es obligar a prestar atención a todos los resultados posibles, incluidas las colas.

La experiencia no lo arregla. McKenzie, Liersch y Yaniv hallaron que los profesionales de TI y los estudiantes tenían un exceso de confianza similar: los expertos centraban los intervalos más cerca de la verdad, pero los trazaban más estrechos, y los efectos se compensaban. Su resumen de la literatura: los intervalos del 90 % suelen contener el valor real alrededor del 50 % de las veces.

¿Cuánto más amplios? Bajo un supuesto ilustrativo de errores con distribución normal, un intervalo del 90 % que acierta el 50 % de las veces tendría que ser unas 2,44 veces más amplio, y los intervalos del 80 % de los CFO que aciertan el 36 %, unas 2,74 veces, cerca de la relación de 2,91 citada antes. Tómalo como una primera corrección, no como una ley.

¿Cómo es una buena calibración en la práctica?

Meteorólogos. Bickel, Floehr y Kim verificaron casi 13 millones de pronósticos de probabilidad de lluvia en 734 estaciones entre el 1 de noviembre de 2008 y el 31 de octubre de 2010. Los pronósticos a 1 día del National Weather Service de 0,1 y 0,9 estaban bien calibrados, y los de 0,2 y 0,3, muy cerca. La política importa: cuando The Weather Channel decía 70 %, llovía el 84 % de las veces, y el canal evita el 50 % porque cree que los usuarios lo interpretarán como falta de conocimiento.

Pronosticadores de torneo. Moore y sus colegas analizaron 494.552 pronósticos sobre 344 preguntas de 2.860 pronosticadores a lo largo de tres años de un torneo patrocinado por IARPA, puntuados con la regla de Brier. Los autores escriben que una hora de formación reduce a la mitad el exceso de confianza durante el año siguiente: los pronosticadores que trabajaban solos pasaron de 4,3 puntos de exceso de confianza sin formación a 2,0 con ella, una reducción del 53,5 %, y los equipos formados llegaron a 0,7.

Analistas de inteligencia, en la dirección contraria. Mandel y Barnes puntuaron 1.514 pronósticos estratégicos de 15 analistas de la división de Oriente Medio y África del Intelligence Assessment Secretariat de Canadá. La discriminación era muy buena (el 94 % de los pronósticos cayó del lado correcto del 50 %), pero los analistas pecaban de falta de confianza, sobre todo en los pronósticos más difíciles y de mayor relevancia política. Hacer sus números más extremos redujo la desviación absoluta media respecto a la calibración perfecta del 12,7 % al 4,2 %, una disminución del 66,9 %.

El factor común es un circuito de retroalimentación puntuado, un tema que la guía de CEOtudent sobre cómo desarrollar buen juicio explora en profundidad.

¿Cómo funciona la puntuación de Brier y qué se considera bueno?

La puntuación de Brier es la diferencia cuadrática media entre un pronóstico de probabilidad y el resultado, codificado como 1 si el suceso ocurrió y 0 si no. Cuanto más baja, mejor: 0 es perfecto, y responder siempre 50 % a preguntas de sí o no da 0,25. Mandel y Barnes la denominan una regla de puntuación propia, de modo que informar con honestidad es la mejor estrategia.

La parte útil es la descomposición, que Mandel y Barnes aplican siguiendo la partición de Murphy de 1973: puntuación de Brier = índice de varianza menos índice de discriminación más índice de calibración. La varianza refleja cuán inciertas eran las preguntas; la discriminación premia separar los sucesos de los no sucesos; la calibración penaliza las diferencias entre las frecuencias declaradas y las observadas. Para los analistas canadienses, 0,240 menos 0,182 más 0,016 reproduce exactamente su puntuación de Brier publicada de 0,074.

Tabla 3. Puntuaciones de Brier publicadas, solo como orientación

Conjunto de pronósticos	Puntuación de Brier	Fuente
Inteligencia estratégica canadiense, 1.514 pronósticos	0,074	Mandel y Barnes 2014
Igual, añadiendo a 0,5 los pronósticos solo con palabras (“could”, “might”)	0,097	Mandel y Barnes 2014
National Weather Service, probabilidad de lluvia a 1 día, temporada fría (error cuadrático medio)	0,090	Bickel, Floehr y Kim 2011, tabla 4
Pronosticadores del torneo, último día de cada pregunta	0,10	Moore et al. 2016
Meteorólogos, lluvia del día siguiente (Murphy y Winkler 1977)	0,13	según Moore et al. 2016
Pronosticadores del torneo, última semana de cada pregunta	0,14	Moore et al. 2016
Responder siempre 50 % a una pregunta de sí o no	0,25	aritmética

Mandel y Barnes señalan que la puntuación depende no solo de la habilidad del pronosticador, sino también de la incertidumbre del entorno de pronóstico, por lo que las puntuaciones no son comparables entre distintos conjuntos de preguntas. Compárate con tus propias puntuaciones pasadas en preguntas similares y con la puntuación de declarar siempre la tasa base.

Tabla 4. Un ejemplo resuelto con diez afirmaciones (cada dato es un supuesto ilustrativo)

Tramo	Afirmaciones	Probabilidad declarada	Se cumplieron	Tasa de acierto
Confianza alta	5	90 %	4	80 %
Confianza moderada	5	60 %	3	60 %
Resultado	Brier 0,205	Siempre 70 % (tasa base): 0,21	Siempre 50 %: 0,25	Calibración 0,005, discriminación 0,01, varianza 0,21

Aritmética en calc.py. El tramo alto tiene 10 puntos de exceso de confianza, así que la penalización de calibración es pequeña; la debilidad real es la discriminación, ya que 0,205 apenas supera el 0,21 que se obtiene diciendo 70 % sobre todo. Pasar las afirmaciones del 90 % al 80 % bajaría la puntuación a 0,200. Lee dos números en cada ejercicio: el término de calibración indica si debes ajustar la confianza, y la distancia hasta la puntuación de la tasa base indica si los juicios aportan información.

¿Por qué “probable” e “improbable” fallan como números?

Sherman Kent, ampliamente considerado el padre del análisis de inteligencia moderno según Mandel y Barnes, dejó constancia del momento en que el problema se hizo evidente. La Estimación Nacional de Inteligencia (National Intelligence Estimate) 29-51 calificó un ataque contra Yugoslavia en 1951 de “posibilidad seria” (“serious possibility”). Kent quería decir unas probabilidades de alrededor de 65 a 35 a favor; los planificadores políticos habían entendido probabilidades mucho menores; y entre sus colegas de la Junta de Estimaciones Nacionales (Board of National Estimates), el que menos había querido decir unas 20 a 80 y el que más, 80 a 20. Su ensayo de 1964 propuso palabras con números asociados. Hoy existen escalas oficiales, pero no coinciden entre sí.

Tabla 5. La misma palabra, cuatro significados oficiales (análisis de CEOtudent de la ICD 203, la guía del IPCC, la práctica del NWS y Kent 1964)

Palabra (término de la ICD 203)	Inteligencia de EE. UU., ICD 203	IPCC AR5 y AR6 (término más cercano)	Redacción del NWS (término más cercano)	Kent 1964 (término más cercano)	Diferencia de punto medio ICD vs. IPCC (puntos)	Solapamiento ICD e IPCC (puntos)
Probable (“Likely”)	55-80 %	66-100 %	55-74 %	Probable (“Probable”) 63-87 %	15,5	14
Muy probable (“Very likely”)	80-95 %	90-100 %	Categórico (“Categorical”) 75 % o más	Casi seguro (“Almost certain”) 87-99 %	7,5	5
Probabilidades aproximadamente iguales (“Roughly even chance”)	45-55 %	Tan probable como improbable (“About as likely as not”) 33-66 %	Posibilidad (“Chance”) 25-54 %	Probabilidades más o menos parejas (“Chances about even”) 40-60 %	-0,5	10
Improbable (“Unlikely”)	20-45 %	0-33 %	sin término	Probablemente no (“Probably not”) 20-40 %	-16,0	13
Muy improbable (“Very unlikely”)	5-20 %	0-10 %	sin término	Casi con certeza no (“Almost certainly not”) 2-12 %	-7,5	5

Fuentes: ODNI, ICD 203 (2015, con sus modificaciones); Mastrandrea et al., nota de orientación del IPCC para el AR5 (2010), reafirmada como coherente con el AR5 en el Resumen para responsables de políticas del AR6 (2021); revisión de la oficina del NWS en Salt Lake City sobre el invierno 2007-08; Kent, cuyos rangos son valores centrales más o menos su tolerancia declarada (75 %, con un margen de unos 12). Puntos medios, diferencias y solapamientos calculados en calc.py; una diferencia negativa significa que la lectura del IPCC es más baja.

Las categorías de la ICD 203 no se solapan; las del IPCC están anidadas (“muy probable”, “very likely”, con 90-100 % también es “probable”, “likely”) y tienen lo que la nota de orientación llama límites “difusos” (“fuzzy”). En “probable” (“likely”), ambas comparten 14 puntos, alrededor del 56 % del rango de inteligencia y el 41 % del rango del IPCC. La clasificación tradicional del NWS empieza en “ligera posibilidad” (“slight chance”, del 15 al 24 %) y no tiene ningún término por debajo.

Tabla 6. Prueba de traducción: la palabra que usaría cada sistema para la misma probabilidad (análisis de CEOtudent)

Probabilidad	ICD 203	IPCC	NWS	Kent 1964
18 %	Muy improbable (“Very unlikely”)	Improbable (“Unlikely”)	Ligera posibilidad (“Slight chance”)	Sin término (hueco entre sus categorías)
38 %	Improbable (“Unlikely”)	Tan probable como improbable (“About as likely as not”)	Posibilidad (“Chance”)	Probablemente no (“Probably not”)
70 %	Probable (“Likely”)	Probable (“Likely”)	Probable (“Likely”)	Probable (“Probable”)
85 %	Muy probable (“Very likely”)	Probable (“Likely”)	Categórico (“Categorical”)	Probable (“Probable”)

Solo en el 70 % coinciden los cuatro. Los lectores no corrigen la brecha: Budescu, Broomell y Por encontraron que las lecturas numéricas que la gente hacía de los términos del IPCC se desviaban significativamente de las directrices incluso cuando los lectores tenían las directrices a mano (solo el resumen). En los datos de Mandel y Barnes, alrededor del 16 % de los pronósticos no llevaba ningún número, solo palabras como “could” (“podría”) o “might” (“quizá”). La solución es barata: escribe el número junto a la palabra, siempre. “Probable (70 %)” sobrevive a que lo reenvíen a alguien que aprendió otra escala.

¿Están los modelos de IA mejor calibrados que las personas?

Depende de su entrenamiento. Kadavath y sus colegas encontraron que los modelos de lenguaje más grandes estaban bien calibrados en preguntas variadas de opción múltiple y de verdadero/falso cuando se planteaban en el formato adecuado, y que los modelos ajustados con retroalimentación humana parecían descalibrados, pero quedaban bastante bien calibrados tras un simple ajuste de temperatura. El GPT-4 Technical Report muestra el coste del posentrenamiento: en un subconjunto del conjunto de datos MMLU, el error de calibración esperado subió de 0,007 en el modelo preentrenado a 0,074 tras el posentrenamiento, unas 10,6 veces más.

Steyvers y sus colegas añaden otra brecha, entre la confianza humana en las respuestas de los modelos y la propia confianza de los modelos, que tratan las guías de CEOtudent sobre señales de alerta en las respuestas de la IA y calibración de la confianza en la IA. Una confianza declarada, venga de un colega o de un modelo, es una afirmación que hay que puntuar.

Un protocolo de entrenamiento de la calibración (marco editorial de CEOtudent)

La revisión trimestral de las bandas de confianza ya forma parte del protocolo del diario de decisiones de CEOtudent; estos cuatro ejercicios lo alimentan.

Ejercicio 1. Ejercicio de intervalos del 90 % con diez preguntas (semanal, 15 minutos). Elige diez cantidades de tu campo que puedas comprobar más adelante (la tasa de abandono de clientes del último trimestre, la plantilla de un competidor). Para cada una, divide el rango plausible en entre cinco y diez tramos, asigna a cada tramo una probabilidad de modo que el total sea 100, incluidas las colas, y luego lee el rango más estrecho que contenga el 90 %. Cuenta los aciertos.

Ejercicio 2. Ejercicio de Brier con veinte afirmaciones (mensual). Escribe 20 afirmaciones de sí o no que se resuelvan en un plazo de 30 a 90 días y asigna a cada una una probabilidad del 55, 65, 75, 85 o 95 %. Cuando se resuelvan, calcula tu puntuación de Brier, la puntuación de usar siempre la tasa base y la tasa de acierto de cada banda.

Ejercicio 3. Comprobación de la apuesta equivalente (antes de firmar cualquier afirmación del 90 %). ¿Preferirías ganar un premio si la afirmación es verdadera, o sacando un boleto de una caja con nueve boletos ganadores y uno perdedor? Si prefieres la caja, tu confianza está por debajo del 90 %; baja el número o amplía el rango. Es una comprobación intuitiva de CEOtudent, no un método validado por la investigación.

Ejercicio 4. Comprobación de palabras a números (en cada memorando). Rodea con un círculo cada palabra de probabilidad, escribe un número al lado e imprime la escala del equipo en la parte superior del documento.

Tabla 7. Hoja de autoevaluación (marco editorial de CEOtudent)

Medida	Cómo puntuar	Coherente con la calibración	Señal de alarma	Primera corrección
Tasa de acierto de intervalos del 90 % (ejercicio 1)	Aciertos sobre 10	9 o 10	7 o menos	Ampliar los rangos unas 2 veces; dar más peso a los tramos de las colas
Puntuación de Brier (ejercicio 2)	Error cuadrático medio, 20 afirmaciones	Por debajo de la puntuación de usar siempre la tasa base	Por encima de 0,25	Menos probabilidades extremas
Tasa de acierto por banda (ejercicio 2)	Proporción de verdaderas en las bandas del 85-95 %	Cercana a la banda	Muy por debajo durante dos meses seguidos	Bajar esas afirmaciones una banda
Fallos de la apuesta equivalente (ejercicio 3)	Afirmaciones del 90 % en las que ganó la caja	Ninguno	Alguno	Reescribir la afirmación o el número
Palabras sin números (ejercicio 4)	Recuento por memorando	Cero	Alguna	Añadir el número

¿Por qué esos umbrales en el ejercicio 1? Alguien realmente calibrado al 90 % obtiene 8 o menos alrededor del 26,4 % de las veces, 7 o menos alrededor del 7,0 % y 6 o menos alrededor del 1,3 % (aritmética binomial en calc.py). Un 8 aislado dice poco; varios 7 seguidos dicen mucho. Con una tasa de acierto del 60 %, el supuesto de errores normales sugiere ampliar los rangos unas 1,95 veces.

La jugada del CEO: pon un número y un rango a cada pronóstico que firmes

Ben-David, Graham y Harvey encontraron algo más que un error de pronóstico. Los directivos descalibrados respecto al mercado mostraban una descalibración similar respecto a las perspectivas de sus propias empresas, y las empresas con directivos descalibrados parecían seguir políticas más agresivas, invirtiendo más y recurriendo más a la financiación con deuda. Esa asociación no demuestra causalidad, pero convierte la sobreprecisión en un riesgo empresarial y no en una rareza de encuesta.

Un registro de pronósticos hace concreto el hábito: para cada pronóstico que impulse una decisión, anota la afirmación, la fecha de resolución, la probabilidad o el rango del 90 %, las palabras usadas en el memorando, el responsable y, más adelante, el resultado y su contribución a la puntuación de Brier. Cada trimestre, calcula las tasas de acierto y las puntuaciones de Brier por persona y por tema. Haz un pre-mortem de cualquier plan cuyo pronóstico clave se sitúe en una banda en la que el registro muestra exceso de confianza. El boletín de pronósticos de CEOtudent aplica la misma puntuación a una década de predicciones de expertos y de IA. El lado del estudiante es el mismo registro leído como un plan de estudios: cada fallo muestra dónde pecas de sobreprecisión.

Lo que esto no significa

• La confianza no es mala. El objetivo es que coincida, no reducirla; los analistas canadienses infravaloraron lo que sabían por ser demasiado prudentes.
• La tabla de brechas no clasifica profesiones. Una previsión de mercado a un año vista y un pronóstico de lluvia para el día siguiente son tareas distintas.
• Una puntuación de Brier baja no demuestra habilidad. Las preguntas fáciles producen puntuaciones bajas; compara con una referencia en las mismas preguntas.
• Los resultados de laboratorio pueden no trasladarse por completo. Las mejoras de SPIES proceden de cuestionarios de temperatura y de historia, no de pronósticos empresariales.
• Este artículo es información general sobre la investigación acerca del juicio; no es asesoramiento médico, de inversión ni financiero.

Preguntas frecuentes

¿Qué es la calibración de la confianza en términos sencillos?
La correspondencia entre lo seguro que dices estar y la frecuencia con la que aciertas. No es precisión: un pronosticador puede estar calibrado y aun así no aportar información, y por eso la descomposición de Brier separa ambas cosas.

¿Por qué fallan tan a menudo los rangos del 90 %?
Se trazan demasiado estrechos: a veces solo un 40 % del tamaño necesario, según Soll y Klayman, y normalmente contienen el valor real alrededor de la mitad de las veces, según la literatura que resumen McKenzie y sus colegas.

¿Qué es una buena puntuación de Brier?
No hay un umbral universal. Un pronosticador útil supera el 0,25 (responder siempre 50 %) y la puntuación de usar siempre la tasa base en las mismas preguntas.

¿Se puede entrenar la calibración?
Sí, con retroalimentación. Una hora de formación redujo aproximadamente a la mitad el exceso de confianza de los pronosticadores del torneo, y los tramos de probabilidad elevaron las tasas de acierto de los intervalos en el laboratorio.

¿Hay que fiarse de las puntuaciones de confianza de la IA?
Puntúalas como cualquier otra confianza declarada. El informe de GPT-4 muestra que el posentrenamiento elevó el error de calibración de 0,007 a 0,074 en su subconjunto de prueba.

Fuentes

1. Ben-David, Itzhak, John R. Graham y Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, julio de 2010, revisado en septiembre de 2013; publicado en el Quarterly Journal of Economics 128(4), 2013.
2. Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.
3. Haran, U., Moore, D. A. y Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.
4. Soll, J. B. y Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (solo el resumen).
5. McKenzie, Craig R. M., Michael J. Liersch e Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.
6. Meyer, A. N. D. et al. Physicians’ diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (solo el resumen).
7. Mandel, D. R. y Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.
8. Bickel, J. E., Floehr, E. y Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.
9. Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, oficina de Salt Lake City.
10. Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, firmada el 2 de enero de 2015, con modificaciones técnicas posteriores.
11. Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.
12. IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sexto Informe de Evaluación, 2021.
13. Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964; desclasificado para su difusión en 1993.
14. Budescu, D. V., Broomell, S. y Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (solo el resumen).
15. Kadavath, S. et al. Language Models (Mostly) Know What They Know. Preprint de arXiv 2207.05221, 2022.
16. OpenAI. GPT-4 Technical Report. Preprint de arXiv 2303.08774, versión 6, 2024.
17. Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.

Las tablas 1, 5, 6 y 7 son análisis o marcos editoriales de CEOtudent; la tabla 4 es un ejemplo ilustrativo basado en supuestos; las tablas 2 y 3 recogen las cifras tal como se publicaron. El resumen de Moore y sus colegas da un exceso de confianza de alrededor del 3 %; el artículo utiliza la cifra de 2,1 puntos de sus resultados, que coincide con el 65,4 y el 63,3 %. Deliberadamente no se han utilizado: las variantes del 36,3 y el 36,6 % del artículo sobre los CFO (se usa el 36 % de su resumen), el artículo meteorológico de Murphy y Winkler y el artículo de Brier de 1950 (no consultados; citados a través de Moore y sus colegas, Mandel y Barnes, y Bickel y sus colegas), y las tablas de Brier de entrenamiento que ya figuran en el artículo de CEOtudent sobre el diario de decisiones.

---

Este contenido fue recopilado con el apoyo de la IA tras una investigación exhaustiva, y luego redactado y preparado para su publicación por el equipo editorial de CEOtudent.

This post is also available in: