{"id":326700,"date":"2026-10-21T05:06:35","date_gmt":"2026-10-21T02:06:35","guid":{"rendered":"https:\/\/ceotudent.com\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente"},"modified":"2026-10-21T05:06:35","modified_gmt":"2026-10-21T02:06:35","slug":"calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente","status":"publish","type":"post","link":"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente","title":{"rendered":"Calibraci\u00f3n de la confianza en tus juicios: c\u00f3mo saber cu\u00e1n seguro deber\u00edas estar realmente"},"content":{"rendered":"<p><strong>En resumen.<\/strong> La calibraci\u00f3n es la correspondencia entre lo seguro que dices estar y la frecuencia con la que resulta que aciertas. En encuestas trimestrales realizadas de junio de 2001 a marzo de 2011, los directores financieros (CFO) de EE. UU. dieron intervalos de confianza del 80 % para la rentabilidad del S&amp;P 500 del a\u00f1o siguiente que contuvieron la rentabilidad realizada solo el 36 % de las veces. En un torneo geopol\u00edtico de tres a\u00f1os con retroalimentaci\u00f3n mediante la puntuaci\u00f3n de Brier, los pronosticadores estaban seguros al 65,4 % y acertaban el 63,3 %. En un estudio de laboratorio, cambiar solo el formato de la pregunta elev\u00f3 la tasa de acierto de los intervalos del 90 % del 73,79 al 88,35 %. La jugada del CEO: ning\u00fan pron\u00f3stico se firma sin un n\u00famero, un rango y una l\u00ednea en un registro que se punt\u00faa m\u00e1s adelante. La jugada del estudiante: haz un ejercicio de 10 preguntas con intervalos del 90 % y un ejercicio de Brier con 20 afirmaciones hasta que tus tasas de acierto coincidan con tu confianza declarada.<\/p>\n<p>Este art\u00edculo pertenece al <a href=\"\/es\/modelos-mentales-que-importan-de-verdad-2026\">cl\u00faster de modelos mentales<\/a> de CEOtudent. <a href=\"\/es\/pensar-en-apuestas-guia-toma-de-decisiones-probabilistica\">Pensar en apuestas<\/a> trata sobre c\u00f3mo decidir en condiciones de incertidumbre, y <a href=\"\/es\/tasas-base-vision-externa-solucion-infrautilizada-malas-predicciones\">la gu\u00eda de tasas base<\/a> explica de d\u00f3nde deber\u00eda salir una primera estimaci\u00f3n. Este art\u00edculo cubre el paso intermedio: auditar el propio n\u00famero de confianza.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_84 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Table of Contents<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar tabla de contenidos\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFQue-significa-estar-bien-calibrado\" >\u00bfQu\u00e9 significa estar bien calibrado?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFCuanto-se-separan-la-confianza-declarada-y-las-tasas-de-acierto-reales\" >\u00bfCu\u00e1nto se separan la confianza declarada y las tasas de acierto reales?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFPor-que-los-intervalos-de-confianza-son-mucho-peores-que-las-probabilidades-de-si-o-no\" >\u00bfPor qu\u00e9 los intervalos de confianza son mucho peores que las probabilidades de s\u00ed o no?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFComo-es-una-buena-calibracion-en-la-practica\" >\u00bfC\u00f3mo es una buena calibraci\u00f3n en la pr\u00e1ctica?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFComo-funciona-la-puntuacion-de-Brier-y-que-se-considera-bueno\" >\u00bfC\u00f3mo funciona la puntuaci\u00f3n de Brier y qu\u00e9 se considera bueno?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFPor-que-%E2%80%9Cprobable%E2%80%9D-e-%E2%80%9Cimprobable%E2%80%9D-fallan-como-numeros\" >\u00bfPor qu\u00e9 &ldquo;probable&rdquo; e &ldquo;improbable&rdquo; fallan como n\u00fameros?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#%C2%BFEstan-los-modelos-de-IA-mejor-calibrados-que-las-personas\" >\u00bfEst\u00e1n los modelos de IA mejor calibrados que las personas?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#Un-protocolo-de-entrenamiento-de-la-calibracion-marco-editorial-de-CEOtudent\" >Un protocolo de entrenamiento de la calibraci\u00f3n (marco editorial de CEOtudent)<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#La-jugada-del-CEO-pon-un-numero-y-un-rango-a-cada-pronostico-que-firmes\" >La jugada del CEO: pon un n\u00famero y un rango a cada pron\u00f3stico que firmes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#Lo-que-esto-no-significa\" >Lo que esto no significa<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-11\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#Preguntas-frecuentes\" >Preguntas frecuentes<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-12\" href=\"https:\/\/ceotudent.com\/es\/calibracion-confianza-juicios-cuan-seguro-deberias-estar-realmente\/#Fuentes\" >Fuentes<\/a><\/li><\/ul><\/nav><\/div>\n<h2 id=\"qu-significa-estar-bien-calibrado\"><span class=\"ez-toc-section\" id=\"%C2%BFQue-significa-estar-bien-calibrado\"><\/span>\u00bfQu\u00e9 significa estar bien calibrado?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Un pronosticador est\u00e1 calibrado cuando, en todas las ocasiones en que dice &ldquo;70 %&rdquo;, el suceso ocurre aproximadamente el 70 % de las veces. Para un rango, la prueba es la tasa de acierto: con qu\u00e9 frecuencia el intervalo declarado contiene el valor real. Como lo expresan McKenzie, Liersch y Yaniv, las personas bien calibradas ver\u00edan que el 90 % de sus intervalos del 90 % contienen el valor real.<\/p>\n<p>Bajo la expresi\u00f3n &ldquo;exceso de confianza&rdquo; se esconden tres errores:<\/p>\n<ul>\n<li><strong>Sobreprecisi\u00f3n:<\/strong> rangos demasiado estrechos. Haran, Moore y Morewedge la consideran el tipo de exceso de confianza m\u00e1s robusto.<\/li>\n<li><strong>Probabilidades con exceso de confianza:<\/strong> decir 90 % sobre afirmaciones que se cumplen el 70 % de las veces.<\/li>\n<li><strong>Falta de confianza:<\/strong> cubrirse m\u00e1s de lo que justifica la evidencia, algo que aparece m\u00e1s abajo en un estudio con analistas de inteligencia expertos.<\/li>\n<\/ul>\n<p>La calibraci\u00f3n no lo es todo: alguien que siempre declara la tasa base puede estar perfectamente calibrado y ser in\u00fatil. Esa segunda propiedad se llama resoluci\u00f3n o discriminaci\u00f3n; en el estudio de Bickel, Floehr y Kim sobre los pron\u00f3sticos meteorol\u00f3gicos de EE. UU., el t\u00e9rmino de resoluci\u00f3n era mucho mayor que la penalizaci\u00f3n de fiabilidad por la descalibraci\u00f3n.<\/p>\n<h2 id=\"cunto-se-separan-la-confianza-declarada-y-las-tasas-de-acierto-reales\"><span class=\"ez-toc-section\" id=\"%C2%BFCuanto-se-separan-la-confianza-declarada-y-las-tasas-de-acierto-reales\"><\/span>\u00bfCu\u00e1nto se separan la confianza declarada y las tasas de acierto reales?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Tabla 1. La brecha de calibraci\u00f3n (an\u00e1lisis de CEOtudent de siete estudios publicados)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Grupo y tarea<\/th>\n<th>Confianza declarada<\/th>\n<th>Tasa de acierto real<\/th>\n<th>Brecha (puntos)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Directores financieros de EE. UU., intervalos del 80 % para la rentabilidad del S&amp;P 500 a 1 a\u00f1o, todos los trimestres<\/td>\n<td>80 %<\/td>\n<td>36 %<\/td>\n<td>+44,0<\/td>\n<\/tr>\n<tr>\n<td>Mismos directores financieros, solo los trimestres menos vol\u00e1tiles<\/td>\n<td>80 %<\/td>\n<td>59 %<\/td>\n<td>+21,0<\/td>\n<\/tr>\n<tr>\n<td>Participantes en l\u00ednea, intervalos del 90 %, temperatura de Washington DC a un mes vista<\/td>\n<td>90 %<\/td>\n<td>29,17 %<\/td>\n<td>+60,8<\/td>\n<\/tr>\n<tr>\n<td>Participantes de laboratorio, intervalos del 90 %, a\u00f1os de elecci\u00f3n de presidentes de EE. UU.<\/td>\n<td>90 %<\/td>\n<td>54,34 %<\/td>\n<td>+35,7<\/td>\n<\/tr>\n<tr>\n<td>Residentes de Pittsburgh, intervalos del 90 %, temperatura local a un mes vista<\/td>\n<td>90 %<\/td>\n<td>73,79 %<\/td>\n<td>+16,2<\/td>\n<\/tr>\n<tr>\n<td>Mismos residentes, intervalos del 90 % construidos a partir de tramos de probabilidad (SPIES)<\/td>\n<td>90 %<\/td>\n<td>88,35 %<\/td>\n<td>+1,7<\/td>\n<\/tr>\n<tr>\n<td>Internistas, vi\u00f1etas diagn\u00f3sticas m\u00e1s f\u00e1ciles<\/td>\n<td>7,2 de 10 (le\u00eddo como 72 %)<\/td>\n<td>55,3 %<\/td>\n<td>+16,7<\/td>\n<\/tr>\n<tr>\n<td>Internistas, vi\u00f1etas diagn\u00f3sticas m\u00e1s dif\u00edciles<\/td>\n<td>6,4 de 10 (le\u00eddo como 64 %)<\/td>\n<td>5,8 %<\/td>\n<td>+58,2<\/td>\n<\/tr>\n<tr>\n<td>Pronosticadores del torneo geopol\u00edtico, todas las condiciones<\/td>\n<td>65,4 %<\/td>\n<td>63,3 %<\/td>\n<td>+2,1<\/td>\n<\/tr>\n<tr>\n<td>Mismo torneo, equipos con una hora de formaci\u00f3n<\/td>\n<td>64,3 %<\/td>\n<td>63,6 %<\/td>\n<td>+0,7<\/td>\n<\/tr>\n<tr>\n<td>Analistas canadienses de inteligencia estrat\u00e9gica, 1.514 pron\u00f3sticos<\/td>\n<td>\u00edndice con signo<\/td>\n<td>\u00edndice con signo<\/td>\n<td>-7,6<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, probabilidad de lluvia a 1 d\u00eda, temporada fr\u00eda, media<\/td>\n<td>20,1 %<\/td>\n<td>21,8 %<\/td>\n<td>-1,7<\/td>\n<\/tr>\n<tr>\n<td>The Weather Channel, d\u00edas en que pronostic\u00f3 un 70 % de probabilidad de lluvia<\/td>\n<td>70 %<\/td>\n<td>84 %<\/td>\n<td>-14,0<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 antes del posentrenamiento, subconjunto de un test de opci\u00f3n m\u00faltiple<\/td>\n<td>por tramos<\/td>\n<td>por tramos<\/td>\n<td>0,7 (sin signo)<\/td>\n<\/tr>\n<tr>\n<td>GPT-4 despu\u00e9s del posentrenamiento, mismo subconjunto<\/td>\n<td>por tramos<\/td>\n<td>por tramos<\/td>\n<td>7,4 (sin signo)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Fuentes: Ben-David, Graham y Harvey; Haran, Moore y Morewedge 2010; Meyer et al. 2013 (solo el resumen); Moore et al. 2016; Mandel y Barnes 2014; Bickel, Floehr y Kim 2011; GPT-4 Technical Report, figura 8. Brechas calculadas por CEOtudent en calc.py; un valor positivo significa exceso de confianza. Leer como porcentaje la escala de confianza de 0 a 10 de los internistas es un reescalado de CEOtudent. La fila de inteligencia es el \u00edndice de calibraci\u00f3n con signo de los autores (menos 0,076). Las filas de GPT-4 son el error de calibraci\u00f3n esperado, un promedio sin signo.<\/p>\n<p><strong>L\u00e9elo como una descripci\u00f3n, no como una clasificaci\u00f3n:<\/strong> los estudios difieren en tarea, muestra, periodo, dificultad y puntuaci\u00f3n. Destacan cuatro patrones.<\/p>\n<ol>\n<li><strong>Los rangos fallan mucho m\u00e1s que las probabilidades.<\/strong> Todas las filas de intervalos, salvo la de SPIES, muestran entre 16 y 61 puntos de exceso de confianza, mientras que las filas del torneo, de inteligencia y meteorol\u00f3gicas se sit\u00faan a menos de 8 puntos de cero, salvo un nivel de probabilidad de The Weather Channel. Soll y Klayman encontraron el mismo contraste en un solo estudio: elegir entre dos respuestas mostraba mucho menos exceso de confianza que los intervalos.<\/li>\n<li><strong>El formato consigue lo que la fuerza de voluntad no.<\/strong> Los mismos residentes de Pittsburgh pasaron de una brecha de 16,2 puntos a 1,7 puntos cuando se les pidi\u00f3 repartir la probabilidad entre tramos en lugar de nombrar dos extremos.<\/li>\n<li><strong>La dificultad mueve la precisi\u00f3n mucho m\u00e1s que la confianza.<\/strong> Los 118 m\u00e9dicos de Meyer y sus colegas diagnosticaron correctamente el 55,3 % de los casos m\u00e1s f\u00e1ciles y el 5,8 % de los m\u00e1s dif\u00edciles, pero su confianza solo pas\u00f3 de 7,2 a 6,4 sobre 10. La precisi\u00f3n cay\u00f3 49,5 puntos, alrededor de un 89,5 % en t\u00e9rminos relativos; la confianza cay\u00f3 alrededor de un 11,1 %.<\/li>\n<li><strong>Los entornos ricos en retroalimentaci\u00f3n acaban cerca de cero.<\/strong> Los meteor\u00f3logos conocen el resultado al d\u00eda siguiente; los pronosticadores del torneo ve\u00edan clasificaciones de Brier que se actualizaban a medida que se cerraban las preguntas.<\/li>\n<\/ol>\n<h2 id=\"por-qu-los-intervalos-de-confianza-son-mucho-peores-que-las-probabilidades-de-s-o-no\"><span class=\"ez-toc-section\" id=\"%C2%BFPor-que-los-intervalos-de-confianza-son-mucho-peores-que-las-probabilidades-de-si-o-no\"><\/span>\u00bfPor qu\u00e9 los intervalos de confianza son mucho peores que las probabilidades de s\u00ed o no?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>El diagn\u00f3stico de Soll y Klayman es que los intervalos subjetivos son sistem\u00e1ticamente demasiado estrechos para la precisi\u00f3n de la informaci\u00f3n en la que se basan, a veces solo un 40 % del tama\u00f1o necesario. Los datos de los directores financieros lo muestran en t\u00e9rminos de mercado: el intervalo medio de los CFO ten\u00eda una amplitud del 14,5 %, mientras que la diferencia entre los percentiles 10 y 90 de las rentabilidades reales del S&amp;P 500 a un a\u00f1o era del 42,2 %, unas 2,91 veces mayor. Solo el 3,4 % de los CFO dio un intervalo m\u00e1s amplio que el 42,2 %.<\/p>\n<p>El formato es una de las palancas m\u00e1s eficaces. La tabla 2 compara los intervalos convencionales del 90 % con las Subjective Probability Interval Estimates (SPIES, estimaciones subjetivas de intervalos de probabilidad): el rango de valores posibles se divide en tramos, cada tramo recibe una probabilidad y el rango del 90 % se lee despu\u00e9s.<\/p>\n<p><strong>Tabla 2. Tasas de acierto de los intervalos del 90 % seg\u00fan el m\u00e9todo de obtenci\u00f3n (cifras tal como se publicaron)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Experimento<\/th>\n<th>Participantes<\/th>\n<th>Cantidad estimada<\/th>\n<th>Tasa de acierto del intervalo del 90 %<\/th>\n<th>Tasa de acierto de SPIES al 90 %<\/th>\n<th>Ventaja de SPIES (puntos, c\u00e1lculo de CEOtudent)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>1<\/td>\n<td>103 residentes de Pittsburgh<\/td>\n<td>Temperatura m\u00e1xima de Pittsburgh a un mes vista<\/td>\n<td>73,79 %<\/td>\n<td>88,35 %<\/td>\n<td>14,56<\/td>\n<\/tr>\n<tr>\n<td>2<\/td>\n<td>116 participantes en l\u00ednea de EE. UU.<\/td>\n<td>Temperatura m\u00e1xima de Washington DC a un mes vista<\/td>\n<td>29,17 %<\/td>\n<td>73,91 %<\/td>\n<td>44,74<\/td>\n<\/tr>\n<tr>\n<td>3<\/td>\n<td>334 participantes de laboratorio de Pittsburgh<\/td>\n<td>A\u00f1o en que cada presidente de EE. UU. del siglo XX fue elegido por primera vez<\/td>\n<td>54,34 %<\/td>\n<td>76,91 %<\/td>\n<td>22,57<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Fuente: Haran, Moore y Morewedge, Judgment and Decision Making, 2010. En el experimento 1, los intervalos construidos a partir de los fractiles 5 y 95 acertaron el mismo 73,79 % que los convencionales, y quienes hicieron primero juicios SPIES trazaron despu\u00e9s tambi\u00e9n intervalos convencionales m\u00e1s amplios. Pedir los dos l\u00edmites por separado solo ayuda un poco (Haran y sus colegas describen el m\u00e9todo de fractiles de Soll y Klayman como una reducci\u00f3n modesta de la sobreprecisi\u00f3n); lo que ampl\u00eda los rangos es obligar a prestar atenci\u00f3n a todos los resultados posibles, incluidas las colas.<\/p>\n<p>La experiencia no lo arregla. McKenzie, Liersch y Yaniv hallaron que los profesionales de TI y los estudiantes ten\u00edan un exceso de confianza similar: los expertos centraban los intervalos m\u00e1s cerca de la verdad, pero los trazaban m\u00e1s estrechos, y los efectos se compensaban. Su resumen de la literatura: los intervalos del 90 % suelen contener el valor real alrededor del 50 % de las veces.<\/p>\n<p>\u00bfCu\u00e1nto m\u00e1s amplios? Bajo un supuesto ilustrativo de errores con distribuci\u00f3n normal, un intervalo del 90 % que acierta el 50 % de las veces tendr\u00eda que ser unas 2,44 veces m\u00e1s amplio, y los intervalos del 80 % de los CFO que aciertan el 36 %, unas 2,74 veces, cerca de la relaci\u00f3n de 2,91 citada antes. T\u00f3malo como una primera correcci\u00f3n, no como una ley.<\/p>\n<h2 id=\"cmo-es-una-buena-calibracin-en-la-prctica\"><span class=\"ez-toc-section\" id=\"%C2%BFComo-es-una-buena-calibracion-en-la-practica\"><\/span>\u00bfC\u00f3mo es una buena calibraci\u00f3n en la pr\u00e1ctica?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>Meteor\u00f3logos.<\/strong> Bickel, Floehr y Kim verificaron casi 13 millones de pron\u00f3sticos de probabilidad de lluvia en 734 estaciones entre el 1 de noviembre de 2008 y el 31 de octubre de 2010. Los pron\u00f3sticos a 1 d\u00eda del National Weather Service de 0,1 y 0,9 estaban bien calibrados, y los de 0,2 y 0,3, muy cerca. La pol\u00edtica importa: cuando The Weather Channel dec\u00eda 70 %, llov\u00eda el 84 % de las veces, y el canal evita el 50 % porque cree que los usuarios lo interpretar\u00e1n como falta de conocimiento.<\/p>\n<p><strong>Pronosticadores de torneo.<\/strong> Moore y sus colegas analizaron 494.552 pron\u00f3sticos sobre 344 preguntas de 2.860 pronosticadores a lo largo de tres a\u00f1os de un torneo patrocinado por IARPA, puntuados con la regla de Brier. Los autores escriben que una hora de formaci\u00f3n reduce a la mitad el exceso de confianza durante el a\u00f1o siguiente: los pronosticadores que trabajaban solos pasaron de 4,3 puntos de exceso de confianza sin formaci\u00f3n a 2,0 con ella, una reducci\u00f3n del 53,5 %, y los equipos formados llegaron a 0,7.<\/p>\n<p><strong>Analistas de inteligencia, en la direcci\u00f3n contraria.<\/strong> Mandel y Barnes puntuaron 1.514 pron\u00f3sticos estrat\u00e9gicos de 15 analistas de la divisi\u00f3n de Oriente Medio y \u00c1frica del Intelligence Assessment Secretariat de Canad\u00e1. La discriminaci\u00f3n era muy buena (el 94 % de los pron\u00f3sticos cay\u00f3 del lado correcto del 50 %), pero los analistas pecaban de falta de confianza, sobre todo en los pron\u00f3sticos m\u00e1s dif\u00edciles y de mayor relevancia pol\u00edtica. Hacer sus n\u00fameros m\u00e1s extremos redujo la desviaci\u00f3n absoluta media respecto a la calibraci\u00f3n perfecta del 12,7 % al 4,2 %, una disminuci\u00f3n del 66,9 %.<\/p>\n<p>El factor com\u00fan es un circuito de retroalimentaci\u00f3n puntuado, un tema que la gu\u00eda de CEOtudent sobre <a href=\"\/es\/desarrollar-buen-juicio-investigacion-intuicion-experta\">c\u00f3mo desarrollar buen juicio<\/a> explora en profundidad.<\/p>\n<h2 id=\"cmo-funciona-la-puntuacin-de-brier-y-qu-se-considera-bueno\"><span class=\"ez-toc-section\" id=\"%C2%BFComo-funciona-la-puntuacion-de-Brier-y-que-se-considera-bueno\"><\/span>\u00bfC\u00f3mo funciona la puntuaci\u00f3n de Brier y qu\u00e9 se considera bueno?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La puntuaci\u00f3n de Brier es la diferencia cuadr\u00e1tica media entre un pron\u00f3stico de probabilidad y el resultado, codificado como 1 si el suceso ocurri\u00f3 y 0 si no. Cuanto m\u00e1s baja, mejor: 0 es perfecto, y responder siempre 50 % a preguntas de s\u00ed o no da 0,25. Mandel y Barnes la denominan una regla de puntuaci\u00f3n propia, de modo que informar con honestidad es la mejor estrategia.<\/p>\n<p>La parte \u00fatil es la descomposici\u00f3n, que Mandel y Barnes aplican siguiendo la partici\u00f3n de Murphy de 1973: puntuaci\u00f3n de Brier = \u00edndice de varianza menos \u00edndice de discriminaci\u00f3n m\u00e1s \u00edndice de calibraci\u00f3n. La varianza refleja cu\u00e1n inciertas eran las preguntas; la discriminaci\u00f3n premia separar los sucesos de los no sucesos; la calibraci\u00f3n penaliza las diferencias entre las frecuencias declaradas y las observadas. Para los analistas canadienses, 0,240 menos 0,182 m\u00e1s 0,016 reproduce exactamente su puntuaci\u00f3n de Brier publicada de 0,074.<\/p>\n<p><strong>Tabla 3. Puntuaciones de Brier publicadas, solo como orientaci\u00f3n<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Conjunto de pron\u00f3sticos<\/th>\n<th>Puntuaci\u00f3n de Brier<\/th>\n<th>Fuente<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Inteligencia estrat\u00e9gica canadiense, 1.514 pron\u00f3sticos<\/td>\n<td>0,074<\/td>\n<td>Mandel y Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>Igual, a\u00f1adiendo a 0,5 los pron\u00f3sticos solo con palabras (&ldquo;could&rdquo;, &ldquo;might&rdquo;)<\/td>\n<td>0,097<\/td>\n<td>Mandel y Barnes 2014<\/td>\n<\/tr>\n<tr>\n<td>National Weather Service, probabilidad de lluvia a 1 d\u00eda, temporada fr\u00eda (error cuadr\u00e1tico medio)<\/td>\n<td>0,090<\/td>\n<td>Bickel, Floehr y Kim 2011, tabla 4<\/td>\n<\/tr>\n<tr>\n<td>Pronosticadores del torneo, \u00faltimo d\u00eda de cada pregunta<\/td>\n<td>0,10<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Meteor\u00f3logos, lluvia del d\u00eda siguiente (Murphy y Winkler 1977)<\/td>\n<td>0,13<\/td>\n<td>seg\u00fan Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Pronosticadores del torneo, \u00faltima semana de cada pregunta<\/td>\n<td>0,14<\/td>\n<td>Moore et al. 2016<\/td>\n<\/tr>\n<tr>\n<td>Responder siempre 50 % a una pregunta de s\u00ed o no<\/td>\n<td>0,25<\/td>\n<td>aritm\u00e9tica<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Mandel y Barnes se\u00f1alan que la puntuaci\u00f3n depende no solo de la habilidad del pronosticador, sino tambi\u00e9n de la incertidumbre del entorno de pron\u00f3stico, por lo que las puntuaciones no son comparables entre distintos conjuntos de preguntas. Comp\u00e1rate con tus propias puntuaciones pasadas en preguntas similares y con la puntuaci\u00f3n de declarar siempre la tasa base.<\/p>\n<p><strong>Tabla 4. Un ejemplo resuelto con diez afirmaciones (cada dato es un supuesto ilustrativo)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Tramo<\/th>\n<th>Afirmaciones<\/th>\n<th>Probabilidad declarada<\/th>\n<th>Se cumplieron<\/th>\n<th>Tasa de acierto<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Confianza alta<\/td>\n<td>5<\/td>\n<td>90 %<\/td>\n<td>4<\/td>\n<td>80 %<\/td>\n<\/tr>\n<tr>\n<td>Confianza moderada<\/td>\n<td>5<\/td>\n<td>60 %<\/td>\n<td>3<\/td>\n<td>60 %<\/td>\n<\/tr>\n<tr>\n<td><strong>Resultado<\/strong><\/td>\n<td>Brier 0,205<\/td>\n<td>Siempre 70 % (tasa base): 0,21<\/td>\n<td>Siempre 50 %: 0,25<\/td>\n<td>Calibraci\u00f3n 0,005, discriminaci\u00f3n 0,01, varianza 0,21<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Aritm\u00e9tica en calc.py. El tramo alto tiene 10 puntos de exceso de confianza, as\u00ed que la penalizaci\u00f3n de calibraci\u00f3n es peque\u00f1a; la debilidad real es la discriminaci\u00f3n, ya que 0,205 apenas supera el 0,21 que se obtiene diciendo 70 % sobre todo. Pasar las afirmaciones del 90 % al 80 % bajar\u00eda la puntuaci\u00f3n a 0,200. Lee dos n\u00fameros en cada ejercicio: el t\u00e9rmino de calibraci\u00f3n indica si debes ajustar la confianza, y la distancia hasta la puntuaci\u00f3n de la tasa base indica si los juicios aportan informaci\u00f3n.<\/p>\n<h2 id=\"por-qu-probable-e-improbable-fallan-como-nmeros\"><span class=\"ez-toc-section\" id=\"%C2%BFPor-que-%E2%80%9Cprobable%E2%80%9D-e-%E2%80%9Cimprobable%E2%80%9D-fallan-como-numeros\"><\/span>\u00bfPor qu\u00e9 &ldquo;probable&rdquo; e &ldquo;improbable&rdquo; fallan como n\u00fameros?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Sherman Kent, ampliamente considerado el padre del an\u00e1lisis de inteligencia moderno seg\u00fan Mandel y Barnes, dej\u00f3 constancia del momento en que el problema se hizo evidente. La Estimaci\u00f3n Nacional de Inteligencia (National Intelligence Estimate) 29-51 calific\u00f3 un ataque contra Yugoslavia en 1951 de &ldquo;posibilidad seria&rdquo; (&ldquo;serious possibility&rdquo;). Kent quer\u00eda decir unas probabilidades de alrededor de 65 a 35 a favor; los planificadores pol\u00edticos hab\u00edan entendido probabilidades mucho menores; y entre sus colegas de la Junta de Estimaciones Nacionales (Board of National Estimates), el que menos hab\u00eda querido decir unas 20 a 80 y el que m\u00e1s, 80 a 20. Su ensayo de 1964 propuso palabras con n\u00fameros asociados. Hoy existen escalas oficiales, pero no coinciden entre s\u00ed.<\/p>\n<p><strong>Tabla 5. La misma palabra, cuatro significados oficiales (an\u00e1lisis de CEOtudent de la ICD 203, la gu\u00eda del IPCC, la pr\u00e1ctica del NWS y Kent 1964)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Palabra (t\u00e9rmino de la ICD 203)<\/th>\n<th>Inteligencia de EE. UU., ICD 203<\/th>\n<th>IPCC AR5 y AR6 (t\u00e9rmino m\u00e1s cercano)<\/th>\n<th>Redacci\u00f3n del NWS (t\u00e9rmino m\u00e1s cercano)<\/th>\n<th>Kent 1964 (t\u00e9rmino m\u00e1s cercano)<\/th>\n<th>Diferencia de punto medio ICD vs. IPCC (puntos)<\/th>\n<th>Solapamiento ICD e IPCC (puntos)<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Probable (&ldquo;Likely&rdquo;)<\/td>\n<td>55-80 %<\/td>\n<td>66-100 %<\/td>\n<td>55-74 %<\/td>\n<td>Probable (&ldquo;Probable&rdquo;) 63-87 %<\/td>\n<td>15,5<\/td>\n<td>14<\/td>\n<\/tr>\n<tr>\n<td>Muy probable (&ldquo;Very likely&rdquo;)<\/td>\n<td>80-95 %<\/td>\n<td>90-100 %<\/td>\n<td>Categ\u00f3rico (&ldquo;Categorical&rdquo;) 75 % o m\u00e1s<\/td>\n<td>Casi seguro (&ldquo;Almost certain&rdquo;) 87-99 %<\/td>\n<td>7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<tr>\n<td>Probabilidades aproximadamente iguales (&ldquo;Roughly even chance&rdquo;)<\/td>\n<td>45-55 %<\/td>\n<td>Tan probable como improbable (&ldquo;About as likely as not&rdquo;) 33-66 %<\/td>\n<td>Posibilidad (&ldquo;Chance&rdquo;) 25-54 %<\/td>\n<td>Probabilidades m\u00e1s o menos parejas (&ldquo;Chances about even&rdquo;) 40-60 %<\/td>\n<td>-0,5<\/td>\n<td>10<\/td>\n<\/tr>\n<tr>\n<td>Improbable (&ldquo;Unlikely&rdquo;)<\/td>\n<td>20-45 %<\/td>\n<td>0-33 %<\/td>\n<td>sin t\u00e9rmino<\/td>\n<td>Probablemente no (&ldquo;Probably not&rdquo;) 20-40 %<\/td>\n<td>-16,0<\/td>\n<td>13<\/td>\n<\/tr>\n<tr>\n<td>Muy improbable (&ldquo;Very unlikely&rdquo;)<\/td>\n<td>5-20 %<\/td>\n<td>0-10 %<\/td>\n<td>sin t\u00e9rmino<\/td>\n<td>Casi con certeza no (&ldquo;Almost certainly not&rdquo;) 2-12 %<\/td>\n<td>-7,5<\/td>\n<td>5<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Fuentes: ODNI, ICD 203 (2015, con sus modificaciones); Mastrandrea et al., nota de orientaci\u00f3n del IPCC para el AR5 (2010), reafirmada como coherente con el AR5 en el Resumen para responsables de pol\u00edticas del AR6 (2021); revisi\u00f3n de la oficina del NWS en Salt Lake City sobre el invierno 2007-08; Kent, cuyos rangos son valores centrales m\u00e1s o menos su tolerancia declarada (75 %, con un margen de unos 12). Puntos medios, diferencias y solapamientos calculados en calc.py; una diferencia negativa significa que la lectura del IPCC es m\u00e1s baja.<\/p>\n<p>Las categor\u00edas de la ICD 203 no se solapan; las del IPCC est\u00e1n anidadas (&ldquo;muy probable&rdquo;, &ldquo;very likely&rdquo;, con 90-100 % tambi\u00e9n es &ldquo;probable&rdquo;, &ldquo;likely&rdquo;) y tienen lo que la nota de orientaci\u00f3n llama l\u00edmites &ldquo;difusos&rdquo; (&ldquo;fuzzy&rdquo;). En &ldquo;probable&rdquo; (&ldquo;likely&rdquo;), ambas comparten 14 puntos, alrededor del 56 % del rango de inteligencia y el 41 % del rango del IPCC. La clasificaci\u00f3n tradicional del NWS empieza en &ldquo;ligera posibilidad&rdquo; (&ldquo;slight chance&rdquo;, del 15 al 24 %) y no tiene ning\u00fan t\u00e9rmino por debajo.<\/p>\n<p><strong>Tabla 6. Prueba de traducci\u00f3n: la palabra que usar\u00eda cada sistema para la misma probabilidad (an\u00e1lisis de CEOtudent)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Probabilidad<\/th>\n<th>ICD 203<\/th>\n<th>IPCC<\/th>\n<th>NWS<\/th>\n<th>Kent 1964<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>18 %<\/td>\n<td>Muy improbable (&ldquo;Very unlikely&rdquo;)<\/td>\n<td>Improbable (&ldquo;Unlikely&rdquo;)<\/td>\n<td>Ligera posibilidad (&ldquo;Slight chance&rdquo;)<\/td>\n<td>Sin t\u00e9rmino (hueco entre sus categor\u00edas)<\/td>\n<\/tr>\n<tr>\n<td>38 %<\/td>\n<td>Improbable (&ldquo;Unlikely&rdquo;)<\/td>\n<td>Tan probable como improbable (&ldquo;About as likely as not&rdquo;)<\/td>\n<td>Posibilidad (&ldquo;Chance&rdquo;)<\/td>\n<td>Probablemente no (&ldquo;Probably not&rdquo;)<\/td>\n<\/tr>\n<tr>\n<td>70 %<\/td>\n<td>Probable (&ldquo;Likely&rdquo;)<\/td>\n<td>Probable (&ldquo;Likely&rdquo;)<\/td>\n<td>Probable (&ldquo;Likely&rdquo;)<\/td>\n<td>Probable (&ldquo;Probable&rdquo;)<\/td>\n<\/tr>\n<tr>\n<td>85 %<\/td>\n<td>Muy probable (&ldquo;Very likely&rdquo;)<\/td>\n<td>Probable (&ldquo;Likely&rdquo;)<\/td>\n<td>Categ\u00f3rico (&ldquo;Categorical&rdquo;)<\/td>\n<td>Probable (&ldquo;Probable&rdquo;)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Solo en el 70 % coinciden los cuatro. Los lectores no corrigen la brecha: Budescu, Broomell y Por encontraron que las lecturas num\u00e9ricas que la gente hac\u00eda de los t\u00e9rminos del IPCC se desviaban significativamente de las directrices incluso cuando los lectores ten\u00edan las directrices a mano (solo el resumen). En los datos de Mandel y Barnes, alrededor del 16 % de los pron\u00f3sticos no llevaba ning\u00fan n\u00famero, solo palabras como &ldquo;could&rdquo; (&ldquo;podr\u00eda&rdquo;) o &ldquo;might&rdquo; (&ldquo;quiz\u00e1&rdquo;). La soluci\u00f3n es barata: escribe el n\u00famero junto a la palabra, siempre. &ldquo;Probable (70 %)&rdquo; sobrevive a que lo reenv\u00eden a alguien que aprendi\u00f3 otra escala.<\/p>\n<h2 id=\"estn-los-modelos-de-ia-mejor-calibrados-que-las-personas\"><span class=\"ez-toc-section\" id=\"%C2%BFEstan-los-modelos-de-IA-mejor-calibrados-que-las-personas\"><\/span>\u00bfEst\u00e1n los modelos de IA mejor calibrados que las personas?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Depende de su entrenamiento. Kadavath y sus colegas encontraron que los modelos de lenguaje m\u00e1s grandes estaban bien calibrados en preguntas variadas de opci\u00f3n m\u00faltiple y de verdadero\/falso cuando se planteaban en el formato adecuado, y que los modelos ajustados con retroalimentaci\u00f3n humana parec\u00edan descalibrados, pero quedaban bastante bien calibrados tras un simple ajuste de temperatura. El GPT-4 Technical Report muestra el coste del posentrenamiento: en un subconjunto del conjunto de datos MMLU, el error de calibraci\u00f3n esperado subi\u00f3 de 0,007 en el modelo preentrenado a 0,074 tras el posentrenamiento, unas 10,6 veces m\u00e1s.<\/p>\n<p>Steyvers y sus colegas a\u00f1aden otra brecha, entre la confianza humana en las respuestas de los modelos y la propia confianza de los modelos, que tratan las gu\u00edas de CEOtudent sobre <a href=\"\/es\/senales-de-alerta-malas-respuestas-ia-12-patrones-que-indican-que-el-modelo-se-equivoca\">se\u00f1ales de alerta en las respuestas de la IA<\/a> y <a href=\"\/es\/calibracion-de-la-confianza-cuando-fiarse-de-las-recomendaciones-ia\">calibraci\u00f3n de la confianza en la IA<\/a>. Una confianza declarada, venga de un colega o de un modelo, es una afirmaci\u00f3n que hay que puntuar.<\/p>\n<h2 id=\"un-protocolo-de-entrenamiento-de-la-calibracin-marco-editorial-de-ceotudent\"><span class=\"ez-toc-section\" id=\"Un-protocolo-de-entrenamiento-de-la-calibracion-marco-editorial-de-CEOtudent\"><\/span>Un protocolo de entrenamiento de la calibraci\u00f3n (marco editorial de CEOtudent)<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>La revisi\u00f3n trimestral de las bandas de confianza ya forma parte del <a href=\"\/es\/diario-de-decisiones-plantilla-y-protocolo-para-mejorar-tu-juicio\">protocolo del diario de decisiones<\/a> de CEOtudent; estos cuatro ejercicios lo alimentan.<\/p>\n<p><strong>Ejercicio 1. Ejercicio de intervalos del 90 % con diez preguntas (semanal, 15 minutos).<\/strong> Elige diez cantidades de tu campo que puedas comprobar m\u00e1s adelante (la tasa de abandono de clientes del \u00faltimo trimestre, la plantilla de un competidor). Para cada una, divide el rango plausible en entre cinco y diez tramos, asigna a cada tramo una probabilidad de modo que el total sea 100, incluidas las colas, y luego lee el rango m\u00e1s estrecho que contenga el 90 %. Cuenta los aciertos.<\/p>\n<p><strong>Ejercicio 2. Ejercicio de Brier con veinte afirmaciones (mensual).<\/strong> Escribe 20 afirmaciones de s\u00ed o no que se resuelvan en un plazo de 30 a 90 d\u00edas y asigna a cada una una probabilidad del 55, 65, 75, 85 o 95 %. Cuando se resuelvan, calcula tu puntuaci\u00f3n de Brier, la puntuaci\u00f3n de usar siempre la tasa base y la tasa de acierto de cada banda.<\/p>\n<p><strong>Ejercicio 3. Comprobaci\u00f3n de la apuesta equivalente (antes de firmar cualquier afirmaci\u00f3n del 90 %).<\/strong> \u00bfPreferir\u00edas ganar un premio si la afirmaci\u00f3n es verdadera, o sacando un boleto de una caja con nueve boletos ganadores y uno perdedor? Si prefieres la caja, tu confianza est\u00e1 por debajo del 90 %; baja el n\u00famero o ampl\u00eda el rango. Es una comprobaci\u00f3n intuitiva de CEOtudent, no un m\u00e9todo validado por la investigaci\u00f3n.<\/p>\n<p><strong>Ejercicio 4. Comprobaci\u00f3n de palabras a n\u00fameros (en cada memorando).<\/strong> Rodea con un c\u00edrculo cada palabra de probabilidad, escribe un n\u00famero al lado e imprime la escala del equipo en la parte superior del documento.<\/p>\n<p><strong>Tabla 7. Hoja de autoevaluaci\u00f3n (marco editorial de CEOtudent)<\/strong><\/p>\n<table>\n<thead>\n<tr>\n<th>Medida<\/th>\n<th>C\u00f3mo puntuar<\/th>\n<th>Coherente con la calibraci\u00f3n<\/th>\n<th>Se\u00f1al de alarma<\/th>\n<th>Primera correcci\u00f3n<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Tasa de acierto de intervalos del 90 % (ejercicio 1)<\/td>\n<td>Aciertos sobre 10<\/td>\n<td>9 o 10<\/td>\n<td>7 o menos<\/td>\n<td>Ampliar los rangos unas 2 veces; dar m\u00e1s peso a los tramos de las colas<\/td>\n<\/tr>\n<tr>\n<td>Puntuaci\u00f3n de Brier (ejercicio 2)<\/td>\n<td>Error cuadr\u00e1tico medio, 20 afirmaciones<\/td>\n<td>Por debajo de la puntuaci\u00f3n de usar siempre la tasa base<\/td>\n<td>Por encima de 0,25<\/td>\n<td>Menos probabilidades extremas<\/td>\n<\/tr>\n<tr>\n<td>Tasa de acierto por banda (ejercicio 2)<\/td>\n<td>Proporci\u00f3n de verdaderas en las bandas del 85-95 %<\/td>\n<td>Cercana a la banda<\/td>\n<td>Muy por debajo durante dos meses seguidos<\/td>\n<td>Bajar esas afirmaciones una banda<\/td>\n<\/tr>\n<tr>\n<td>Fallos de la apuesta equivalente (ejercicio 3)<\/td>\n<td>Afirmaciones del 90 % en las que gan\u00f3 la caja<\/td>\n<td>Ninguno<\/td>\n<td>Alguno<\/td>\n<td>Reescribir la afirmaci\u00f3n o el n\u00famero<\/td>\n<\/tr>\n<tr>\n<td>Palabras sin n\u00fameros (ejercicio 4)<\/td>\n<td>Recuento por memorando<\/td>\n<td>Cero<\/td>\n<td>Alguna<\/td>\n<td>A\u00f1adir el n\u00famero<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>\u00bfPor qu\u00e9 esos umbrales en el ejercicio 1? Alguien realmente calibrado al 90 % obtiene 8 o menos alrededor del 26,4 % de las veces, 7 o menos alrededor del 7,0 % y 6 o menos alrededor del 1,3 % (aritm\u00e9tica binomial en calc.py). Un 8 aislado dice poco; varios 7 seguidos dicen mucho. Con una tasa de acierto del 60 %, el supuesto de errores normales sugiere ampliar los rangos unas 1,95 veces.<\/p>\n<h2 id=\"la-jugada-del-ceo-pon-un-nmero-y-un-rango-a-cada-pronstico-que-firmes\"><span class=\"ez-toc-section\" id=\"La-jugada-del-CEO-pon-un-numero-y-un-rango-a-cada-pronostico-que-firmes\"><\/span>La jugada del CEO: pon un n\u00famero y un rango a cada pron\u00f3stico que firmes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p>Ben-David, Graham y Harvey encontraron algo m\u00e1s que un error de pron\u00f3stico. Los directivos descalibrados respecto al mercado mostraban una descalibraci\u00f3n similar respecto a las perspectivas de sus propias empresas, y las empresas con directivos descalibrados parec\u00edan seguir pol\u00edticas m\u00e1s agresivas, invirtiendo m\u00e1s y recurriendo m\u00e1s a la financiaci\u00f3n con deuda. Esa asociaci\u00f3n no demuestra causalidad, pero convierte la sobreprecisi\u00f3n en un riesgo empresarial y no en una rareza de encuesta.<\/p>\n<p>Un registro de pron\u00f3sticos hace concreto el h\u00e1bito: para cada pron\u00f3stico que impulse una decisi\u00f3n, anota la afirmaci\u00f3n, la fecha de resoluci\u00f3n, la probabilidad o el rango del 90 %, las palabras usadas en el memorando, el responsable y, m\u00e1s adelante, el resultado y su contribuci\u00f3n a la puntuaci\u00f3n de Brier. Cada trimestre, calcula las tasas de acierto y las puntuaciones de Brier por persona y por tema. Haz un <a href=\"\/es\/protocolo-pre-mortem-matar-los-malos-planes-antes-de-que-fracasen\">pre-mortem<\/a> de cualquier plan cuyo pron\u00f3stico clave se sit\u00fae en una banda en la que el registro muestra exceso de confianza. El <a href=\"\/es\/boletin-de-pronosticos-que-precision-tuvo-una-decada-de-predicciones-expertas-sobre-ia-2016-2026\">bolet\u00edn de pron\u00f3sticos<\/a> de CEOtudent aplica la misma puntuaci\u00f3n a una d\u00e9cada de predicciones de expertos y de IA. El lado del estudiante es el mismo registro le\u00eddo como un plan de estudios: cada fallo muestra d\u00f3nde pecas de sobreprecisi\u00f3n.<\/p>\n<h2 id=\"lo-que-esto-no-significa\"><span class=\"ez-toc-section\" id=\"Lo-que-esto-no-significa\"><\/span>Lo que esto no significa<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ul>\n<li><strong>La confianza no es mala.<\/strong> El objetivo es que coincida, no reducirla; los analistas canadienses infravaloraron lo que sab\u00edan por ser demasiado prudentes.<\/li>\n<li><strong>La tabla de brechas no clasifica profesiones.<\/strong> Una previsi\u00f3n de mercado a un a\u00f1o vista y un pron\u00f3stico de lluvia para el d\u00eda siguiente son tareas distintas.<\/li>\n<li><strong>Una puntuaci\u00f3n de Brier baja no demuestra habilidad.<\/strong> Las preguntas f\u00e1ciles producen puntuaciones bajas; compara con una referencia en las mismas preguntas.<\/li>\n<li><strong>Los resultados de laboratorio pueden no trasladarse por completo.<\/strong> Las mejoras de SPIES proceden de cuestionarios de temperatura y de historia, no de pron\u00f3sticos empresariales.<\/li>\n<li><strong>Este art\u00edculo es informaci\u00f3n general sobre la investigaci\u00f3n acerca del juicio; no es asesoramiento m\u00e9dico, de inversi\u00f3n ni financiero.<\/strong><\/li>\n<\/ul>\n<h2 id=\"preguntas-frecuentes\"><span class=\"ez-toc-section\" id=\"Preguntas-frecuentes\"><\/span>Preguntas frecuentes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p><strong>\u00bfQu\u00e9 es la calibraci\u00f3n de la confianza en t\u00e9rminos sencillos?<\/strong><br \/>\nLa correspondencia entre lo seguro que dices estar y la frecuencia con la que aciertas. No es precisi\u00f3n: un pronosticador puede estar calibrado y aun as\u00ed no aportar informaci\u00f3n, y por eso la descomposici\u00f3n de Brier separa ambas cosas.<\/p>\n<p><strong>\u00bfPor qu\u00e9 fallan tan a menudo los rangos del 90 %?<\/strong><br \/>\nSe trazan demasiado estrechos: a veces solo un 40 % del tama\u00f1o necesario, seg\u00fan Soll y Klayman, y normalmente contienen el valor real alrededor de la mitad de las veces, seg\u00fan la literatura que resumen McKenzie y sus colegas.<\/p>\n<p><strong>\u00bfQu\u00e9 es una buena puntuaci\u00f3n de Brier?<\/strong><br \/>\nNo hay un umbral universal. Un pronosticador \u00fatil supera el 0,25 (responder siempre 50 %) y la puntuaci\u00f3n de usar siempre la tasa base en las mismas preguntas.<\/p>\n<p><strong>\u00bfSe puede entrenar la calibraci\u00f3n?<\/strong><br \/>\nS\u00ed, con retroalimentaci\u00f3n. Una hora de formaci\u00f3n redujo aproximadamente a la mitad el exceso de confianza de los pronosticadores del torneo, y los tramos de probabilidad elevaron las tasas de acierto de los intervalos en el laboratorio.<\/p>\n<p><strong>\u00bfHay que fiarse de las puntuaciones de confianza de la IA?<\/strong><br \/>\nPunt\u00faalas como cualquier otra confianza declarada. El informe de GPT-4 muestra que el posentrenamiento elev\u00f3 el error de calibraci\u00f3n de 0,007 a 0,074 en su subconjunto de prueba.<\/p>\n<h2 id=\"fuentes\"><span class=\"ez-toc-section\" id=\"Fuentes\"><\/span>Fuentes<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<ol>\n<li>Ben-David, Itzhak, John R. Graham y Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, julio de 2010, revisado en septiembre de 2013; publicado en el Quarterly Journal of Economics 128(4), 2013.<\/li>\n<li>Moore, D. A. et al. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.<\/li>\n<li>Haran, U., Moore, D. A. y Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.<\/li>\n<li>Soll, J. B. y Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (solo el resumen).<\/li>\n<li>McKenzie, Craig R. M., Michael J. Liersch e Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.<\/li>\n<li>Meyer, A. N. D. et al. Physicians&rsquo; diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (solo el resumen).<\/li>\n<li>Mandel, D. R. y Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.<\/li>\n<li>Bickel, J. E., Floehr, E. y Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.<\/li>\n<li>Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, oficina de Salt Lake City.<\/li>\n<li>Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, firmada el 2 de enero de 2015, con modificaciones t\u00e9cnicas posteriores.<\/li>\n<li>Mastrandrea, M. D. et al. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.<\/li>\n<li>IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sexto Informe de Evaluaci\u00f3n, 2021.<\/li>\n<li>Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964; desclasificado para su difusi\u00f3n en 1993.<\/li>\n<li>Budescu, D. V., Broomell, S. y Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (solo el resumen).<\/li>\n<li>Kadavath, S. et al. Language Models (Mostly) Know What They Know. Preprint de arXiv 2207.05221, 2022.<\/li>\n<li>OpenAI. GPT-4 Technical Report. Preprint de arXiv 2303.08774, versi\u00f3n 6, 2024.<\/li>\n<li>Steyvers, M. et al. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.<\/li>\n<\/ol>\n<p><em>Las tablas 1, 5, 6 y 7 son an\u00e1lisis o marcos editoriales de CEOtudent; la tabla 4 es un ejemplo ilustrativo basado en supuestos; las tablas 2 y 3 recogen las cifras tal como se publicaron. El resumen de Moore y sus colegas da un exceso de confianza de alrededor del 3 %; el art\u00edculo utiliza la cifra de 2,1 puntos de sus resultados, que coincide con el 65,4 y el 63,3 %. Deliberadamente no se han utilizado: las variantes del 36,3 y el 36,6 % del art\u00edculo sobre los CFO (se usa el 36 % de su resumen), el art\u00edculo meteorol\u00f3gico de Murphy y Winkler y el art\u00edculo de Brier de 1950 (no consultados; citados a trav\u00e9s de Moore y sus colegas, Mandel y Barnes, y Bickel y sus colegas), y las tablas de Brier de entrenamiento que ya figuran en el art\u00edculo de CEOtudent sobre el diario de decisiones.<\/em><\/p>\n<hr>\n<p><em>Este contenido fue recopilado con el apoyo de la IA tras una investigaci\u00f3n exhaustiva, y luego redactado y preparado para su publicaci\u00f3n por el equipo editorial de CEOtudent.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Los directores financieros de EE. UU. dieron intervalos de confianza del 80 % para la rentabilidad del S&#038;P 500 del a\u00f1o siguiente que solo contuvieron la rentabilidad real el 36 % de las veces, mientras que los pronosticadores de un torneo puntuados con retroalimentaci\u00f3n de Brier ten\u00edan un 65,4 % de confianza y acertaban el 63,3 %. Esta gu\u00eda re\u00fane diez grupos de siete estudios en una sola tabla de brecha de calibraci\u00f3n, muestra que &#8216;probable&#8217; (&#8216;likely&#8217;) significa 55-80 % en la inteligencia de EE. UU. pero 66-100 % en el IPCC, y ofrece un protocolo de cuatro ejercicios para auditar tu propia confianza.<\/p>\n","protected":false},"author":1,"featured_media":326701,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[4599,18],"tags":[],"class_list":["post-326700","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gelisim","category-strateji"],"_links":{"self":[{"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/posts\/326700","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/comments?post=326700"}],"version-history":[{"count":0,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/posts\/326700\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/media\/326701"}],"wp:attachment":[{"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/media?parent=326700"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/categories?post=326700"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ceotudent.com\/es\/wp-json\/wp\/v2\/tags?post=326700"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}