ML en Producción para Riesgo: Monitoreo, Drift y Reentrenamiento

Todo lo que hemos visto en esta ruta hasta ahora ocurre antes del deployment. Este módulo trata de la vida más larga y menos glamorosa que empieza después: un modelo de riesgo en producción, calificando solicitantes reales, mientras el mundo que generó sus datos de entrenamiento deja de existir calladamente. El hecho central del ML en producción en crédito es brutal y simple — vas a saber que los insumos cambiaron mucho antes de saber que las salidas están mal — y un stack de monitoreo es la forma de actuar sobre la señal temprana en lugar de esperar la señal cara.

Cómo mueren los modelos

Tres modos de decaimiento distintos, que vale la pena separar porque exigen respuestas diferentes:

• Drift de covariables — la población cambia; la relación no. Un empujón de marketing trae solicitantes más jóvenes; un competidor se sale y sus rechazados inundan tu embudo; un canal nuevo sesga hacia expedientes delgados. El modelo puede seguir siendo correcto para cada solicitante mientras su comportamiento a nivel portafolio (tasas de aprobación, mezcla de scores, calibración a nivel libro) se desplaza.
• Drift de concepto — la relación misma cambia. Los programas de diferimiento de pagos hacen que “pago omitido” signifique algo nuevo; un choque de tasas cambia lo que implica una utilización del 60%; los productos fintech para construir historial alteran lo que vale una historia de dos años. Mismos insumos, resultados distintos: el modelo ahora está mal por solicitante, y ninguna reponderación lo arregla.
• Drift de etiquetas y de pipeline — los asesinos aburridos. El buró cambia la definición de un campo; un sistema aguas arriba empieza a escribir nulos; el equipo de políticas enmienda la definición de “malo” y no te avisa. En las autopsias de fallas de modelos en producción, la plomería le gana a las matemáticas con una regularidad vergonzosa.

PSI: la métrica caballo de batalla para alerta temprana

El detector de drift estándar del crédito es el Population Stability Index. Congela la distribución de scores del desarrollo, pártela en deciles, y compara contra ella a la población de hoy:

La misma construcción que el Information Value del Módulo 2 — es el IV, con otro propósito: en lugar de separar buenos de malos, separa el entonces del ahora. Las convenciones: debajo de 0.10 estable, 0.10–0.25 vigilar de cerca, arriba de 0.25 investigar antes de confiar en el modelo. Siente qué lo mueve:

Tres experimentos. Un puro corrimiento de la media de 0.3σ — apenas visible en las barras — ya empuja el PSI hacia la zona de advertencia; la métrica es sensible por diseño, porque los corrimientos promedio pequeños suelen esconder corrimientos de segmento más grandes. Solo con ampliar la dispersión también se dispara — mismo solicitante promedio, mezcla diferente. Y el tercer slider es el escenario realista: un segmento nuevo entrando por el extremo riesgoso. Fíjate cómo una entrada modesta activa la alarma y la lectura del peor bin apunta exactamente a dónde mirar — el valor real del PSI no es el número, es la descomposición por bin diciéndote qué parte de la población es nueva.

Corre la misma estadística por feature (CSI, estabilidad de características) y obtienes triage: el PSI del score dice si algo cambió; los CSI a nivel feature dicen qué. Score estable pero tres features con drift = cambios que se compensan y que de todos modos vale la pena entender. Score con drift con todos los features estables = revisa el pipeline, alguien cambió un mapeo.

El stack de monitoreo, por latencia

La restricción que define el monitoreo de crédito es el rezago de resultados: las aprobaciones de hoy se ganan sus etiquetas a 12 meses dentro de un año (la ventana de desempeño del Módulo 5, ahora trabajando en tu contra). Así que el stack se organiza según qué tan rápido está disponible cada señal:

Dos filas merecen comentario. Las tasas de override — qué tan seguido los humanos revierten al modelo — son un detector de drift subestimado: cuando los analistas de crédito notan colectivamente algo que el modelo no puede ver, aparece aquí primero, y una tasa de overrides al alza es tu equipo levantando un reporte de bug a través de su comportamiento. Y la morosidad temprana es el punto medio entre esperar etiquetas reales y volar a ciegas: 30 días de atraso a los tres meses en libros correlaciona lo suficientemente fuerte con el incumplimiento eventual como para servir de indicador adelantado de falla del modelo — síguela por cosecha contra cohortes anteriores a la misma edad (las curvas de cosecha del Módulo 5, corriendo en vivo).

Reentrenamiento: política, no pánico

El instinto ingenuo — “drift detectado, reentrena ya” — falla en crédito por una razón específica: solo puedes reentrenar con datos etiquetados, y las etiquetas se rezagan por la ventana de desempeño. Reentrenar “con los datos más recientes” significa entrenar con créditos colocados hace 12–24 meses — muchas veces más lejos del régimen de hoy que la muestra de tu modelo actual. Reentrenar durante un episodio de drift puede empeorar el modelo.

Una política de reentrenamiento sensata tiene tres partes:

1. Cadencia + disparadores. Un redesarrollo anual programado (lo que el validador espera de todos modos) más disparadores definidos: PSI del score sostenido por encima del umbral, calibración a la deriva más allá de la tolerancia en cosechas maduras, decaimiento del Gini más allá de su banda histórica de ruido. Los disparadores motivan investigación — reentrenar es un desenlace posible, no el reflejo. Si el drift es un bug del pipeline, reentrenar lava el bug y lo mete al modelo.
2. Recalibración antes que redesarrollo. La mayor parte del decaimiento aparece como drift de calibración (la distinción del Módulo 4 ganándose el sueldo): el ordenamiento aguanta mientras los niveles de PD se mueven con el ciclo. Una recalibración — reajustar el mapeo de score a PD con resultados recientes ya maduros — es barata, de bajo riesgo, y muchas veces te compra un año. El redesarrollo completo es para cuando el ordenamiento se degrada o el conjunto de features mismo ya caducó.
3. Primero en sombra. Un retador reentrenado califica todo en paralelo, en silencio, durante meses antes de la promoción — la disciplina campeón/retador del Módulo 2 de crédito es precisamente un mecanismo de seguridad de producción. Compara estabilidad, calibración en resultados tempranos, y los cambios de decisión (cuáles solicitantes cambian de lado, no solo cuántos) antes de cualquier cambio de estafeta.

Gobernanza: el monitoreo es un requisito de riesgo de modelo

Nada de esto es opcional en un banco. SR 11-7 hace del monitoreo continuo uno de los tres pilares de la gestión de riesgo de modelos — con métricas documentadas, umbrales acordados antes del deployment, rutas de escalamiento, y evidencia de que el proceso corre. La traducción práctica: un plan de monitoreo escrito en tiempo de desarrollo (qué métricas, con qué frecuencia, qué umbrales, a quién se le avisa, qué pasa ante una violación), un paquete mensual que un validador pueda auditar, y violaciones de umbral que disparen investigaciones documentadas en lugar de ediciones silenciosas del umbral. La disciplina de alertas importa tanto como la cobertura de alertas — un sistema de monitoreo que grita “¡lobo!” cada semana entrena al equipo a ignorarlo, lo cual es peor que no tener sistema, porque parece control.

Dónde se conecta

• El PSI es el IV del Módulo 2 apuntado al tiempo en lugar del incumplimiento; los regímenes que hacen el drift son el Módulo 3.
• Las métricas que se rastrean — Gini, calibración — son el Módulo 4; la maquinaria de cosechas es el Módulo 5.
• El envoltorio de gobernanza es la disciplina SR 11-7 del Módulo 12 de crédito; las PD monitoreadas alimentan IFRS 9 y el capital IRB, y por eso el drift de calibración es un problema del CFO, no solo de data science.

Pruébalo tú mismo

El notebook de abajo construye un sistema de monitoreo de punta a punta sobre una corrida de producción simulada de dos años: PSI/CSI desde cero con descomposición por deciles, un inyector de drift (corrimiento de media, segmento nuevo, bug de nulos en el pipeline) para ver cada firma, Gini y calibración rastreados en cosechas que van madurando con el rezago de resultados hecho explícito, una simulación de tasa de overrides, y la trampa del reentrenamiento — un modelo reentrenado a media deriva con etiquetas rezagadas que rinde peor que el original y que una simple recalibración. El ejercicio de cierre: escribe el plan de monitoreo (métricas, umbrales, cadencia, escalamiento) para el modelo que construiste en el notebook del Módulo 2, como si lo fuera a leer un validador. Porque lo va a leer.

Recibe los nuevos posts por correo

Un correo por cada artículo nuevo. Sin spam, sin ventas, cancela cuando quieras.