Machine learning aplicado

Para qué sirve

Los proyectos de mantenimiento predictivo con machine learning suelen fracasar por razones ajenas al algoritmo: datos de prueba contaminados, métricas que no reflejan la decisión, umbrales elegidos sin costos y etiquetas mal registradas en el CMMS. Este módulo arma el caso completo con datos sintéticos, en los que se conoce el estado real de cada equipo, para medir cada uno de esos efectos por separado.

La pregunta que responde el modelo es concreta: con lo que se midió hoy en un equipo, ¿qué probabilidad hay de que falle en los próximos 30 días y conviene intervenir?

Cómo usarlo

Definir el historial sintético: cantidad de observaciones (una por equipo y por mes), proporción de observaciones seguidas de una falla, intensidad de los síntomas previos a la falla, proporción de etiquetas erróneas y semilla.
Elegir las variables que entran al modelo. Quitar una muestra cuánto aporta esa medición.
Cargar el costo de intervenir un equipo señalado y el de una falla no anticipada.
Cargar las mediciones de un equipo para obtener su probabilidad de falla y la recomendación.

El 70 % de las observaciones se usa para entrenar y el 30 % restante, que el modelo no ve, para evaluar.

Datos sintéticos

Cada observación es un equipo en un mes. Los equipos que van a fallar en los 30 días siguientes desplazan sus mediciones según la intensidad de los síntomas $s$ : 1 alta, 0,65 media y 0,4 baja.

Variable	Equipo sin falla próxima	Antes de la falla
Vibración (mm/s RMS)	Lognormal, mediana 2,2, desvío 0,38 en logaritmo	Mediana × $e^{0{,}55\,s}$
Sobretemperatura del rodamiento (°C)	Normal, media 24, desvío 6	Media + 7 $s$
Hierro en aceite (ppm)	Lognormal, mediana 11, desvío 0,55 en logaritmo	Mediana × $e^{0{,}75\,s}$
Horas desde el último overhaul	Normal, media 16 000, desvío 9000, entre 0 y 60 000	Media + 9000 $s$
Carga (% de la nominal)	Normal, media 78, desvío 12, entre 40 y 110	Media + 3 $s$

La carga es, a propósito, una variable casi sin información. Con una proporción $\rho$ de etiquetas erróneas, cada etiqueta del historial se invierte con probabilidad $\rho$ , sin relación con las mediciones: fallas que no se registraron y órdenes registradas como falla sin serlo. El estado real se guarda aparte y solo se usa para mostrar lo que el historial esconde.

Modelo

La regresión logística estima la probabilidad de falla a partir de las variables estandarizadas $\mathbf{z}$ , con la vibración y el hierro en logaritmo:

p(\mathbf{z}) = \frac{1}{1 + e^{-(b_0 + \mathbf{w}^{\top}\mathbf{z})}}

Los coeficientes $\boldsymbol\theta = (b_0, \mathbf{w})$ se obtienen por máxima verosimilitud con el método de Newton, conocido en este caso como mínimos cuadrados reponderados iterativos (IRLS), con una penalización leve $\lambda = 10^{-4}$ que no afecta al intercepto:

\boldsymbol\theta \leftarrow \boldsymbol\theta - \left(\mathbf{Z}^{\top}\mathbf{W}\mathbf{Z} + \lambda n\,\mathbf{I}\right)^{-1}\mathbf{Z}^{\top}(\mathbf{p} - \mathbf{y}) \qquad \mathbf{W} = \operatorname{diag}\big(p_i\,(1-p_i)\big)

Converge en menos de diez iteraciones. Como el intercepto no se penaliza, la suma de las probabilidades estimadas en el entrenamiento es igual a la cantidad de fallas registradas: el modelo queda calibrado respecto del historial con el que aprendió.

El desempeño se mide en el conjunto de prueba con tres herramientas que responden preguntas distintas:

AUC: probabilidad de que un equipo que falló reciba una probabilidad mayor que uno que no falló. Mide el orden, no la calibración: 0,5 es azar y 1, separación perfecta.
Puntaje de Brier: $\frac{1}{N}\sum_i (\hat p_i - y_i)^2$ . Penaliza a la vez el orden y la calibración. Se compara con el de un pronóstico constante igual a la proporción de fallas, $\pi(1-\pi)$ .
Calibración por deciles: probabilidad media pronosticada frente a frecuencia observada en cada décimo de los equipos ordenados por riesgo.

La decisión sale de los costos. Intervenir cuesta $c_I$ y evita la falla; no intervenir cuesta $c_F$ con probabilidad $p$ . Conviene intervenir si $p\,c_F \ge c_I$ , es decir, si $p$ supera $c_I/c_F$ . El costo de una política con umbral $u$ en el conjunto de prueba es:

C(u) = (VP + FP)\,c_I + FN\,c_F

con $VP$ , $FP$ y $FN$ los verdaderos positivos, falsos positivos y falsos negativos con ese umbral.

El techo de desempeño no lo fija el algoritmo. Para dos clases normales con igual covarianza, que es el caso del generador en las variables transformadas, ningún clasificador supera en promedio:

\text{AUC}_{\max} = \Phi\!\left(\frac{\Delta}{\sqrt 2}\right) \qquad \Delta^2 = \sum_j \left(\frac{\delta_j}{\sigma_j}\right)^2

con $\delta_j$ el desplazamiento de la variable $j$ antes de la falla y $\sigma_j$ su dispersión. Para ese caso la regresión logística es el modelo correcto (Su y Liu, 1993).

Qué muestra el ejemplo

Bombas con monitoreo de vibración y análisis de aceite: 3000 equipo-mes, 8 % de observaciones seguidas de falla, síntomas de intensidad media, 2 % de etiquetas erróneas, intervención de 1500 USD y falla de 40 000 USD. El conjunto de prueba tiene 900 observaciones con 72 fallas registradas.

Resultado	Valor
AUC en datos de prueba	0,831
Puntaje de Brier	0,0592 (pronóstico constante: 0,0736)
Umbral de decisión	5,6 %
Fallas anticipadas	85 % (61 de 72)
Intervenciones sin falla registrada	368, seis por falla anticipada
Costo cada 1000 equipo-mes, medido con el historial	1,20 millones de USD
Sin modelo: intervenir siempre	1,50 millones de USD
Equipo evaluado (4,1 mm/s, 31 °C, 24 ppm de hierro)	44,6 %: intervenir

Cuatro lecturas:

El orden y la decisión son cosas distintas. El AUC dice qué tan bien el modelo ordena los equipos por riesgo. El umbral sale de los costos: una falla cuesta 27 veces más que una intervención, de modo que conviene intervenir desde una probabilidad de 1500/40 000 = 3,75 %. Seis intervenciones sin falla por cada falla anticipada no son un exceso, son el óptimo económico con esos costos.
La exactitud engaña. Con el umbral de 50 % que traen por defecto muchas herramientas, el modelo acierta el 92,7 % de las veces, apenas más que declarar que nada va a fallar (92,0 %). Pero anticipa solo 10 de las 72 fallas, y su costo real, 2,29 millones cada 1000 equipo-mes, es peor que intervenir siempre. Con el umbral de decisión, la exactitud baja a 57,9 % y el costo real a 0,80 millones.
El mínimo de la curva de costo en el conjunto de prueba, en 11 %, no es el umbral que hay que usar. Está ajustado al azar de esas 72 fallas y a las etiquetas erróneas. La repetición del experimento, más abajo, muestra que en datos nuevos el umbral teórico rinde más.
El aporte de cada variable es difícil de medir con un solo conjunto de prueba. Quitar la vibración baja el AUC de 0,831 a 0,767. Quitar el hierro, la temperatura o las horas lo baja entre 0,016 y 0,021, por debajo de 0,03, la diferencia que puede producir el azar con 72 fallas. La teoría ordena el aporte así: vibración (sin ella, el techo baja de 0,877 a 0,829), hierro (0,836), temperatura (0,848), horas (0,857) y carga (0,876). El coeficiente de la carga sale negativo, −0,07, aunque en el generador su efecto es positivo: un coeficiente chico no admite interpretación.

El techo teórico para esta intensidad de síntomas es 0,877 contra el estado real. Con síntomas fuertes sube a 0,963 y con síntomas débiles baja a 0,763: es la física de la degradación la que limita lo que cualquier modelo puede anticipar.

El segundo ejemplo, sin análisis de aceite, muestra el valor de una fuente de información. Contra el estado real, el AUC baja de 0,920 a 0,892 y el costo con el umbral de decisión sube de 0,80 a 1,02 millones cada 1000 equipo-mes. Medida con el historial, la diferencia de AUC es de apenas 0,016.

Etiquetas erróneas

Un 2 % de etiquetas invertidas parece poco. Pero con 8 % de fallas reales, una de cada cinco fallas registradas no es una falla. Si casi no hay fallas reales escondidas entre los registros sin falla, el AUC medido con el historial mezcla pares bien etiquetados con pares que valen azar:

\text{AUC}_{\text{medido}} \approx \alpha\,\text{AUC}_{\text{real}} + (1 - \alpha)\cdot 0{,}5 \qquad \alpha = \frac{\pi\,(1-\rho)}{\pi\,(1-\rho) + (1-\pi)\,\rho}

con $\pi$ la proporción real de fallas y $\alpha$ la fracción de fallas registradas que son reales. En el ejemplo, $\alpha$ = 0,81: el mismo modelo que mide 0,831 con el historial tiene un AUC de 0,920 contra el estado real.

El ruido también afecta la decisión. Un modelo entrenado con ese historial no estima la probabilidad de falla $p$ sino la probabilidad de que el historial registre una falla, $\tilde p = \rho + (1-2\rho)\,p$ . El umbral se corrige en consecuencia:

\tilde u = \rho + (1 - 2\rho)\,\frac{c_I}{c_F}

Con 2 % de errores el umbral pasa de 3,75 % a 5,6 %; con 15 %, a 17,6 %. La tasa $\rho$ se estima auditando una muestra de órdenes de trabajo contra la evidencia técnica de cada intervención.

El tercer ejemplo lleva el problema al extremo. Con 15 % de etiquetas erróneas, dos de cada tres fallas registradas no lo son. El AUC medido cae a 0,595 y el costo medido con el historial, 3,6 millones cada 1000 equipo-mes, sugiere que el modelo es peor que intervenir siempre. Contra el estado real, el mismo modelo tiene un AUC de 0,921 y un costo de 0,86 millones. El modelo ordena bien; lo que falla es la medición. Elegir el umbral con la curva de costo del historial llevaría a intervenir siempre.

Lo que confirma la repetición

Un conjunto de prueba con 72 fallas deja mucho librado al azar. El AUC medido del ejemplo va de 0,76 a 0,86 según la semilla, con un desvío de 0,022; contra el estado real promedia 0,877, el techo teórico. Para comparar políticas sin ese ruido, el entrenamiento se repitió con 30 semillas y cada modelo se evaluó contra el estado real de 40 000 equipo-mes nuevos:

Política	Costo real cada 1000 equipo-mes
Sin modelo: intervenir siempre	1,50 millones de USD
Historial sin errores, umbral $c_I/c_F$	0,92 millones de USD
2 % de errores, umbral corregido	0,93 millones de USD
2 % de errores, umbral $c_I/c_F$ sin corregir	1,01 millones de USD
2 % de errores, mínimo de la curva en prueba	1,01 millones de USD
2 % de errores, sin análisis de aceite, umbral corregido	1,08 millones de USD
15 % de errores, umbral corregido	1,02 millones de USD
15 % de errores, sin corregir o con el mínimo en prueba	1,49 a 1,50 millones de USD

El umbral teórico corregido rinde más que el mínimo empírico, que se ajusta al ruido del conjunto de prueba.
Con la corrección, un historial con 15 % de errores todavía produce un modelo útil. Sin ella, el modelo no mejora nada respecto de intervenir siempre.
El análisis de aceite vale unos 145 USD por equipo y por mes: la diferencia entre 1,08 y 0,93 millones cada 1000 equipo-mes. Es el valor de la información, lo máximo que convendría pagar por el muestreo mensual en este caso.

Errores que invalidan un modelo predictivo

Fuga de información. Variables registradas después del inicio de la falla o derivadas de la propia orden de trabajo, como una medición tomada durante la reparación o las horas desde la última intervención cuando esa intervención es la reparación de la falla que se quiere anticipar. El AUC sube y el modelo no anticipa nada.
Evaluar con datos que el modelo ya vio. Incluye elegir el umbral con el mismo conjunto en el que se informa el resultado.
Partir al azar observaciones correlacionadas. El mismo equipo en meses consecutivos queda a ambos lados de la partición, y el modelo aprende a reconocer al equipo en lugar de la degradación. La partición se hace por tiempo, entrenando con el pasado y probando con el futuro, o por equipo.
Medir con la exactitud. Con 8 % de fallas, declarar que nada va a fallar acierta el 92 % de las veces.
Usar el umbral de 50 %. Solo es correcto si una falla no anticipada cuesta lo mismo que una intervención innecesaria.
No auditar las etiquetas. Las métricas calculadas con un historial sin depurar miden el historial, no el modelo.
No vigilar la deriva. Un cambio de sensores, de condiciones de operación o de la política de mantenimiento cambia la relación entre síntomas y fallas. La calibración se revisa periódicamente con datos nuevos.
Leer causalidad en los coeficientes. Un coeficiente mide asociación dentro de este modelo y con estas variables. Si las variables están correlacionadas o la señal es débil, su valor y su signo cambian de una muestra a otra.

Supuestos y límites

Observaciones independientes, horizonte fijo de 30 días y a lo sumo una falla por equipo-mes. Los modelos de riesgos proporcionales con covariables dependientes del tiempo aprovechan mejor la edad y la censura (Jardine, Lin y Banjevic, 2006).
Relación lineal entre las variables y el logaritmo de las chances de falla. Es exacta para este generador; con interacciones o umbrales físicos hacen falta términos adicionales o modelos de árboles. La regresión logística queda como la referencia que un modelo más complejo tiene que superar en datos nuevos.
La intervención evita la falla con certeza y su costo es fijo.
Errores de etiqueta simétricos e independientes de las mediciones. Un error sistemático, como un modo de falla que se codifica siempre mal, no se corrige con la fórmula y obliga a depurar los datos con los códigos de ISO 14224.

Verificación

Caso de prueba	Resultado	Referencia	Fuente	Estado
AUC regresión logística > 0,95 (obtenido 0,988)	cumple	cumple	datos sintéticos	OK
AUC en datos de prueba > 0,85 (obtenido 0,887)	cumple	cumple	datos sintéticos con separación conocida	OK
Regresión logística IRLS: gradiente de la log-verosimilitud en el óptimo	2,4 × 10⁻¹⁴	0	condición de primer orden	OK
Regresión logística IRLS: Σ probabilidades = Σ fallas observadas	193	193	propiedad del intercepto	OK
Brier menor que el de un pronóstico constante (0,0372 < 0,0782)	cumple	cumple	puntaje de Brier	OK
AUC con 15 % de etiquetas invertidas: contra el estado real 0,921 > 0,88 y medido 0,595 < 0,70	cumple	cumple	ruido de etiqueta independiente de las variables	OK
AUC medido con etiquetas ruidosas ≈ α·AUC real + (1 − α)·0,5 (media de 20 semillas)	0,737323	0,736104	mezcla de pares bien y mal etiquetados	OK
AUC contra el estado real ≈ techo teórico Φ(Δ/√2) (media de 20 semillas)	0,880611	0,877129	Su y Liu (1993)	OK
Umbral de decisión corregido por 5 % de etiquetas erróneas: costo real en datos nuevos 66,8 % del obtenido con el mínimo empírico y 73,6 % del obtenido sin corregir	cumple	cumple	Elkan (2001); ruido de etiqueta simétrico	OK

Pruebas ejecutadas en cada compilación del sitio (2026-10-15). Código en tests/models.test.mjs.

Referencias

Hastie, T., Tibshirani, R. y Friedman, J. (2009). The Elements of Statistical Learning, 2.ª ed. Springer. Sección 4.4, regresión logística.
Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861–874.
Elkan, C. (2001). The foundations of cost-sensitive learning. Proceedings of the 17th International Joint Conference on Artificial Intelligence, 973–978.
Su, J. Q. y Liu, J. S. (1993). Linear combinations of multiple diagnostic markers. Journal of the American Statistical Association, 88(424), 1350–1355.
Frénay, B. y Verleysen, M. (2014). Classification in the presence of label noise: a survey. IEEE Transactions on Neural Networks and Learning Systems, 25(5), 845–869.
Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.
Jardine, A. K. S., Lin, D. y Banjevic, D. (2006). A review on machinery diagnostics and prognostics implementing condition-based maintenance. Mechanical Systems and Signal Processing, 20(7), 1483–1510.
ISO 13381-1:2015. Condition monitoring and diagnostics of machines — Prognostics — Part 1: General guidelines.

Parámetros