Calificación crediticia: Parte 9 - Implementación de cuadro de mandos: Implementación, producción y supervisión

Blog

Publicado

15 nov. 2017

Categoría

Ciencia de datos

Compartir

De: Natasha Mashanovich, Científica de datos superior en World Programming, Reino Unido

"El conocimiento no es poder. La aplicación del conocimiento es poder." – El beneficio real de un cuadro de mandos o una estrategia de crédito sólo es evidente en la implementación. La etapa final del marco CRISP-DM, implementación, representa la transición del dominio de la ciencia de datos al dominio de la tecnología de la información. Por lo tanto, los roles de las responsabilidades también cambian de los científicos de datos y analistas de negocio a los administradores de sistemas y bases de datos, y probadores.

Antes de implementar el cuadro de mandos, se deben tomar varias decisiones en ámbito tecnológico. Estas decisiones cubren la disponibilidad de datos; la opción de qué hardware y software se utiliza; quien es responsable de la implementación de los cuadros de mando; quién es responsable del mantenimiento de los cuadros de mando; y si la producción se administra interna o externamente.

La implementación de cuadros de mandos es un proceso secuencial que se inicia una vez que la empresa autorice el modelo de cuadro de mandos. El proceso comienza con la generación de un código de implementación del cuadro de mandos, que conduce a la preproducción, producción y postproducción.


Figura 1. Etapas de implementación del cuadro de mandos

Código de implementación

El código de implementación se crea al traducir un modelo conceptual, como una ecuación de modelo o una forma tabular de un cuadro de mandos, en un artefacto de software equivalente, listo para ejecutarse en un servidor. La plataforma de implementación en la que se ejecutará el modelo identificará el lenguaje de implementación y podría ser, por ejemplo, el lenguaje SAS (Figura 2), SQL, PMML o C++. La escritura del código de implementación del modelo puede ser propensa a errores y a menudo representa un cuello de botella, como varios ciclos de refinamiento de código son necesarios para producir el código de implementación. Algunos proveedores analíticos ofrecen la capacidad de implementación automática de código en su software, una característica deseable que produce código sin errores, reduciendo el tiempo de implementación y el ciclo de prueba de código.


Figura 2. Generación automática de código de implementación de lenguaje SAS con el software de World Programming

La implementación de cuadros de mandos en un servidor de preproducción para la verifica o en un servidor de producción para la puntuación en tiempo real requiere un contenedor de API que se coloca alrededor del código de implementación del modelo para permitir la administración de solicitudes remotas para la puntuación de modelos. Las entradas del modelo, proporcionadas desde orígenes de datos internas y externas, pueden extraerse fuera o dentro del motor de puntuación. El primero ejecuta la extracción de variables fuera del motor de puntuación y pasa las variables como parámetros de una solicitud de API. Este último, como se representa en la figura 3, ejecuta un código de preprocesamiento dentro del motor de puntuación y realiza la extracción variable y la puntuación de modelo en el mismo motor.


Figura 3. Puntuación en tiempo real mediante la llamada API

Preproducción y producción

La preproducción es un entorno utilizado para ejecutar una serie de pruebas antes de confirmar el modelo al entorno de producción (en vivo). Estas pruebas son típicamente pruebas de evaluación y validez de modelos, pruebas de sistema que miden el tiempo de solicitud y respuesta bajo la carga de pico prevista, o pruebas de configuración de instalación y sistema.

Los modelos completamente probados y aprobados se cargan al entorno de producción, el destino final. Los modelos que se ejecutan en un servidor de producción pueden estar en estado activo o pasivo. Los modelos activos son modelos campeones cuyas puntuaciones se utilizan en el proceso de toma de decisiones en tiempo real como aprobación de crédito o rechazo. Los modelos pasivos son típicamente comprobaciones del modelo aún no utilizados en el proceso de toma de decisiones, pero cuyas puntuaciones se registran y analizan durante un periodo para justificar su valor empresarial antes de convertirse en modelos activos.

Supervisión

"Lo que no se mide, no se puede mejorar. (Lord Kelvin)" – Cada modelo se degrada con el tiempo como resultado de la evolución natural del modelo influenciado por muchos factores, incluyendo lanzamientos de nuevos productos, incentivos de marketing o tendencias económicas, por lo que la supervisión regular del modelo es fundamental para prevenir cualquier efecto negativo para la empresa.

La supervisión del modelo es una comprobación post-implementación que se usa para determinar si los modelos continúan a ser de acuerdo con el rendimiento esperado. La infraestructura de TI debe configurarse de antemano para permitir la supervisión, facilitando la generación de informes de modelos, un repositorio para almacenar informes y un panel de supervisión.


Figura 4. Proceso de supervisión del modelo

Los informes del modelo pueden utilizarse, por ejemplo, para identificar si las características de los nuevos candidatos cambian con el tiempo; establecer si el valor de límite de la puntuación debe cambiarse para ajustar la tasa de aceptación o la tasa de morosidad; o determinar si el cuadro de mandos clasifica el cliente de la misma manera que ha clasificado a la población de modelado en diferentes bandas de riesgo.

La degradación del cuadro de mandos se captura típicamente utilizando valores de umbral predefinidos. Dependiendo de la magnitud del cambio, se toma un curso de acción pertinente. Por ejemplo, se pueden omitir cambios menores en la métrica de rendimiento del cuadro de mandos, pero los cambios moderados pueden requerir una supervisión más frecuente o una recalibración del cuadro de mandos. Cualquier cambio importante requiere reconstruir el modelo o intercambiarlo con el modelo alternativo de mejor rendimiento.

Los departamentos de riesgo de crédito tienen acceso a una amplia gama de informes, incluyendo una variedad de informes de tendencia, informes de rendimiento y análisis de cartera (Tabla 1). Ejemplos de los dos informes más típicos son la estabilidad de la población y el seguimiento del rendimiento. La estabilidad de la población mide el cambio en la distribución de las puntuaciones de crédito en la población a lo largo del tiempo. El informe de estabilidad genera un índice que indica la magnitud del cambio en el comportamiento del cliente debido a los cambios en la población. Cualquier cambio significativo configura una alerta solicitando el re-diseño del modelo. Un informe de seguimiento del rendimiento es un informe de back-end que requiere un tiempo suficiente para que las cuentas de los clientes maduren para que el rendimiento del cliente pueda evaluarse. Su propósito es doble; en primer lugar, prueba la potencia del cuadro de mandos evaluando si el cuadro de mandos sigue siendo capaz de clasificar a los clientes por riesgo y, en segundo lugar, prueba la precisión mediante la comparación de las tasas de morosidad esperadas conocidas en el momento del modelado con las tasas de morosidad actuales.

Tipo de informeNombre de informe
Informes de tendenciaEstabilidad de población
Análisis de la tasa de aprobación
Análisis característico
Informes de rendimientoSeguimiento del rendimiento
Análisis de cosechas
Análisis de carteraDistribución de morosidad
Matriz de transición

Tabla 1. Informes de supervisión de cuadro de mandos

El desafío con la supervisión del modelo es un retraso prolongado entre la solicitud de cambio y su implementación. Complejidad de tareas para facilitar el proceso de supervisión para cada modelo que se ejecute en el entorno de producción (Figura 1), incluyendo el código para generar reportes, el acceso a las orígenes de datos pertinentes, la administración de modelos, los planificadores de informes, las alertas de degradación de modelos y la visualización de informes, conducen a un proceso exigente y desafiante. Esta ha sido la principal motivación para que las entidades crediticias subcontraten la capacidad de supervisión del modelo o inviertan en un proceso automatizado que facilite la supervisión del modelo con un mínimo esfuerzo humano.