Credit Scoring : 9e partie – Implémentation de la fiche d'évaluation Déploiement, production et suivi

Blog

Megaphone

Publié

15 nov. 2017

Catégorie

Science des données

Partager

Par : Natasha Mashanovich, Senior Data Scientist chez World Programming, Royaume Uni

Main image

« Le pouvoir n'est pas dans le savoir, mais dans sa mise en œuvre. » –La qualité d'une fiche d'évaluation ou d'une stratégie de crédit n'est révélé qu'à sa mise en œuvre. La dernière étape de l'architecture CRISP-DM, l'implémentation, représente la transition entre la science des données et l'informatique. Par conséquent, la responsabilité est également transférée du data scientist et de l'analyste métier aux administrateurs système et de bases de données ainsi qu'aux testeurs.

Avant de mettre en œuvre une fiche d'évaluation, il faut prendre un certain nombre de décisions. Ces décisions incluent la disponibilité des données, le choix du matériel et des logiciels utilisés, la sélection du responsable de la mise en œuvre de la fiche d'évaluation, du responsable de sa maintenance, et le choix de sous-traiter ou non la production.

La mise en œuvre de la fiche d'évaluation est un processus séquentiel, déclenché une fois que l'entreprise a validé le modèle de fiche d'évaluation. Le processus commence par la génération d'un code de déploiement de fiche d'évaluation, suivi de la pré-production, de la production et de la post-production.

Part9 1.fr fr

Figure 1. Etapes de l'implémentation de la fiche d'évaluation

Code de déploiement

Le code de déploiement est créé par la traduction du modèle conceptuel, tel qu'un modèle d'équation ou un formulaire tableau d'une fiche d'évaluation, en un artefact logiciel équivalent prêt à l'exécution sur un serveur. La plate-forme de mise en œuvre sur laquelle vous allez exécuter le modèle identifie le langage de déploiement (par exemple, SAS (figure 2), SQL, PMML ou C++). L'écriture du code de modèle de déploiement peut donner lieu à des erreurs, et représente un goulot d'étranglement, car plusieurs cycles d'amélioration du code sont nécessaires pour produire le code de déploiement. Certains fournisseurs de systèmes analytiques proposent des fonctionnalités de déploiement de code automatique dans leurs logiciels. La production automatique d'un code sans erreur est appréciable, car elle réduit les délais de déploiement et le cycle de test du code.

Part9 2

Figure 2. Génération automatique du code de déploiement en langage avec WPS

La mise en œuvre de la fiche d'évaluation, que ce soit sur un serveur de pré-production pour test ou sur un serveur de production pour le scoring en temps réel, nécessite qu'une enveloppe d'API soit placée autour du code de déploiement du modèle, pour permettre le traitement des demandes distantes de scoring. Les entrées du modèle, fournies par des sources de données internes et externes, peuvent être extraites dans et hors du moteur de scoring. Dans le premier cas, l'extraction des variables se fait hors du moteur de scoring, et les variables sont transmises en tant que paramètres d'une requête à l'API. Dans le second cas, comme décrit à la figure 3, un code de pré-traitement est exécuté dans le moteur de scoring, et l'extraction des variables et le scoring se font sur le même moteur.

Part9 3.fr fr

Figure 3. Scoring en temps réel avec appel d'API

Pré-production et production

L'environnement de pré-production permet d'exécuter une gamme de tests avant de lancer le modèle sur l'environnement de production réel. Ces tests peuvent être des évaluations de modèle, des tests de validité, des tests système mesurant le temps de demande et de réponse en cas de charge maximale prévue, ou des tests d'installation et de configuration du système.

Les modèles entièrement testés et approuvées sont chargés sur l'environnement de production – leur destination finale. Les modèles en cours d'exécution sur un serveur de production peuvent être à l'état actif ou passif. Les modèles actifs sont les meilleurs modèles sélectionnés (« champions »), dont les scores sont utilisés dans le processus décisionnel en temps réel pour accorder le crédit ou le refuser. Les modèles passifs sont généralement des « challengers », pas encore utilisés dans le processus décisionnel, mais dont les scores sont enregistrés et analysés au fil du temps pour déterminer leur valeur, avant d'en faire éventuellement des modèles actifs.

Surveillance

« Si vous ne pouvez pas le mesurer, vous ne pouvez pas l'améliorer. » (Lord Kelvin) – Tout modèle se dégrade au fil du temps à cause de l'évolution naturelle du modèle, influencée par de nombreux facteurs, notamment le lancement de nouveaux produits, des offres marketing ou une dérive économique. Il est donc nécessaire de surveiller et d'évaluer le modèle pour éviter tout effet négatif sur l'entreprise.

La surveillance du modèle est un test après implémentation destiné à déterminer si un modèle offre toujours les performances attendues. L'infrastructure informatique doit être mise en place auparavant pour permettre la surveillance grâce à la génération de rapports sur le modèle, un référentiel où stocker les rapports et un tableau de bord de surveillance.

Part9 4.fr fr

Figure 4. Processus de surveillance du modèle

Les modèles de rapport peuvent permettre, par exemple, d'identifier si les caractéristiques des nouveaux candidats changent au fil du temps ; d'établir s'il faut modifier le score seuil pour ajuster le taux d'acceptation ou le taux de défaillance ; de déterminer si la fiche d'évaluation classe le client de la même manière qu'elle a classé la population de modélisation sur les divers niveaux de risque.

La dégradation de la fiche d'évaluation est généralement remarquée à l'aide de valeurs de seuil prédéfinies. Il est possible de procéder de manière appropriée et proportionnelle à l'importance du changement. Par exemple, il est possible de ne pas tenir compte de changement minimes dans les performances de la fiche d'évaluation. En revanche, un changement modéré peut nécessiter une surveillance plus fréquente ou un recalibrage de la fiche d'évaluation. Pour tout changement majeur, il faut reconstruire le modèle, ou le remplacer par le meilleur des modèles conservés en réserve.

Les services chargés du risque de crédit ont accès à une large gamme de rapports, notamment divers rapports sur la dériive, sur les performances, et sur l'analyse du portefeuille (Tableau 1). Les rapports les plus typiques incluent le rapport sur la stabilité de la population et les rapports de performance. La stabilité de la population mesure l'évolution de la distribution des scores de crédit dans la population au fil du temps. Le rapport sur la stabilité génère un indice qui montre l'importance du changement de comportement des clients dû aux changements dans la population. Toute dérive importante déclencherait une alerte nécessitant la redéfinition du modèle. Un rapport de suivi des performances est un rapport de back-end qui nécessite une durée suffisante pour que les comptes clients arrivent à maturation, afin d'évaluer les performances des clients. Il a deux buts : il teste la puissance de la fiche d'évaluation en évaluant la capacité de celle-ci à classer les clients en fonction de leur niveau de risque, et il teste son exactitude en comparant les taux de défaillance attendus à un moment donné du modèle avec les taux de défaillance actuels.

Type de rapportNom du rapport
Rapports de dériveStabilité de la population
Analyse du taux d'approbation
Analyse des caractéristiques
Rapports de performancesRapports de performance
Analyse de courbe générationnelle
Analyse de portefeuilleDistribution des défauts de paiement
Matrice de transition

Tableau 1. Rapports de surveillance de la fiche d'évaluation

Le principal défi de la surveillance du modèle est la longueur du délai entre la demande de changement et sa mise en œuvre. La complexité des tâches permettant de facilité le processus de surveillance pour chacun des modèles tournant dans l'environnement de production (Figure 1) – notamment le code de génération des rapports, l'accès aux sources de données pertinentes, la gestion des modèles, la programmation des rapports, les alertes de dégradation des modèles et la visualisation des rapports – en font un processus difficile. C'est pourquoi les prêteurs cherchent à externaliser les fonctions de surveillance du modèle ou à investir dans son automatisation, afin de faciliter la surveillance avec un minimum de main d'œuvre.