Credit Scoring : 5e partie – Développement d'une fiche d'évaluation

Blog

Megaphone

Publié

18 oct. 2017

Catégorie

Science des données

Partager

Par : Natasha Mashanovich, Senior Data Scientist chez World Programming, Royaume Uni

Main image

5e partie : Développement d'une fiche d'évaluation.

Le développement d'une fiche d'évaluation consiste à transformer des données en modèle de fiche d'évaluation. Il faut auparavant avoir effectué les étapes préparatoires : processus initial de sélection des variables (filtrage) et mise à disposition d'un ensemble de données d'apprentissage filtré pour la construction du modèle. Le processus de développement comporte quatre parties : transformations des variables, formation du modèle par régression logistique, validation du modèle et dimensionnement.

Part5 1.fr fr
Figure 1. Processus de développement d'une fiche d'évaluation standard

Transformation des variables

« Vous pouvez faire dire n'importe quoi aux données, il suffit de les torturer un peu. » (Ronald Coase, économiste) – Un modèle de fiche d'évaluation standard, basé sur la régression logistique, est un modèle additif ; par conséquent, il est nécessaire d'appliquer des transformations spécifiques aux variables. Les transformations généralement appliquées – catégorisation fine, catégorisation grossière et soit code factice, soit transformation par évidence (WoE) – forment un processus séquentiel permettant la création d'un modèle facile à mettre en œuvre et à expliquer à l'entreprise. En outre, ces transformations aident à convertir des relations non linéaires entre variables indépendantes et la variable dépendante en une relation linéaire – le comportement client – souvent demandée par l'entreprise.

Catégorisation fine

Elle s'applique à toutes les variables continues ainsi qu'aux variables discrètes à cardinalité élevée. Il s'agit du processus initial de regroupement en 20 à 50 classes à granularité fine.

Catégorisation grossière

Un processus de catégorisation est appliqué aux classes à granularité fine pour fusionner celles ayant un niveau de risque similaire et réduire le nombre de classes à 10 au plus. L'objectif est de simplifier les données en réduisant le nombre de classes, chaque classe ayant des facteurs de risque distincts, tout en évitant la perte d'informations. Toutefois, pour créer un modèle solide et résistant au sur-ajustement, chaque classe doit contenir une proportion suffisante d'observations (la plupart des praticiens recommandent un minimum de 5 %). Il est possible de parvenir à ces objectifs contradictoires en effectuant un regroupement par classe optimal qui maximise le pouvoir prédictif de la variable lors de la catégorisation grossière. Le regroupement par classe optimal utilise les mêmes mesures statistiques que celles utilisées lors de la sélection des variables, telles que la valeur informationnelle, l'indice Gini et les statistiques χ². La mesure la plus utilisée, une fois de plus, est la valeur informationnelle, bien que la combinaison de plusieurs mesures soit souvent utile. Les valeurs manquantes, si elles contiennent des informations prédictives, doivent être une classe distincte ou fusionnée à une classe aux facteurs de risque similaires.

Code factice

Ce processus consiste à créer des variables binaires (factices) pour toutes les classes grossières, à l'exception de la classe de référence. Cette approche peut présenter des problèmes, car les variables supplémentaires nécessitent plus de mémoire et de ressources de traitement, et qu'un sur-ajustement peut se produire en raison du degré de liberté réduit.

Transformation de l'évidence

Cette autre méthode de création de code factice, généralement préférée, remplace chaque classe grossière par une valeur de risque, et ramène ensuite les valeurs de risque à une variable numérique unique. Celle-ci décrit la relation entre une variable indépendante et une variable dépendante. Le système d'évidence (WoE) convient bien à la modélisation de régression logistique, car tous deux sont basés sur un calcul de logit. En outre, la transformation d'évidence standardise toutes les variables indépendantes. Par conséquent, les paramètres dans une régression logistique ultérieure sont directement comparables. Le principal inconvénient de cette approche est qu'elle ne prend en compte que le risque relatif des catégories, mais pas la proportion d'observations dans chaque catégorie. Il est possible d'utiliser la valeur informationnelle à la place de cette méthode pour évaluer la contribution relative de chaque catégorie.

Le code factice et la transformation d'évidence offrent des résultats similaires. Le choix entre ces méthodes relève surtout des préférences du data scientist (oh, pardon, de « l'expert en mégadonnées »).

Mais attention : effectués manuellement, le regroupement par classe optimal, le code factice et la transformation d'évidence sont des processus chronophages. Il est donc recommandé d'utiliser un logiciel pour effectuer ces opérations.

Part5 2
Figure 2. Regroupement par classe optimal et transformation d'évidence automatisés avec le logiciel WPS

Apprentissage et dimensionnement

La régression logistique est une technique fréquente en credit scoring pour la résolution des problèmes de classification binaire. Avant l'ajustage du modèle, il est utile d'effectuer une nouvelle itération de la sélection des variables pour vérifier que les variables transformées sont toujours adaptées au modèle. Les variables potentielles préférées sont celles dont la valeur informationnelle est plus élevée (généralement entre 0,1 et 0,5), qui ont une relation linéaire avec la variable dépendante, couvrent toutes les catégories, ont une distribution normale, contiennent une contribution d'ensemble signifiante, et sont applicables à l'entreprise.

De nombreux fournisseurs de services d'analyse incluent le modèle de régression logistique dans leurs produits logiciels, généralement avec une large gamme de fonctions statistiques et graphiques. Par exemple, l'implémentation de la procédure LOGISTIC du langage SAS dans WPS offre une gamme complète d'options pour la sélection des variables, la restriction des paramètres de modèle, les variables pondérées, l'obtention d'analyses distinctes pour différents segments, le scoring sur un autre ensemble de données, la génération d'un code de déploiement automatisé, par exemple.

Une fois le modèle aligné, l'étape suivante consiste à ajuster le modèle à l'échelle voulue par l'entreprise. On parle alors de dimensionnement. Le dimensionnement joue tient lieu d'instrument de mesure afin de garantir la cohérence et la standardisation des scores entre les différentes fiches d'évaluation. Les valeurs de score minimales et maximales ainsi que la plage des scores aident à interpréter le risque et devraient être fournies à l'entreprise. Souvent, l'entreprise a besoin d'utiliser la même plage de scores pour plusieurs fiches d'évaluation pour qu'elles aient toutes la même interprétation du risque.

Une méthode de scoring courante crée de manière logarithmique des scores discrets, dont la cote double à partir d'un nombre de points prédéterminé. Pour ce faire, il faut spécifier trois paramètres : les points de base (600, par exemple), la cote de base (50:1, par exemple) et le nombre de points pour doubler la cote (20, par exemple). Les points de score correspondent à chacune des classes des variables du modèle, alors que le modèle d'interception est représenté par les points de base. La sortie de dimensionnement, avec une attribution tabulée des points, représente le modèle de fiche d'évaluation.

Part5 3
Figure 3. Dimensionnement de la fiche d'évaluation

Performance du modèle

L'évaluation du modèle est la dernière étape du processus. Elle comporte trois étapes : évaluation, validation et acceptation.

Évaluation de la précision – Ai-je construit le modèle correctement ? C'est la première question à se poser pour tester le modèle. Les principaux points évalués sont des mesures statistiques incluant l'exactitude du modèle, la complexité, le taux d'erreur, les statistiques d'ajustement du modèle, les statistiques de variables, les valeurs signifiantes et les cotes.

Validation de la solidité – Ai-je construit le bon modèle ? – Voilà la question suivante lors du passage de la précision de la classification et de l'évaluation statistique à la capacité de classement et l'évaluation professionnelle.

Le choix des outils de mesure étudiés pour la validation dépend du type de classificateur du modèle. Les outils les plus communs pour les problèmes de classification binaire sont le graphique de gains, courbes d'élévation, courbe ROC et graphique de Kolmogorov–Smirnov. La courbe ROC est l'outil le plus commun pour visualiser les performances du modèle. C'est un outil polyvalent utilisé dans les cas suivants :

  • méthodologie champion-challenger pour choisir le modèle le plus performant ;
  • tester les performances du modèle sur des données inconnues et les comparer aux données d'apprentissage ;
  • sélectionner le seuil optimal, qui maximise le taux de vrais positifs tout en minimisant le taux de faux positifs.

Pour créer la courbe ROC, la sensibilité est comparée à la probabilité d'une fausse alarme (taux de faux positifs) à divers seuils. L'évaluation des outils de mesure de performance à divers seuils constitue une fonctionnalité désirable de la courbe ROC. Les taux varient avec les problèmes des entreprises et leur stratégie.

La zone sous la courbe ROC (AUC) est une mesure utile qui indique la capacité prédictive d'un classificateur. Dans le domaine du risque de crédit, une valeur AUC supérieure ou égale à 0,75 est la norme, et est nécessaire pour l'acceptation du modèle.

Part5 4
Figure 4. Outils de mesure de la performance du modèle

Acceptation de l'utilité – Le modèle sera-t-il accepté ? – C'est la dernière question à poser pour déterminer si le modèle est utile du point de vue de l'entreprise. C'est la phase critique : le data scientist doit présenter les résultats du modèle à l'entreprise et défendre la validité du modèle. Les critères clés d'évaluation sont les avantages qu'apporte le modèle à l'entreprise. Par conséquent, l'analyse des avantages est essentielle lors de la présentation des résultats. Les data scientists doivent absolument présenter les résultats de manière concise afin qu'ils soient faciles à comprendre. Sinon, l'entreprise risque de rejeter le modèle, et le projet aura échoué.