Assegnazione del punteggio di affidabilità creditizia: Parte 5 - Sviluppo di scorecard

Blog

Megaphone

Inserito

18 ott 2017

Categoria

Scienza dei dati

Condividi

Di: Natasha Mashanovich, Senior Data Scientist presso World Programming, Regno Unito

Main image

Parte 5: Sviluppo di scorecard

Lo sviluppo di scorecard descrive come convertire i dati in un modello di scorecard, presupponendo che la preparazione dei dati e il processo di selezione delle variabili iniziali (filtraggio) siano stati completati, e un set di dati di training filtrato sia disponibile per il processo di costruzione di modelli. Il processo di sviluppo comprende quattro parti principali: trasformazioni delle variabili, training del modello tramite la regressione logistica, la convalida del modello e il ridimensionamento.

Part5 1.it it
Figura 1. Processo di sviluppo di scorecard standard

Trasformazioni delle variabili

"Tortura abbastanza a lungo i dati ed essi confesseranno qualunque cosa." (Ronald Coase, Economist) – Un modello di scorecard standard, basato sulla regressione logistica, è un modello additivo, pertanto sono necessarie trasformazioni delle variabili specifiche. Le trasformazioni comunemente adottate: fine classing (classificazione dettagliata), coarse classing (classificazione compatta) e la trasformazione con codifica fittizia o al peso dell'evidenza (WOE), producono un processo sequenziale che offre come risultato un modello facile da implementare e spiegare all'azienda. Inoltre, tali trasformazioni assistono durante la conversione di relazioni non lineari tra le variabili indipendenti e la variabile dipendente in una relazione lineare, il comportamento del cliente spesso richiesto dall'azienda.

Fine classing (classificazione dettagliata)

Applicata a tutte le variabili continue e a quelle variabili discrete con un'elevata cardinalità. Questo è il processo del binning iniziale normalmente compreso tra 20 e 50 bin granulari fini.

Coarse classing (classificazione compatta)

Laddove un processo di binning viene applicato ai bin granulari fini per unire quelli con rischi simili e creare meno bin, di solito fino a dieci. Lo scopo è quello di ottenere la semplicità creando meno bin, ciascuno con fattori di rischio diversi in modo caratteristico riducendo al contempo la perdita di informazioni. Tuttavia, per creare un modello efficace che sia flessibile all'overfitting, ogni bin dovrebbe contenere un numero sufficiente di osservazioni dall'account totale (5% è il minimo consigliato dalla maggior parte dei professionisti). È possibile raggiungere obiettivi opposti tramite un'ottimizzazione sotto forma di binning ottimale che ingrandisce una capacità di previsione della variabile durante il processo di coarse classing. Un binning ottimale utilizza le stesse misure statistiche utilizzate durante la selezione variabile, quale il valore informativo, le statistiche Gini e chi-quadrato. La misura più diffusa è, nuovamente, il valore informativo, sebbene la combinazione di due o più misure è spesso vantaggiosa. I valori mancanti, se contengono informazioni previsionali, devono essere una classe separata o unita al bin con simili fattori di rischio.

Codifica fittizia

Il processo di creazione delle variabili (di comodo) binarie per tutte le classi coarse (compatte), tranne le classi di riferimento. Questa strategia potrebbe presentare problemi come le variabili supplementari richiede più memoria e risorse di elaborazione, e occasionalmente si potrebbe verificare l'overfitting grazie ai livelli ridotti di libertà.

Trasformazione con peso dell'evidenza (WOE)

La strategia alternativa più preferita alla codifica fittizia che sostituisce ogni classe coarse con un valore di rischio e a sua volta comprime i valori di rischio in una singola variabile numerica. La variabile numerica descrive la relazione tra una variabile indipendente e una variabile dipendente. Il framework WOE è molto adatta alla costruzione di modelli di regressione logistica dato che entrambi si basano sul calcolo dei log-odds. Inoltre, la trasformazione con WOE standardizza tutte le variabili indipendenti, quindi è possibile confrontare direttamente i parametri in una regressione logistica successiva. Il principale inconveniente di questa strategia consiste solo nel considerare il rischio relativo di ciascun bin, senza considerare la proporzione di account in ciascun bin. È possibile invece utilizzare il valore informativo per valutare il relativo contributo di ciascun bin.

La trasformazione con la codifica fittizia e WOE producono simili risultati. La scelta di quale utilizzare principalmente dipende dalle preferenze degli scienziati dei dati.

Tuttavia, tenere presente che una trasformazione con binning ottimale, codifica fittizia e peso dell'evidenza sono processi che richiedono molto tempo se vengono realizzati manualmente. Un pacchetto software per la trasformazione con binning, ottimizzazione e WOE è dunque estremamente utile e altamente consigliato.

Part5 2
Figura 2. Trasformazione con binning automatizzato e WOE con il software di World Programming

Training del modello e rappresentazione in scala

La Regressione logistica è una tecnica comunemente utilizzata nell'assegnazione del punteggio di affidabilità creditizia per risolvere problemi riguardanti la classificazione binaria. Prima dell'adattamento del modello, è importante controllare se le variabili appena trasformate di WOE sono ancora buoni candidati per il modello. Le variabili del candidato preferito sono quelle con un valore informativo più elevato (di solito tra 0,1 e 0,5) e hanno una relazione lineare con la variabile dipendente, hanno una buona copertura in tutte le categorie, hanno una normale distribuzione, contengono un notevole contributo complessivo e sono importanti per l'azienda.

Molti fornitori di analisi includono il modello di regressione logistica nei prodotti software, di solito con una vasta gamma di funzioni statistiche e grafiche. Ad esempio, l'implementazione di PROC LOGISTIC del linguaggio SAS in WPS offre un set completo di opzioni per la selezione di variabili automatizzate, la restrizione dei parametri di modello, le variabili ponderate, ottenendo l'analisi separata per i diversi segmenti, che assegna i punteggi su un diverso set di dati, generando il codice di distribuzione automatizzato, per citare qualche esempio.

Una volta allineato il modello, la fase successiva consiste nel regolare il modello ad una scala desiderata dall'azienda, che è nota come rappresentazione in scala. La rappresentazione in scala funge da strumento di misurazione che offre coerenza e standardizzazione dei punteggi in diverse scorecard. I valori del punteggio minimo e massimo, e l'intervallo di punteggi favoriscono l'interpretazione del rischio e devono essere segnalati all'azienda. Spesso il requisito aziendale consiste nell'usare lo stesso intervallo di punteggi per più scorecard in modo da avere tutte un'identica interpretazione del rischio.

Un metodo comune di assegnazione dei punteggi crea punteggi discreti in modo logaritmico, dove le probabilità raddoppiano ad un predeterminato numero di punti. Ciò richiede l'impostazione di tre parametri: i punti base come 600 punti, le probabilità di base, per esempio 50:1 e i punti per raddoppiare le probabilità, ad esempio 20. I punti del punteggio corrispondono a ciascuno dei bin delle variabili del modello, mentre l'intercetta del modello viene tradotta in punti base. L'output della rappresentazione in scala con l'allocazione dei punti tabulata rappresenta l'effettivo modello di scorecard.

Part5 3
Figura 3. Rappresentazione in scala di scorecard

Prestazioni del modello

La valutazione del modello è la fase finale nel processo di costruzione dei modelli. Comprende tre fasi distinte: valutazione, convalida e accettazione.

Valutazione della precisione – Ho costruito il modello correttamente? È la prima domanda da porsi per verificare il modello. La metrica principale valutata consiste in misure statistiche, tra cui la precisione del modello, la complessità, la frequenza degli errori, le statistiche di adattamento del modello, le statistiche delle variabili, i valori di importanza e i rapporti di probabilità.

Convalida della robustezza – Ho costruito il modello giusto? È la domanda successiva da porsi quando ci si sposta dalla precisione della classificazione e dalla valutazione statistica verso la capacità di graduazione e la valutazione dell'azienda.

La scelta della metrica di convalida dipende dal tipo di classificatore del modello. La metrica più comune per i problemi di classificazione binaria è il grafico dei guadagni, il grafico lift, il grafico della curva ROC e il grafico di Kolmogorov-Smirnov. La curva ROC è lo strumento più comune per visualizzare le prestazioni del modello. È uno strumento universale utilizzato per:

  • la metodologia campione-sfidante per scegliere il modello dalle migliori prestazioni;
  • la verifica delle prestazioni del modello su dati non visti e confronto con i dati del training;
  • la selezione della soglia ottimale che massimizza il tasso di veri positivi, minimizzando al contempo il tasso di falsi positivi.

La curva ROC viene creata tracciando la sensibilità contro la probabilità di falsi allarmi (tasso di falsi positivi) a diverse soglie. La valutazione della metrica delle prestazioni a diverse soglie è una caratteristica desiderabile della curva ROC. Diversi tipi di problemi aziendali avranno diverse soglie basate su una strategia aziendale.

L'area sotto la curva ROC (AUC) è una misura utile che indica la capacità previsionale di un classificatore. Nel rischio di credito un AUC di almeno 0,75 è lo standard accettato nel settore e il requisito preliminare all'accettazione del modello.

Part5 4
Figura 4. Metrica delle prestazioni del modello

Accettazione per utilità – Il modello sarà accettato? È la domanda finale da porsi per verificare se il modello è prezioso dal punto di vista dell'azienda. Questa è la fase critica in cui lo scienziato di dati deve riprodurre il risultato del modello per l'azienda e "difendere" il proprio modello. Il principale criterio di valutazione è il vantaggio che il modello produce per l'azienda, pertanto l'analisi dei benefici è la componente centrale della presentazione dei risultati. Gli scienziati dei dati dovrebbero impegnarsi molto per presentare i risultati in modo coinciso, in modo tale che i risultati e le conclusioni siano facili da seguire e comprendere. Il mancato raggiungimento di questo obiettivo potrebbe comportare il rifiuto del modello e, di conseguenza, il fallimento del progetto.