クレジットスコアリング:パート5 - クレジットスコアカードモデリングの方法論

ブログ

Megaphone

投稿日

2017年10月18日

カテゴリー

データサイエンス

共有

筆者:英国 World Programming シニアデータサイエンティスト Natasha Mashanovich

Main image

パート5:スコアカードの開発

スコアカードの開発ではデータをスコアカードモデルに変換する方法を説明しており、これはデータ準備が完了し、初期のデータ選択行程(フィルタリング)が完了しているものとして、モデル構築工程用のフィルター済みのトレーニングデータセットが使用できるものと前提します。開発工程は次の4つの主だった工程からなっています。変数変換、ロジスティック回帰を使用したモデルトレーニング、モデルの検証、スケールの調整。

Part5 1.ja jp
図1。一般的なスコアカード開発工程

変数変換

「長期間データを拷問にかければ、どんなことでも自白する。」(Ronald Coase 経済学者)- ロジスティック回帰に基づいた一般的なスコアカードモデルは加法モデルであり、そのため特別な変数変換が必要になります。一般的に適用される変換手法である、細かい分類や粗い分類、ダミー変数作成もしくは重みづけ(WOE)変換は、ビジネスに実装したり説明するのが容易なモデル結果を提供する一連の行程を形作っています。さらにこれら変換は、独立変数と従属変数間の非線形関係を線形の関係に、つまりしばしばビジネスに要求される顧客の動向に変換することを支援します。

細かい分類

高いカーディナリティの連続変数と離散変数に適用されます。これは初期ビニング工程で、通常20から50への緻密なビンになります。

粗い分類

細かく緻密なビンを類似するリスクで集約して、少ないビンを作成するビニング工程で通常10ぐらいまでになります。この目的はより少ないビンを作成して簡素化することにあり、明示的に異なるリスク因子を得る一方で情報の喪失を最小限に抑えます。しかし、過剰適合に柔軟に対応できる堅固なモデルを作成するには、各ビンは総合計から十分な数の観測を含んでいる必要があります(ほとんどの実務家は最小で5%を推奨しています)。この相反する目的は、粗い分類処理の間に変数の予測能力を最大にする最適ビニングの形態を最大限利用することで達成できます。最適ビニングは情報値(IV)やジニ統計量、カイ二乗統計量などの変数選択の間に使用されるものと同じ統計手法を利用します。最も一般的な手法は情報値(IV)ですが通常は2組以上の手法が有効です。欠損値が予測的な情報を含んでいる場合、それらは別に分類するか類似するリスク因子のビンに集約される必要があります。

ダミー変数作成

参照クラスを除いた、粗い分類のためのバイナリ(ダミー)変数作成工程です。この方法では余分な変数がさらにメモリと処理リソースを必要とする問題が起こりえまた、時に自由度が減少して過剰適合が発生することがあります。

証拠の重み(WOE)変換

ダミー変数作成より好まれる別の手法では、粗い分類とリスク値を置き換え、順番にリスク値を単独の数値変数へとまとめます。この数値変数は独立変数と従属変数間の関係を説明しています。双方とも対数オッズ計算に基づいているため、WOE フレームワークはロジスティック回帰モデルに非常に適しています。さらに WOE 変換は独立変数をすべて標準化するため、続くロジスティック回帰の母数を直接比較することができます。この手法の主な欠点は各ビンで相対危険度のみが考慮されており、各ビンでの口座の割合が考慮されていない点です。代わりに、各ビンの相対寄与を評価するには情報値(IV)を使用することができます。

ダミー変数の作成と WOE 変換は似たような結果となります。どちらを選択するかはデータサイエンティストの好みによります。

しかし、最適ビニングやダミー変数の作成、WOE 変換を手動で行うと、この工程は時間を消費してしまうという点に注意しなければなりません。このため、ビニングや最適化、WOE 変換のためのソフトウェアパッケージは非常に便利であり使用することが強く推奨されます。

Part5 2
図2。World Programming Software(WPS)での最適ビニングのと WOE 変換の自動化

モデルトレーニングと調整

ロジスティック回帰はクレジットスコアリングでバイナリ分類の問題を解決するために一般的に用いられています。モデル適合の前に、他の変数変換を繰り返し、新しく WOE 変換された変数が良いモデルの候補であるか確認することが重要です。好ましい候補変数は高い情報値(通常 0.1から0.5の間)で従属変数と線形関係があり、すべてのカテゴリーをまんべんなくカバーして、正規分布し、全体的に著しい寄与があり、ビジネスに適しているものです。

ロジスティック回帰モデルが含まれているソフトウェア製品業者の製品には通常、広範囲な統計やグラフィック機能が含まれています。例えば、WPS の SAS 言語の PROC LOGISTIC の実装では、自動化された変数選択やモデルパラメーターの制限、重みづけ変数、異なるセグメントにおいての別分析、異なるデータセットへのスコアリング、自動配置コードの生成などを提供しています。

モデルの調整が完了すると次はビジネスに合わせてスケールを調節する段階に移ります。これはスケーリングとして知られています。スケーリングは異なるスコアカードのスコアに一貫性と標準化を与える計測器具として機能します。最小と最大のスコア値やスコアの範囲はリスクを解釈する上で役立ち、ビジネスサイドへ報告される必要があります。しばしばビジネス要件は複数スコアカードに同じスコア範囲を使用するため、これらはすべて同じリスクの解釈を持ちます。

一般的なスコアリング手法では、決定済みのポイント数でオッズが2倍になる非連続なスコアを対数的に作成します。これには次の3つのパラメーターを指定する必要があります。例えば600のようなベースポイント、例えば50:1のようなベースオッズ、例えば20のようなオッズを2倍にするポイント。モデルの切片がベースポイントに変換される一方で、スコアポイントはモデル変数の各ビンに対応します。ポイントの結果が表になったスケーリングのアウトプットは実際のスコアカードモデルを表しています。

Part5 3
図3。スコアカードのスケーリング

モデルの性能

モデルの評価はモデル構築工程の最終段階です。これは評価、検証、承認という3つの特徴的な工程から成っています。

正確さの検証 - モデルを正しく構築したか?これはモデルを試すための最初の問いです。鍵となる評価測定基準はモデルの正確さや複雑さ、エラー率、モデル適合統計量、変数統計量、有意性の値、オッズ比です。

堅牢さの検証 - 正しいモデルを構築したか?これは分類の的確さや統計的な評価から、いつランキング能力やビジネス評価に向けて動くのかを知るために行う次の問いです。

検証の測定基準の選択はモデル分類器の種類によります。二項分類問題の最も一般的な測定基準はゲインチャート、リフトチャート、ROC 曲線、コルモゴルフ=スミルノフチャートなどです。ROC 曲線はモデルのパフォーマンスを視覚化するための最も一般的なツールです。これは次のように複数の目的で使用できます。

  • 最も高いパフォーマンスのモデルを選択するためのチャンピオン・チャレンジャー手法
  • 未知のデータでモデルのパフォーマンスを試し、トレーニングデータと比べる
  • 偽陽性率を最小にする一方で真陽性率を最大にする最適な閾値を選択する

ROC 曲線は異なる閾値での誤警報(偽陽性率)の確率に対する感度をプロットすることによって作成されます。異なる閾値での測定基準のパフォーマンスを評価するという ROC 曲線の機能は非常に有益です。異なる種類の業務上の問題は、ビジネス戦略に基づいて異なる閾値を持っています。

ROC 曲線下の面積(AUC)は分類器の予測能力を示す上で有力な基準です。信用リスクでは0.75かそれ以上の AUC が業界標準では認められており、モデル承認のためには必須です。

Part5 4
図4。モデルのパフォーマンスの測定基準

有用性の承認 - モデルは承認されるか?これはビジネスの展望からモデルが価値あるものかを検証するための最後の問いです。これはデータサイエンティストがモデルの結果をビジネスに対して再現し、彼らのモデルを「防御」しなくてはならない重要なフェーズです。鍵となる評価基準はモデルのビジネス上の利益であり、そのため結果を提示する時には利益分析が中心となります。データサイエンティストは結果を簡潔な方法で表す努力をしなければならないため、この結果と発見は追うのも理解するのも容易になるはずです。これに失敗するということはモデルが却下され、最終的にはプロジェクトの失敗という結果になります。