機械学習の過去と現在

ブログ

Megaphone

投稿日

2017年05月09日

カテゴリー

データサイエンス

共有

筆者:John Manslow

Main image

近年、Amazon や Facebook、Google、IBM、Microsoft などの企業が機械学習の習得や R&D のために何億ドルも投資していることからもわかるように、機械学習への関心が爆発的に高まっています。これは機械学習に関する特許申請がこの10年で10倍に増加し、無数の新製品や機能の開発が行われる要因となっています。機械学習で Amazon は動的な価格の最適化を行うことを可能にし、Microsoft では Skype でのライブ翻訳を実現、Google ではコンテンツやユーザーの検索クエリをより微妙な差異で解釈してページのランクを決定することを実現しました。ところで、機械学習とはどこから始まり、なぜ現在このように関心が高まっているのでしょうか。

この「機械学習」という用語は、1950年代後半にコンピューターが知的に振舞うには学習する能力を与えることが最良の方法だと信じていた人工知能の研究者により作り出されました。初期の研究ではコンピューターが従うルールを人の経験を使用して記述していましたが、これはチェッカーで遊ぶという簡単な課題でさえも、適したルールを記述することは非常に難しいと早い段階で明らかになりました。1950年代後半から1960年代を通して、単純な機械学習のアルゴリズムが開発され、以前では不可能だった課題に対応させることに成功しました。この初期の成功にもかかわらず1970年代と1980年代は数十年におよびほとんどが落胆と幻滅の積み重ねになりました。進歩は遅く、研究への投資は微々たるもので、現実世界へ機械学習を適応することへの本格的な商業的関心は非常に薄いものでした。

しかし、1980年代後半に重要な飛躍的進歩がありました。恣意的で複雑なニューラルネットワークを訓練する方法が発見されたのです。また、報酬が後になるような環境での行動の最適化は強化学習によって解決されました。

1990年代の初期に機械学習は、数学的な精密さをより大きく取り入れて研究され、ベイジアンニューラルネットワークやサポートベクターマシン(SVM)、ガウス過程などの新しいアルゴリズムとカーネル法の開発を導きました。これらは現実世界での機械学習の性能を著しく改善しました。機械学習はついに商業への活用が可能になり、早期導入者は不正検出やクレジットスコアリング、チャーン予測へ利用を開始しています。このような機械学習の現実世界での問題に対する成功とさらなる開発への可能性は研究費を増やし、コンピューターサイエンスと同様に数学や物理にも研究者の関心が高まるきっかけとなっています。

1990年代の間にデスクトップ PC のストレージ容量は1000倍単位で増加し、この10年間で AMD と Intel の競い合いの結果、同じように処理能力も1GHz に増えました。2000年までには、複雑な問題を効果的に解決する方法を学習するのに必要なデータ量を格納するための十分なメモリーが大抵の PC にはあり、妥当な時間内で学習を行うのに十分な処理能力が備わっていました。テクノロジーはもはや機械学習をコンピューターゲームに使用するまでに到達していました。Codemasters の Colin McRae Rally 2.0でプレイヤーと同条件で勝利したり、Lionhead の Black and White でプレイヤーがリアルタイムで自身のアバターを訓練したりしていました。

2000年代半ば、general purpose computing on graphics processing units(GPGPU)が実現し、低コストなマルチコアプロセッサーが開発され、クラウドコンピューティングが出現し、処理能力が大幅に高くなりました。これと同時期に、インターネットの成長とともにビッグデータ革命がもたらされました。これにより超巨大なデータセットの使用が可能になり、今までにない複雑で強力な機械学習アルゴリズムを現実世界の問題に利用できるようになりました。ディープニューラルネットワーク:DNN(多数のニューロンの互いに連結した層があるニューラルネットワーク)での学習が実用的になり、以前は音声認識や画像認識などの分野で用いられていたどのアプローチ方法よりも DNN は優れていることがいち早く明らかになりました。いずれは人間の能力を超えると考えられています。

この10年で機械学習は商用目的で爆発的に利用されるようになり、高い信頼性でデータから非常に複雑な関係性を見つけ出す能力やユニークな洞察、正確な予測を実現するために幅広い産業分野において、市場先導者が選択する技術の選択肢となりつつあります。1990年代の理論上の進歩は、データ数の少ない環境でうまく働くベイジアンニューラルネットワークや SVM を実現し、2000年代後半の開発でビッグデータにおいて他に類をみない能力を発揮する DNN のような機械学習アルゴリズムを可能にしました。

今日、機械学習のアルゴリズムはセントラルヒーティングシステムの組み込みプロセッサーから巨大な並行処理のクラウドコンピューティングネットワークまでほぼ全てのプラットフォームで実行されており、郵便番号の読取・小切手の処理・クレジットスコアの生成・不正検出・音声認識・テキストの翻訳・映画のレコメンド・オンラインゲームでのプレーヤーのマッチング・価格最適化・検索結果のランク付け・スパムフィルター・仮想キャラクターのアニメ化・データセンターの最適化・ビデオゲームの実行・画像のラベル付け・自動運転車の運転・海賊版コンテンツの認識など至るところで商業目的で利用されています。

ビジネスは機械学習が実現できることのほんの表面をかすり始めたところですが、機械学習がビジネスのプロセスを転換し、まったく新しい部類の製品を生み出す可能性を疑う余地はありません。機械学習はもはや研究者や学術の領分ではなく、確固として構築されたビジネスツールとなりつつあります。

この記事の後に続く一連の記事では機械学習の一般原則を紹介し、最もパワフルで幅広く使用されている SVM やベイジアンネットワーク、決定木、ベイジアンニューラルネットワーク、ディープニューラルネットワークなど、いくつかの機械学習アルゴリズムの内側を検証します。そして、これらをどのようにして現実の問題に適応するのかを説明します。

2017年末には、次バージョンの WPS データ分析プラットフォームにおいて強力かつ堅実な WPS ソフトウェア一式を利用して、最小限の手間でデータへのより深い洞察を得ることのできるこれら価値ある機械学習技術を多数ご利用いただける予定です。

John Manslow について

John は2014年に数学・統計チームのシニア R&D ソフトウェアエンジニアとして World Programming へ入社。現在は、WPS プラットフォーム用の近代的ディープニューラルネットワーク機能を2017年のリリースに向けて開発中です。Southampton 大学で機械学習についての博士号を取得し、機械学習と統計手法において20年以上の実務経験があります。十数個の特許を所持し、ゲーム AI について7冊の書籍に寄稿、AAAI の審査委員会の座についており、Southampton 大学での講義を行った経験もあり。