WPS Interop for Hadoop

SAS 言語モジュール

WPS Interop for Hadoop

Hadoop ビッグデータ環境

Hadoop はストーレジと処理コンポーネントのエコシステムであり、スケーラブルで耐障害性の分散型ストーレジのためのソフトウェアフレームワークとコンピュータークラスター上の巨大なデータセットの処理を提供します。

ネイティブの Apache オープンソース版から様々な商業用の Apache 版まで、多数のサードパーティー製の Hadoop 環境をご利用いただけます。WPS はネイティブの Apache Hadoop や Hortonworks、MapR を含む Apache 標準に近い商業版との運用が可能であり、特に WPS は Cloudera の Hadoop 環境のバージョン5以上での使用が認定されています。

対応している Hadoop 機能

WPS Interop for Hadoop モジュールでサードパーティー製の Hadoop ビッグデータ環境との相互運用のための言語サポートを提供しています。

  • HDFS、Pig、MapReduce:HADOOP プロシジャで HDFS コマンド、Pig スクリプトの実行、MapReduce コマンドに対応しています。
  • ファイルタイプ:FILENAME ステートメントで Hadoop ファイルのアクセス方式に対応しています。

その他Hadoop データエンジンモジュールによって対応しています。

  • Hive、Impala:Hadoop 用の WPS エンジンで標準もしくはパススルー SQL を通して Hive と Impala へアクセスすることができます。

依存関係と使用方法

WPS Interop for Hadoop は WPS バージョン 3.2以上で対応しています。

WPS をインストールし使用を開始する前に、サードパーティー製の Hadoop 環境をインストール、設定し操作を確認しておく必要があります。

WPS Interop for Hadoop は Windows と UNIX を含むサードパーティー製の Hadoop 環境に対応しているプラットフォーム上で使用することができます。

詳細情報

以下のドキュメントで WPS と Hadoop の設定と使用方法の詳細をご確認いただけます。

Hadoop への対応 記述
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (886 KB) WPS Interop for Hadoop モジュールのユーザーガイドと言語サポートの索引(ダイアグラム版のシンタックス)
WPS-Configuration-for-Hadoop.pdf (838 KB) WPS Interop for Hadoop モジュールのユーザーガイドと言語サポートの索引(テキスト版のシンタックス)

その他の SAS 言語モジュール