WPS Engine for Hadoop

データエンジンモジュール

WPS Engine for Hadoop

Hadoop ビッグデータ環境

Hadoop はストーレジと処理コンポーネントのエコシステムであり、スケーラブルで耐障害性の分散型ストーレジのためのソフトウェアフレームワークとコンピュータークラスター上の巨大なデータセットの処理を提供します。

Mapr logoCloudera certified

WPS は主要なディストリビューションの Cloudera や Hortonworks、MapR、ネイティブの Apache Hadoop を含むサードパーティー製の Hadoop ビッグデータ環境と共に稼働することが可能です。WPS は Cloudera バージョン5とそれ以降での使用を認定されています。

Hadoop エンジン

WPS Engine for Hadoop は、標準もしくはパススルー SQLを通した Hive と Impala のデータソースへのアクセスを Hadoop 環境で提供します。

アクセスのタイプ 対応しているかどうか
読み はい
書き はい
更新 はい
テーブルの新規作成 はい
暗黙的なパススルーのサポート はい
明示的なパススルーのサポート はい
バルクロード いいえ

この Hadoop 用の WPS エンジンは、 JDBC インターフェースを使用して Hadoop クラスターへ接続します。

Hadoop ビッグデータ環境との相互運用

WPS Interop for Hadoop モジュールは、 Hadoop 環境との相互運用のために、新たに言語サポートを追加しました。これは HDFS への直接接続のための FILNAME ステートメントと、 Hadoop クラスター内から直接 Pig と MapReduce コマンドを実行する HADOOP プロシジャを含んでいます。

依存関係と使用方法

WPS Engine for Hadoop は、下の表で対応しているプラットフォームでのみの使用になります。

プラットフォーム 対応しているかどうか
System p (POWER) 上の AIXはい
ARM 上の Linuxはい
System p (POWER) 上の Linuxはい
x86上の Linuxはい
x86上の macOSはい
SPARC 上の Solarisはい
x86上の Solarisはい
x86上の Windowsはい
メインフレーム System z 上の Linuxはい
System z 上の z/OSいいえ

その他のデータエンジンモジュール