Hadoop ビッグデータ環境
Hadoop はストーレジと処理コンポーネントのエコシステムであり、スケーラブルで耐障害性の分散型ストーレジのためのソフトウェアフレームワークとコンピュータークラスター上の巨大なデータセットの処理を提供します。
WPS は主要なディストリビューションの Cloudera や Hortonworks、MapR、ネイティブの Apache Hadoop を含むサードパーティー製の Hadoop ビッグデータ環境と共に稼働することが可能です。WPS は Cloudera バージョン5とそれ以降での使用を認定されています。
Hadoop エンジン
WPS Engine for Hadoop は、標準もしくはパススルー SQLを通した Hive と Impala のデータソースへのアクセスを Hadoop 環境で提供します。
| アクセスのタイプ | 対応しているかどうか |
|---|---|
| 読み |  |
| 書き | |
| 更新 | |
| テーブルの新規作成 | |
| 暗黙的なパススルーのサポート | |
| 明示的なパススルーのサポート | |
| バルクロード |  |
この Hadoop 用の WPS エンジンは、 JDBC インターフェースを使用して Hadoop クラスターへ接続します。
Hadoop ビッグデータ環境との相互運用
WPS Interop for Hadoop モジュールは、 Hadoop 環境との相互運用のために、新たに言語サポートを追加しました。これは HDFS への直接接続のための FILNAME ステートメントと、 Hadoop クラスター内から直接 Pig と MapReduce コマンドを実行する HADOOP プロシジャを含んでいます。
依存関係と使用方法
WPS Engine for Hadoop は、下の表で対応しているプラットフォームでのみの使用になります。
| プラットフォーム | 対応しているかどうか |
|---|---|
| IBM Power 上の AIX | |
| ARM 上の Linux | |
| IBM Power 上の Linux | |
| x86上の Linux | |
| x86上の macOS | |
| x86上の Windows | |
| アークテクチャー7のマシン上の z/OS | |
