Environnements Big Data Hadoop
Hadoop est un système de composants de stockage et de traitement offrant une infrastructure logicielle évolutive et résistante aux fautes pour le stockage et le traitement distribués de très grands ensembles de données sur les grappes d'ordinateurs.
WPS permet l'interopération avec des environnements Big Data Hadoop tiers, notamment les distributions principales Cloudera, Hortonworks, MapR et Hadoop Apache natif. WPS est certifié pour l'utilisation avec Cloudera version 5 et ultérieures.
Moteur Hadoop
Le moteur WPS pour Hadoop permet d'accéder aux sources de données Hive et Impala dans un environnement Hadoop grâce à des instructions SQL en mode standard ou Pass-through.
| Type d'accès | Est-ce pris en charge ? |
|---|---|
| Lecture |  |
| Ecriture | |
| Mise à jour | |
| Création de tables | |
| Prise en charge implicite du mode Pass-through | |
| Prise en charge explicite du mode Pass-through | |
| Chargement en bloc |  |
Le moteur WPS pour Hadoop se connecte aux grappes Hadoop à l'aide de l'interface JDBC.
Interopération avec les environnements Big Data Hadoop
Le module WPS Interop for Hadoop permet la prise en charge d'éléments de langage supplémentaires pour l'interopération avec les environnements Hadoop. Cela inclut une instruction FILENAME pour les connexions HDFS directes, et une procédure HADOOP pour l'exécution de commandes Pig et MapReduce directement dans une grappe Hadoop.
Dépendances et utilisation
Le moteur WPS pour Hadoop ne peut être utilisé que sur les plates-formes indiquées dans le tableau ci-dessous.
| Plate-forme | Est-ce pris en charge ? |
|---|---|
| AIX sur IBM Power | |
| Linux sur ARM | |
| Linux sur IBM Power LE (petit-boutien) | |
| Linux sur x86 | |
| macOS sur x86 | |
| Windows sur x86 | |
| z/OS sur machine architecture 7 | |
