WPS Interop for Hadoop

Modules de langage SAS

WPS Interop for Hadoop

Environnements Big Data Hadoop

Hadoop est un système de composants de stockage et de traitement offrant une infrastructure logicielle évolutive et résistante aux fautes pour le stockage et le traitement distribués de très grands ensembles de données sur les clusters.

Mapr logoCloudera certified

Il existe den nombreux environnements Hadoop tiers, de la version Apache native à la version logiciel libre, ainsi que diverses variantes commerciales de la version Apache. WPS peut interagir avec la version native Apache de Hadoop, ainsi qu'avec les variantes commerciales qui restent proches du standard Apache, notamment Hortonworks, MapR et, en particulier, Cloudera, qui a certifié le fonctionnement de WPS avec son environnement Hadoop version 5 et ultérieures.

Fonctionnalités Hadoop prises en charge

Le module WPS Interop for Hadoop offre une prise en charge étendue des éléments de langage permettant l'interopération avec des environnements Big Data Hadoop tiers.

  • HDFS, Pig, MapReduce : la procédure HADOOP prend en charge les commandes HDFS et exécute les programmes Pig et les commandes MapReduce.
  • Types de fichiers : l'instruction FILENAME offre la prise en charge de la méthode d'accès aux fichiers Hadoop.

Le moteur de données Hadoop prend en charge des éléments de langage supplémentaires.

  • Hive, Impala : le moteur WPS pour Hadoop permet d'accéder aux sources de données Hive et Impala grâce à des instructions SQL en mode standard ou Pass-through.

Dépendances et utilisation

WPS Interop for Hadoop est inclus dans WPS version 3.2 et ultérieures.

Il faut avoir installé un environnement Hadoop tiers, qu'il soit configuré et totalement opérationnel avant de procéder à l'installation et à l'utilisation de WPS avec cet environnement.

WPS Interop for Hadoop peut être utilisé sur les plates-formes prenant en charge les environnements Hadoop tiers, notamment Windows et UNIX.

Informations supplémentaires

Le document ci-dessous vous donne une présentation détaillée de la configuration et de l'utilisation de WPS avec Hadoop.

Prise en charge de Hadoop Description
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (359 KB) Guide utilisateur et référence pour les éléments de langage pris en charge par le module WPS Interop for Hadoop (version diagrammes syntaxiques)
WPS-Configuration-for-Hadoop.pdf (413 KB) Guide utilisateur et référence pour les éléments de langage pris en charge par le module WPS Interop for Hadoop (version notation textuelle)

Autres modules de langage SAS