WPS Interop For Hadoop

Modules de langage SAS

Environnements Big Data Hadoop

Hadoop est un système de composants de stockage et de traitement offrant une infrastructure logicielle évolutive et résistante aux fautes pour le stockage et le traitement distribués de très grands ensembles de données sur les clusters.

   

Il existe den nombreux environnements Hadoop tiers, de la version Apache native à la version logiciel libre, ainsi que diverses variantes commerciales de la version Apache. WPS peut interagir avec la version native Apache de Hadoop, ainsi qu’avec les variantes commerciales qui restent proches du standard Apache, notamment Hortonworks, MapR et, en particulier, Cloudera, qui a certifié le fonctionnement de WPS avec son environnement Hadoop version 5 et ultérieures.

Fonctionnalités Hadoop prises en charge

Le module WPS Interop for Hadoop offre une prise en charge étendue des éléments de langage permettant l’interopération avec des environnements Big Data Hadoop tiers.

  • HDFS, Pig, MapReduce : la procédure HADOOP prend en charge les commandes HDFS et exécute les programmes Pig et les commandes MapReduce.
  • Types de fichiers : l’instruction FILENAME offre la prise en charge de la méthode d’accès aux fichiers Hadoop.

Le moteur de données Hadoop prend en charge des éléments de langage supplémentaires.

  • Hive, Impala : le moteur WPS pour Hadoop permet d’accéder aux sources de données Hive et Impala grâce à des instructions SQL en mode standard ou Pass-through.

Dépendances et utilisation

WPS Interop for Hadoop est inclus dans WPS version 3.2 et ultérieures.

Il faut avoir installé un environnement Hadoop tiers, qu’il soit configuré et totalement opérationnel avant de procéder à l’installation et à l’utilisation de WPS avec cet environnement.

WPS Interop for Hadoop peut être utilisé sur les plates-formes Hadoop tierces, notamment Windows et UNIX.

Informations supplémentaires

Le document ci-dessous vous donne une présentation détaillée de la configuration et de l’utilisation de WPS avec Hadoop.

Syntaxe des éléments de langage Description
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (520 KB) Guide utilisateur et référence pour les éléments de langage pris en charge par le module WPS Interop for Hadoop (version diagrammes syntaxiques)

 

Autres modules de langage SAS

WPS Core

Prise en charge des éléments de langage de base, des macros, des formats de fichier standard et de sortie du langage SAS (ensembles de données, fichiers séquentiels, fichiers de transport)

WPS Graphing

Prise en charge des éléments de langage de sortie graphique et de tracé

WPS Statistics

Prise en charge des éléments de langage d'analyse statistique

WPS Time Series

Prise en charge des éléments de langage d'analyse des séries temporelles

WPS Matrix Programming

Syntaxe permettant une manipulation avancée des matrices

WPS Machine Learning

Prise en charge du langage pour les algorithmes d'apprentissage automatique

WPS Interop For R

Prise en charge du langage R

WPS Interop For Python

Prise en charge du langage Python

WPS Interop For Hadoop

Prise en charge des éléments de langage pour l'interopération avec les environnements Big Data Hadoop

WPS Communicate

Demandez de manière programmatique l'exécution de parties d'un programme par des instances de WPS installées sur des serveurs distants ainsi que le chargement et téléchargement de données vers et depuis des serveurs distants.

WPS Language SDK

Développez des éléments de langage SAS personnalisés

Vous avez des questions?

Contactez notre équipe commerciale

Essayer ou acheter

Edition Standard
Edition Education
Edition Communauté