Interoperabilidad de WPS para Hadoop

Módulos de lenguaje SAS

Interoperabilidad de WPS para Hadoop

Entornos de Big Data para Hadoop

Hadoop es un ecosistema de componentes de almacenamiento y procesamiento que proporcionan un marco de trabajo de software escalable y tolerante a errores para el almacenamiento y el procesamiento distribuidos de conjuntos de datos muy grandes en clústeres de ordenadores.

Hay muchos diferentes entornos Hadoop de terceros, disponibles que varían de la versión nativa de código abierto de Apache hasta diferentes variantes comerciales de la versión de Apache. WPS puede operar con variantes nativas de Apache Hadoop y comerciales que permanezcan cerca del estándar de Apache, incluidos Hortonworks, MapR y, en particular, WPS está certificada por Cloudera para el uso con la versión 5 de su entorno Hadoop y superior.

Funciones de Hadoop admitidas

El módulo WPS Interop for Hadoop proporciona un soporte adicional para el lenguaje para interoperar con entornos de Big Data para Hadoop de terceros.

  • HDFS, Pig, MapReduce: el procedimiento HADOOP ofrece el soporte para los comandos HDFS, ejecutando scripts de Pig y comandos MapReduce.
  • Tipos de archivos: la instrucción FILENAME proporciona el soporte para el método de acceso de archivos de Hadoop.

El módulo Motor de datos para Hadoop ofrece un soporte adicional.

  • Hive, Impala: el Motor de WPS para Hadoop ofrece el acceso a orígenes de datos Hive e Impala por medio de SQL estándar o de paso a través.

Dependencias y uso

WPS Interop for Hadoop está admitida en la versión 3.2 de WPS y superior.

Un entorno Hadoop de terceros se debe instalar, configurar y debe de estar totalmente operativo antes de considerar la instalación y el uso de WPS con tal entorno.

Es posible utilizar Interoperabilidad de WPS para Hadoop en las plataformas donde se admiten entornos de Hadoop de terceros, incluidos Windows y UNIX.

Más información

El documento mencionado a continuación proporciona la información acerca de como configurar y utilizar WPS y Hadoop.

Soporte para Hadoop Descripción
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (413 KB) Guía del usuario y búsqueda del soporte para el lenguaje en el módulo WPS Interop for Hadoop (versión DIAGRAMA DE SINTAXIS)
WPS-Configuration-for-Hadoop.pdf (359 KB) Guía del usuario y búsqueda del soporte para el lenguaje en el módulo WPS Interop for Hadoop (versión SINTAXIS DE TEXTO)

Otros módulos de lenguaje SAS