Entornos de Big Data para Hadoop
Hadoop es un ecosistema de componentes de almacenamiento y procesamiento que proporcionan un marco de trabajo de software escalable y tolerante a errores para el almacenamiento y el procesamiento distribuidos de conjuntos de datos muy grandes en clústeres de ordenadores.
WPS es capaz de operar con entornos de Big data para Hadoop de terceros, incluidos las principales distribuciones de Cloudera, Hortonworks, MapR y Apache Hadoop nativo. WPS está certificado para su uso con la versión 5 de Cloudera y superior.
Motor para Hadoop
El Motor de WPS para Hadoop ofrece el acceso a orígenes de datos Hive e Impala en un entorno Hadoop, por medio de SQL estándar o de paso a través.
| Tipo de acceso | ¿Compatible? |
|---|---|
| Lectura |  |
| Escritura | |
| Actualización | |
| Creación de nuevas tablas | |
| Soporte de paso a través implícito | |
| Soporte de paso a través explícito | |
| Carga masiva |  |
El Motor de WPS para Hadoop se conecta a un clúster Hadoop por medio de la interfaz JDBC.
Interoperación de entornos de Big Data para Hadoop
El módulo Interoperabilidad de WPS para Hadoop proporciona un soporte adicional para el lenguaje para interoperar con un entorno Hadoop. Esto incluye una instrucción FILENAME para las conexiones directas HDFS y un procedimiento HADOOP para la ejecución de los comandos Pig y MapReduce, directamente dentro de un clúster Hadoop.
Dependencias y uso
El Motor de WPS para Hadoop solo se puede utilizar en las plataformas admitidas que se indican en la tabla a continuación.
| Plataforma | ¿Compatible? |
|---|---|
| AIX en System p (POWER) | |
| Linux en ARM | |
| Linux en System p (POWER) | |
| Linux en x86 | |
| macOS en x86 | |
| Solaris en SPARC | |
| Solaris en x86 | |
| Windows en x86 | |
| Linux en Mainframes System z | |
| z/OS en System z | |
