Ambienti di Big Data per Hadoop
Hadoop è un ecosistema di componenti di archiviazione ed elaborazione che forniscono un framework di software scalabile e a tolleranza d’errore, per l’archiviazione distribuita e l’elaborazione di set di dati molto grandi su cluster di computer.
WPS è in grado di interagire con ambienti di Big Data per Hadoop di terzi, tra cui le principali distribuzioni di Cloudera, HortonWorks, MapR e Apache Hadoop nativo. WPS è certificato per l’uso con Cloudera versione 5 e versioni successive.
Motore per Hadoop
Il Motore WPS per Hadoop fornisce l’accesso alle origini dati Hive e Impala in un ambiente Hadoop tramite SQL standard o pass-through.
| Tipo di accesso | Supportato? |
|---|---|
| Lettura in corso |  |
| Scrittura in corso | |
| Aggiornamento in corso | |
| Creazione di nuove tabelle in corso | |
| Supporto pass-through implicito | |
| Supporto pass-through esplicito | |
| Caricamento bulk |  |
Il Motore WPS per Hadoop si connette ad un cluster Hadoop usando l’interfaccia JDBC.
Come interagire con ambienti di Big Data per Hadoop
Il modulo Interoperabilità di WPS per Hadoop offre un ulteriore supporto del linguaggio per l'interazione con un ambiente Hadoop. Tale supporto include un’istruzione FILENAME per le connessioni dirette HDFS e una procedura HADOOP per eseguire i comandi Pig e MapReduce direttamente all’interno di un cluster Hadoop.
Dipendenze e utilizzo
È possibile utilizzare il Motore WPS per Hadoop solo sulle piattaforme supportate indicate nella tabella in basso.
| Piattaforma | Supportato? |
|---|---|
| AIX su System p (POWER) | |
| Linux su ARM | |
| Linux su System p (POWER) | |
| Linux su x86 | |
| macOS X su x86 | |
| Solaris su SPARC | |
| Solaris su x86 | |
| Windows su x86 | |
| Linux su Mainframe System z | |
| z/OS su System z | |
