Interoperabilità di WPS per Hadoop

Moduli per linguaggio SAS

Interoperabilità di WPS per Hadoop

Ambienti di Big Data per Hadoop

Hadoop è un ecosistema di componenti di archiviazione ed elaborazione che forniscono un framework di software scalabile e a tolleranza d’errore, per l’archiviazione distribuita e l’elaborazione di set di dati molto grandi su cluster di computer.

Vi sono molti diversi ambienti Hadoop di terzi disponibili che variano dalla versione open source Apache nativa fino alle diverse varianti commerciali della versione Apache. WPS è in grado di interagire con le varianti di Apache Hadoop native e commerciali, che si avvicinano allo standard Apache, tra cui Hortonworks, MapR e in particolare, WPS è certificato da Cloudera per l’uso con il loro ambiente Hadoop versione 5 e versioni successive.

Funzionalità di Hadoop supportate

Il modulo WPS Interop for Hadoop fornisce il supporto del linguaggio in modo da interagire con ambienti di Big Data per Hadoop di terzi.

  • HDFS, Pig, MapReduce: la procedura HADOOP fornisce il supporto per i comandi HDFS, eseguendo i comandi degli script Pig e MapReduce.
  • Tipi di file: l’istruzione FILENAME fornisce il supporto per il metodo di accesso ai file Hadoop.

L'ulteriore supporto viene fornito dal modulo Motore dei dati per Hadoop .

  • Hive, Impala: il Motore WPS per Hadoop fornisce l’accesso alle origini dati Hive e Impala tramite SQL standard o pass-through.

Dipendenze e utilizzo

WPS Interop for Hadoop è supportato in WPS versione 3.2 e versioni successive.

Un ambiente Hadoop di terzi si deve installare, configurare e deve essere completamente funzionante prima di considerare l’installazione e l’uso di WPS con un tale ambiente.

È possibile utilizzare Interoperabilità di WPS per Hadoop su piattaforme in cui vengono supportati gli ambienti per Hadoop di terzi, tra cui Windows e UNIX.

Altre informazioni

Il documento menzionato di seguito fornisce i dettagli su come configurare e utilizzare WPS e Hadoop.

Supporto Hadoop Descrizione
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (409 KB) Guida dell’utente e ricerca del supporto del linguaggio nel modulo WPS Interop for Hadoop (versione DIAGRAMMA SINTATTICO)
WPS-Configuration-for-Hadoop.pdf (356 KB) Guida dell’utente e ricerca del supporto del linguaggio nel modulo WPS Interop for Hadoop (versione SINTASSI TESTUALE)

Altri moduli per linguaggio SAS