Interoperabilità di WPS per Hadoop

Moduli per linguaggio SAS

Ambienti di Big Data per Hadoop

Hadoop è un ecosistema di componenti di archiviazione ed elaborazione che forniscono un framework di software scalabile e a tolleranza d’errore, per l’archiviazione distribuita e l’elaborazione di set di dati molto grandi su cluster di computer.

Vi sono molti diversi ambienti Hadoop di terzi disponibili che variano dalla versione open source Apache nativa fino alle diverse varianti commerciali della versione Apache. WPS è in grado di interagire con le varianti di Apache Hadoop native e commerciali, che si avvicinano allo standard Apache, tra cui Hortonworks, MapR e in particolare, WPS è certificato da Cloudera per l’uso con il loro ambiente Hadoop versione 5 e versioni successive.

Funzionalità di Hadoop supportate

Il modulo WPS Interop for Hadoop fornisce il supporto del linguaggio in modo da interagire con ambienti di Big Data per Hadoop di terzi.

  • HDFS, Pig, MapReduce: la procedura HADOOP fornisce il supporto per i comandi HDFS, eseguendo i comandi degli script Pig e MapReduce.
  • Tipi di file: l’istruzione FILENAME fornisce il supporto per il metodo di accesso ai file Hadoop.

Il modulo Motore dei dati per Hadoop fornisce un ulteriore supporto.

  • Hive, Impala: il Motore WPS per Hadoop fornisce l’accesso alle origini dati Hive e Impala tramite SQL standard o pass-through.

Dipendenze e utilizzo

WPS Interop for Hadoop è supportato in WPS versione 3.2 e versioni successive.

Un ambiente Hadoop di terzi si deve installare, configurare e deve essere completamente funzionante prima di considerare l’installazione e l’uso di WPS con un tale ambiente.

È possibile utilizzare Interoperabilità di WPS per Hadoop su  piattaforme  in cui gli ambienti Hadoop di terzi siano supportati, tra cui Windows e UNIX.

Altre informazioni

Il documento riportato di seguito fornisce informazioni dettagliate su come configurare e utilizzare WPS e Hadoop.

Sintassi del linguaggio Descrizione
WPS-Configuration-for-Hadoop-Syntax-Diagram.pdf (520 KB) Guida dell’utente e ricerca del supporto del linguaggio nel modulo WPS Interop for Hadoop (versione DIAGRAMMA SINTATTICO)

 

Altri moduli per linguaggio SAS

Base di WPS

Supporto per linguaggio di base, macro, output e formati di file dati standard (set di dati, file sequenziali, file di trasporto)

Grafica di WPS

Supporto del linguaggio per la creazione di grafici e diagrammi

Statistiche di WPS

Supporto del linguaggio per l’analisi statistica

Serie storiche di WPS

Supporto del linguaggio per l’analisi delle serie storiche

Programmazione matriciale di WPS

Sintassi del linguaggio per manipolazione della matrice avanzata

Apprendimento automatico di WPS

Supporto del linguaggio per algoritmi di apprendimento automatico

Interoperabilità di WPS per Hadoop

Supporto per il linguaggio per interagire con ambienti di Big Data per Hadoop

WPS Communicate

Esegui in modo programmatico parti di uno script su installazioni di server remoti di WPS e caricare/scaricare dati su/da server remoti.

SDK per linguaggi di WPS

Sviluppa i tuoi elementi del linguaggio SAS personalizzati