Spark es un subproyecto de Hadoop. Por lo tanto, es mejor instalar Spark en un sistema basado en Linux. Los siguientes pasos le muestran cómo instalar Apache Spark.
La instalación de Java es uno de los requisitos previos para instalar Spark. Pruebe el siguiente comando para verificar su versión de JAVA.
$java -version
Si Java ya está instalado en su sistema, verá la siguiente respuesta:
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
Si Java no está instalado en su sistema, instale Java antes de continuar con el siguiente paso.
Para implementar Spark, necesita el lenguaje Scala. Entonces, revisemos la instalación de Scala usando el siguiente comando.
$scala -version
Si Scala ya está instalado en su sistema, verá la siguiente respuesta:
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
Si no tiene Scala instalado en su sistema, vaya al siguiente paso para instalar Scala.
Descargue la última versión de Scala desde el siguiente enlace Descarga Scala… En este tutorial, usamos scala-2.11.6. Una vez descargado, encontrará el archivo tar de Scala en su carpeta de descarga.
Siga las instrucciones a continuación para instalar Scala.
Ingrese el siguiente comando para extraer el archivo tar de Scala.
$ tar xvf scala-2.11.6.tgz
Utilice los siguientes comandos para mover los archivos del software Scala al directorio apropiado (/ usr / local / scala)…
$ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit
Utilice el siguiente comando para configurar PATH para Scala.
$ export PATH = $PATH:/usr/local/scala/bin
Es mejor verificar después de la instalación. Use el siguiente comando para verificar su instalación de Scala.
$scala -version
Si Scala ya está instalado en su sistema, verá la siguiente respuesta:
Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL
Descarga la última versión de Spark desde el siguiente enlace Descarga Spark… Para este tutorial usamos chispa-1.3.1-bin-hadoop2.6 versión. Una vez descargado, encontrará el archivo tar de Spark en su carpeta de descarga.
Siga las instrucciones a continuación para instalar Spark.
El siguiente comando es para extraer el archivo tar de Spark.
$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz
Los siguientes comandos para mover los archivos de software Spark al directorio apropiado (/ usr / local / spark)…
$ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit
Agregue la siguiente lÃnea a ~/.bashrc expediente. Esto significa agregar la ubicación donde está el archivo de software Spark a su variable PATH.
export PATH=$PATH:/usr/local/spark/bin
Utilice el siguiente comando para obtener el archivo ~ /.bashrc.
$ source ~/.bashrc
Escriba el siguiente comando para abrir el shell de Spark.
$spark-shell
Si la chispa se instala correctamente, verá el siguiente resultado.
Spark assembly has been built with Hive, including Datanucleus jars on classpath Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. Welcome to ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ '_/ /___/.__/_,_/_/ /_/_ version 1.4.0 /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) Type in expressions to have them evaluated. Spark context available as sc scala>
🚫