电商商城定制开发5.1 Spark的安装与使用

第一关 Scala电商商城定制开发语言开发环境的部署

        1.下载解压

        电商商城定制开发在根据平台选择下载Scala的安装包-2.17.7.tgz        

        解压到/app目录下:

mkdir /app //创建 app 目录

cd /opt

tar -zxvf scala-2.12.7.tgz -C /app

educoder平台已经将解压包下载在/opt目录下了,就不需要再从网络下载了,只需要解压即可。 

        2.配置环境

        进入/etc/profile文件 

vim /etc/profile

        在文件末尾加入如下代码: 

 #set scala
SCALA_HOME=/app/scala-2.12.7
export PATH=$PATH:$SCALA_HOME/bin

         让刚才的配置生效:

source /etc/profile

        3.校验

        在命令行输入:scala -version,出现如下结果表示配置成功。

第二关 安装与配置Spark开发环境

        1.下载解压安装包

        从下载好安装包-2.2.2-bin-hadoop2.7.tgz

        educoder平台已经将spark安装包下载到/opt目录下了,所以不需要再下载了。

        将压缩包解压到/app目录下:

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app

        2.配置环境变量

        将spark的根目录配置到/etc/profile中(在文件末尾添加)。

vim /etc/profile

 #set spark environment
SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

        使刚才的配置生效:

source /etc/profile 

        3.配置Spark环境

        切换到conf目录下:

cd /app/spark-2.2.2-bin-hadoop2.7/conf

        使用命令复制spark-env.sh.template文件并重命名为spark-env.sh 

cp spark-env.sh.template spark-env.sh

        输入hostname命令获得机器名/主机名(等一下会用到):

hostname

        接下来编辑spark-env.sh 

vim spark-env.sh

        在文件末尾添加如下配置: 

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
export SCALA_HOME=/app/scala-2.12.7
export HADOOP_HOME=/usr/local/hadoop/
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=evassh-7930994 #这里填自己的主机名!!!   
export SPARK_LOCAL_IP=evassh-7930994

        保存并退出。 

        4.校验

        回到Spark的根目录:

cd ..

       输入命令./sbin/start-all.sh启动Spark

       使用jps命令查看是否启动成功,有wokermaster节点代表启动成功。

 

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发