大数据环境部署-JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7

JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7

 

命令：sudo（普通用户执行root的命令权限）；

 

参考：

http://www.linuxdiyf.com/linux/13027.html

http://blog.csdn.net/yeruby/article/details/49805121

 

修改文件夹的所有者

chown [选项]... [所有者][:[组]] 文件...

　　必要参数:

 

　　　　-c 显示更改的部分的信息

 

　　　　-f 忽略错误信息

 

　　　　-h 修复符号链接

 

　　　　-R 处理指定目录以及其子目录下的所有文件

 

　　　　-v 显示详细的处理信息

 

　　　　-deference 作用于符号链接的指向，而不是链接文件本身

命令：sudo chown hadoop:hadoop -R -f /usr/local/hadoop/

监控页面：

Spark Jobs	http://192.168.1.114:4040/
监控Spark运行情况(运行start-all.sh后)	http://192.168.1.114:8080
监控Hadoop	http://192.168.1.114:8088/

 

一、JDK8安装

1、解压

1	sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz

2、移动：mv a b

3-A、设置当前用户的环境变量

1	vi ~/.bashrc

加这些内容到末尾

1 2 3 4 5

#JAVA VARIABLES export JAVA_HOME=/usr/local/jdk1.8.0_65/ export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=${JAVA_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

让设置生效

1	source ~/.bashrc

 

3-B、设置系统的环境变量

1	sudo vim /etc/profile

追加内容到末尾：

1 2 3

export JAVA_HOME=/usr/local/jdk1.8.0_65 export PATH = $JAVA_HOME/bin:$PATH export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

执行：

1	source /etc/profile

测试：

1	java -version

 

二、安装SSH

2.1. 安装ssh
$sudo apt-get installl openssh-server
然后continue YES

 

2.2. 安装好ssh服务后，那就打开这个服务吧
$sudo /etc/init.d/ssh start

 

2.3. 顺便查看下服务是否正确启动：
$ ps -e | grep ssh

 

2.4. 设置免密码登录，生成私钥和公钥

 

$ ssh-keygen -t rsa -P ""

 

在输入路径那儿笔者直接回车，这样在／home／ming/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。

 

2.5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

 

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

2.6. 登陆ssh
$ssh hadoop@localhost
接着输入yes

 

2.7. 退出
$exit

 

三、Hadoop安装

1、解压

2、移动到/usr/local/hadoop文件夹下；

3、给当前用户添加读写权限

1	sudo chmod 777 ./hadoop/

4、设置环境变量

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

#HADOOP VARIABLES #Hadoop2.7.1 export HADOOP_INSTALL=/usr/local/bigdata/hadoop/ export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL 不同的 #Hadoop2.4 export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 5、测试Hadoop

在usr/local/bigdata/hadoop/目录下，有时需要在hadoop/下创建input目录

1	bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

 

 

 

四、安装Spark1.6和Scala2.11.7

1、解压：tar -xzf 文件名

2、配置参数：

1	sudo gedit /etc/profile  或~/.bashrc

追加内容：

1 2 3 4 5 6 7 8 9 10

#Setting Scala Scala环境变量 export SCALA_HOME=/usr/local/bigdata/scala-2.11.7 export PATH=${SCALA_HOME}/bin:$PATH   #setting Spark Spark环境变量 export SPARK_HOME=/usr/local/bigdata/spark-hadoop/ export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin   #PythonPath 将Spark中的pySpark模块增加的Python环境中 export PYTHONPATH=/usr/local/bigdata/spark-hadoop/python

执行：source ~/.bashrc

 

3、测试Spark

3.1、打开命令终端；

3.2、在spark-hadoop目录下，执行以下命令，打开Scala到Spark的连接窗口 ：

1	./bin/spark-shell

启动无错，则打开以下界面：

 

 

3.3、在spark-hadoop目录下，执行以下命令 ,打开Python到Spark的连接窗口

1	./bin/pyspark

启动无错，则打开以下界面：

 

 

3.4、运行SparkPi（不用root权限）

1	run-example org.apache.spark.examples.SparkPi 10

 

3.4、修改spark-env.sh

1 2 3

cd /usr/local/bigdata/spark-hadoop/conf/ cp spark-env.sh.template spark-env.sh vi spark-env.sh

追加内容：

1 2 3 4

export JAVA_HOME=/usr/local/jdk1.8.0_65 export SCALA_HOME=/usr/local/bigdata/scala-2.11.7 export SPARK_MASTER_IP=192.168.1.114 export SPARK_WORKER_MEMORY=1024m

 

3.5、提交任务到Spark集群

1	spark-submit --master spark://192.168.1.114:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi /usr/local/bigdata/spark-hadoop/lib/spark-examples-1.6.0-hadoop2.6.0.jar

 

五、Spark与Hadoop结合使用

1、在Yarn中运行Spark任务，编辑spark-env.sh：

1 2 3

vim /usr/local/bigdata/spark-hadoop/conf/spark-env.sh #追加如下内容 export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/etc/hadoop

 

2、分别开启Hadoop集群和Spark集群：

1 2 3

$HDOOP_HOME/sbin/start-dfs.sh $HDOOP_HOME/sbin/start-yarn.sh $SPARK_HOME/sbin/start-all.sh