！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下：
virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机）
jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6
本文在前面基础上搭建kafka
一、Scala安装（2.12.6）
在spark1上:
1、下载解压重命名
2、配置Scala环境变量：
export SCALA_HOME=/usr/local/bigdata/scala export PATH=$PATH:$SCALA_HOME/bin
3、验证Scala
root@spark1:/usr/local/bigdata/zk/conf# scala -versionScala code runner version 2.12.6 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.
4、拷贝到spark2 和spark3上
$ cd /usr/local/bigdataroot@spark1:/usr/local/bigdata# scp -r scala root@spark2://usr/local/bigdata/root@spark1:/usr/local/bigdata# scp -r scala root@spark3://usr/local/bigdata/
5、同理配置spark2和spark3环境变量
二、kafka（kafka_2.9.2-0.8.1）
在spark1上：
1、kafka下载解压重命名
2、修改server.properties
$ cd /usr/local/bigdata/kafka$ cd ./config$ vim server.properties
按顺序添加zookeeper的三台主机名
zookeeper.connect=192.168.43.124:2181,192.168.43.123:2181,192.168.43.125:2181
3、进入bin目录下
$ vim kafka-run-class.sh
找到
KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
去掉
-XX:+UseCompressedOops
4、slf4j-1.7.6
下载：链接： 密码：h7bu
解压，将slf4j-nop-1.7.6.jar复制到 kafka 的libs 目录下
5、将kafka拷贝到spark2和spark3上
root@spark1:/usr/local/bigdata# scp -r kafka root@spark2://usr/local/bigdata/root@spark1:/usr/local/bigdata# scp -r kafka root@spark3://usr/local/bigdata/
修改spark2上的kafka 的server.properties文件，将broker.id值改为1
broker.id=1
修改spark3上的kafka 的server.properties文件，将broker.id值改为2
三、启动kafka，三台机器均需要启动
$ cd kafka #进入kafka安装目录下$ ./bin/kafka-server-start.sh config/server.properties &
启动成功
root@spark1:~# jps2465 Jps2435 NodeManager2307 ResourceManager1955 DataNode1829 NameNode1605 Kafka2154 SecondaryNameNode1519 QuorumPeerMain
如果启动出现卡住不动可能是内存不够，解决：
将 kafka-server-start.sh的export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"