目录
1.系统架构
2.环境搭建
2.1本地环境下kafka批量导入数据
2.2 kafka-manager的安装与配置
3.1 Spark Streaming 性能调优(一): 解决并行度
3.2 Spark Streaming 性能调优(二): 解决task倾斜
上篇文章2.环境搭建的补充
其实下载下来的kafka中就自带了zookeeper服务, 进行kafka/bin目录下会看到有zookeeper-server-start.sh这个脚本,
执行:
bin/zookeeper-server-start.sh config/zookeeper.properties
即可运行与该kafka版本对应的zookeeper
随后执行:
bin/kafka-server-start config/server.properties
执行kafka
但是毕竟我们的spark程序是需要从kafka里面获取数据的, 所以在本地环境下导入数据到kafka供我们的spark程序获取是必须的.
网上很多人的帖子都是说用kafka-connector来导入数据, 但是本地调试的话根本不需要这么大费周章, 因为kafka提供了非常方便的数据导入脚本: kafka-console-producer
kafka-console-producer
输入单挑数据
kafka-console-producer相当于一个运行在控制台的生产者, 它可以由用户手动一条一条地输入数据, 也可以直接指定一个数据文件批量导入, 用法也非常简单:
bin/kafka-console-producer --broker-list localhost:9092 --topic test_topic
控制台就会读取用户输入, 一行为一条数据, 如:
test123 hahaha
批量导入数据
如果想批量导入数据, 我们则可以指定数据源文件
#file_path为数据源文件的路径
bin/kafka-console-producer --broker-list localhost:9092 --topic test_topic < file_path
这样稍等片刻数据就会导入完毕
一个有29w条数据的文件就导入好了!!!
均匀导入数据
按照上面的步骤, kafka确实是导入了数据, 但是你点进去topic的视图, 会发现数据都集中在一个partition上.这对于模拟数据源数据倾斜的情况非常有帮助, 但是如果我们需要的是数据均匀分布在不同partition上的情况呢?
kafka导入数据到分区的机制
要使数据均匀分布在kafka不同的分区上的话, 就必须了解kafka的分发数据的方式.
kafka默认是使用随机轮询的方式来访问不同的分区, 并把数据写入分区的, 而我们使用脚本kafka-console-producer.sh导入数据的时候, kafka是把这个文件中的记录都当做一个批次的数据, 所以就只写入一个分区了.
将文件分片写入kafka
既然kafka把一个文件当一个批次, 那么只要把文件分片成各个小的文件再导入就好了, 这里我的做法是编写了一个shell脚本来分割大文件, 并将小文件逐个导入kafka.
#!/bin/bash
KAFKA_HOME=/home/lalala/CODE/Kafka/kafka_2.10-0.8.2.2
#文件路径和文件名
file_path=$1
file_name=${file_path##*/}
file_dir=${file_path%/*}
echo "$file_path, $file_name, $file_dir"
#分区数
partitions=$2
let file_num=partitions*2
#数据源文件的行数
line_num=`sed -n '$=' $file_path`
echo "the line count of source file $file_name is $line_num"
#分片每个文件的行数
let chunk_line_num=line_num/file_num
echo "the line count of every chunk file is $chunk_line_num"
#创建存储分片的文件夹
if [ -d "$file_dir/$file_name-chunks" ];then
echo "directory $file_dir/$file_name-chunks does exist."
else
mkdir "$file_dir/$file_name-chunks"
fi
#判断文件是否创建成功,如果成功则将源文件内容分片写入
if [ -d "$file_dir/$file_name-chunks" ];then
echo "create dir $file_dir/$file_name-chunks success."
for((i=1;i<=$file_num;i++));
do
line_start=`expr \( $i - 1 \) \* $chunk_line_num + 1`
line_end=`expr $line_start + $chunk_line_num - 1`
awk "NR==$line_start,NR==$line_end" $file_path > "$file_dir/$file_name-chunks/$file_name-$i"
done
else echo "create dir $file_dir/$file_name-chunks fail."
fi
#将各个分片写入kafka
for((i=1;i<=$file_num;i++));
do
su - $USER -c "JMX_PORT=10005 $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic lala_topic < $file_dir/$file_name-chunks/$file_name-$i"
echo "$file_dir/$file_name-chunks/$file_name-$i imported"
done
exit 0
shell脚本的相关语法, 推荐各位做后端开发的童鞋还是都学习一下, 相信以后会大有帮助的.
