Flink学习笔记(1):Word Count

本文是学习Apache Flink的开始,记录了Flink Local模式的部署,并运行了Word Count例子。

1.下载和部署。

Flink可以运行在Linux、MacOS和Windows系统上,需要JDK1.7+的支持。本文记录了在linux(CentOS 6.7)上部署过程,默认已经安装了JDK1.8。

1.1 下载

从下面的链接中下载二进制的Flink,根据你喜欢的Hadoop/Scala版本选择对应的Flink版本。
http://flink.apache.org/downloads.html

1.2 部署

我们选择的版本是flink-1.1.2-bin-hadoop26-scala_2.11.tgz,放置在/opt目录下。

# 去下载目录
cd /opt
# 解压下载的压缩包
tar zxvf flink-1.1.2-bin-hadoop26-scala_2.11.tgz
cd flink-1.1.2
# 启动Flink
bin/start-local.sh

如要停止Flink,请使用命令:bin/stop-local.sh

如果Flink采用local模式部署,则JobManager和TaskManager在同一个进程内,可以通过jps 或者 ps -ef|grep flink来查看进程,只有一个名为JobManager的进程。这一点,在start-local.sh脚本里也可以发现,脚本内容如下。

STREAMING_MODE=$1

bin=`dirname "$0"`
bin=`cd "$bin"; pwd`
. "$bin"/config.sh

# local mode, only bring up job manager. 
   # The job manager will start an internal task manager
"$FLINK_BIN_DIR"/jobmanager.sh start local

1.3 访问Flink监控界面

访问Flink前端界面,确认系统启动,地址:http://localhost:8081

jobmanager-1.png

2. 运行WordCount

在数据处理领域,WordCount就是HelloWorld。Flink自带WordCount例子,它通过socket读取text数据,并且统计每个单词出现的次数。如果你想查阅例子源码,请点击链接:SocketWindowWordCount源码

2.1 启动本地监听

首先,使用nc命令启动一个本地监听,命令是:

nc -l 9000

如果报错:-bash: command not found,请先安装nc,在线安装命令:yum -y install nc

新开一个shell窗口,通过netstat命令观察9000端口。

netstat -anlp | grep 9000

观察结果如下

#协议 收 发  内部地址        外部地址    状态     进程
tcp      0  0    0.0.0.0:9000   0.0.0.0:*  LISTEN  19514/nc

2.2 提交WordCount程序

提交WordCount程序的命令:

cd /opt/flink-1.1.2
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

日志信息如下:

09/23/2016 12:33:49    Job execution switched to status RUNNING.
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to SCHEDULED 
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to DEPLOYING 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to SCHEDULED 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to DEPLOYING 
09/23/2016 12:33:49    Fast SlidingProcessingTimeWindows(5000, 1000) of WindowedStream.main(SocketWindowWordCount.java:79) -> Sink: Unnamed(1/1) switched to RUNNING 
09/23/2016 12:33:49    Source: Socket Stream -> Flat Map(1/1) switched to RUNNING 

新开一个shell窗口,通过netstat命令观察9000端口。

netstat -anlp | grep 9000

观察结果如下,18569是Flink的进程号,19857是nc进程号,两者之间建立了一条连接。

#协议 收 发  内部地址        外部地址    状态     进程
tcp  0  0   0.0.0.0:9000   0.0.0.0:*  LISTEN   19857/nc            
tcp  0  0  127.0.0.1:9000  127.0.0.1:57454  ESTABLISHED 19857/nc            
tcp  0    0  ::ffff:127.0.0.1:57454  ::ffff:127.0.0.1:9000  ESTABLISHED 18569/java

Flink前端界面可以观察到有一个Running Job。

![Uploading jobmanager-3_342282.png . . .]
jobmanager-3.png

2.3 发送数据

在启动nc的shell窗口,输入

cup cup cup water water
Paste_Image.png

新开一个shell窗口,去/opt/flink-1.1.2/log目录下,执行tail -f flink*.out,可以查看到word count的结果。

cup : 3
water : 2

如要停止Flink,请使用命令:bin/stop-local.sh

https://ci.apache.org/projects/flink/flink-docs-release-1.1/quickstart/setup_quickstart.html

(完)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,045评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,114评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,120评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,902评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,828评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,132评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,590评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,258评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,408评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,335评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,385评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,068评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,660评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,747评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,967评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,406评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,970评论 2 341

推荐阅读更多精彩内容