《spring batch 批处理框架》第1、2章

封面

spring-batch-book.png

总结:这是目前市面上唯一一本中文的spring batch 书籍,版本有点旧了,理念没多大变化,还是很值得一看的。全书分为3块,第一块简介和HelloWorld展示了挺多东西,看的有点晕。第二部分说的非常细,每个Reader,Writer都有demo演示,这块还不错。最后高级部分又是浮光掠影似的,仅仅演示一下。总的来说,相对于reference还是加上了很多内容,有学习意义;但是大部分都是演示性的代码,缺乏一个完整的应用案例,每个都告诉你怎么配,但是什么情况使用确没有说清楚。特别的是RepeatOperations部分完全没有,还需要自己根据文档去补充对应的知识。

第1章 Spring Batch简介

一、批处理

  1. 不需人工介入、自动高效进行复杂的数据处理分析,并能定期(可重复)地完成业务处理的程序。
  2. 特点:自动执行、数据量大(百万-亿,超过还是要用海量数据处理框架-handoop)
  3. 典型场景:文件类型的大批量导入、处理、导出、日终数据整理,转换等。

二、srping batch 批处理应用框架

  1. 业务场景: 定期执行、消息驱动、并行处理、手动重启、顺序执行

  2. 技术目标:
    a. 程序员专注于业务处理,让spring batch框架管理流程
    b. 分离批处理执行环境和应用
    c. 通用核心服务(由接口提供)
    d. 开箱即用的处理方式(默认的执行接口实现)
    e. 结合spring实现灵活的配置,扩展方式
    f. 默认的实现易扩展,替换
    g. 部署简单

  3. spring batch 架构

    spring-batch-architecture.png

  4. 优势:轻量级、高健壮、提供开发效率
    a. 丰富的开箱即用组件(Reader、Writer),减少开发时间
    b. 面向Chunk的处理(写入针对批,兼顾效率和可靠性)
    c. 事务管理能力
    d. 元数据管理
    e. 易监控的批处理应用
    f. 丰富的流程定义
    g. 健壮的应用特性(跳过,重试,重启)
    h. 易扩展
    i. 可灵活复用先用的IT资产(通过Adapter封装)

  5. 2.0新特性(略)

  6. 2.2新特性(略)

  7. 搭建开发环境:

git clone https://github.com/spring-guides/gs-batch-processing.git
推荐从官网下载指引项目

第二章: Hello World

一、场景说明: 输入个人消费记录,生成对账单

二、项目准备

  1. 项目结构,代码量不大
  2. 对账单文件内容,领域对象,账单CreditBill

三、Job基础设施(Job-Context.xml)

包含:作业仓库、任务调度器、事务管理器。

四、对账Job配置:

<Job>元素,配置在job.xml中,包含reader,writer,processor三种Bean.

  1. ItemReader:用了spring batch提供的FlatFileItemReader,以及传入领域对象CreditBill
  2. ItemProcessor: 这个是自己实现的,通过<>泛型定义传入,传出对象类型
  3. ItemWriter:用了spring batch提供的FlatFileItemWriter.

五、执行Job

使用java调用JobExecution的方式

六、上述用到的概念说明.

spring-batch-core-concept.png

这章一上来就是完整工程的demo讲解,看起来确实有些吃力.不过稍微了解了概念,后面看的就顺了.

参考文章

一篇文章全面解析大数据批处理框架Spring Batch
http://geek.csdn.net/news/detail/128641
从头认识SpringBatch批处理框架
http://blog.csdn.net/u011659172/article/category/6105368
Spring Batch参考文档中文版(3.0-不全)
https://kimmking.gitbooks.io/springbatchreference/content/
Spring Batch - Reference Documentation
https://docs.spring.io/spring-batch/trunk/reference/html/index.html

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容