Netty理论二:Netty组件

Netty:一个提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序

1、Netty特性

  • 设计

    • 统一的API,适用于不同的协议(阻塞和非阻塞)
    • 基于灵活、可扩展的事件驱动模型(SEDA)
    • 高度可定制的线程模型
    • 可靠的无连接数据Socket支持(UDP)
  • 性能

    • 更好的吞吐量,低延迟
    • 更省资源
    • 尽量减少不必要的内存拷贝
  • 安全

    • 完整的SSL/ TLS和STARTTLS的支持
  • 易用

    • 完善的Java doc,用户指南和样例
    • 仅依赖于JDK1.6(netty 4.x)

2、Netty主要组件

image.png
  • BootStrap和ServerBootStrap ——Netty服务端及客户端启动类;(对应NIO中的Selector、ServerSocketChannel等的创建、配置、注册、启动等)

  • ByteBuf ——对应于NIO中的ByteBuffer,其实是对NIO Buffer做了一些优化、封装

  • Transport Channel ——Netty处理客户端与服务端之间的连接通道;(对应NIO中的channel)

  • ChannelHandler和ChannelPipeline——实现协议编解码以及业务处理;(对应NIO中的客户逻辑实现handleRead/handleWrite)

3、Netty Server创建流程(BootStrap和ServerBootStrap)

这个必须要知道,无论是工作,还是面试,这个是要经常用到的

image.png
public static void main(String[] args) throws Exception {
        //1、创建ServerBootstrap实例
        ServerBootstrap b = new ServerBootstrap();

        //2、设置并绑定Reactor线程池
        EventLoopGroup boss = new NioEventLoopGroup();//线程工作组,用于接收客户端连接事件
        EventLoopGroup work = new NioEventLoopGroup();  //线程工作组,用于对已连接客户端的读写事件进行操作
        b.group(boss,work); //绑定两个工作线程组

        //3、设置并绑定服务端Channel
        b.channel(NioServerSocketChannel.class)    //设置NIO的模式

                //设置服务端ServerBootStrap启动参数
                .option(ChannelOption.SO_BACKLOG, 1024)    //设置TCP缓冲区
                //.option(ChannelOption.SO_SNDBUF, 32*1024)    // 设置发送数据的缓存大小
                .option(ChannelOption.SO_RCVBUF, 32 * 1024)    // 设置接受数据的缓存大小
                .childOption(ChannelOption.SO_KEEPALIVE, Boolean.TRUE)    // 设置保持连接
                .childOption(ChannelOption.SO_SNDBUF, 32 * 1024)
                // 为bossGroup通道进行初始化: 用于设置日志级别和处理ip校验
                 .handler(new LoggingHandler(LogLevel.INFO))
                 .handler(new RuleBasedIpFilter())
                // 为workGroup通道进行初始化: 客户端数据传输过来的时候会进行拦截和执行(服务端设置childHandler,客户端设置Handler)
                .childHandler(new ChannelInitializer<SocketChannel>() {
                    @Override
                    protected void initChannel(SocketChannel sc) throws Exception {
                          // 4、TCP连接通道channel建立时创建ChannelPipeline
                        ChannelPipeline  pipeline = sc.pipeline();
                        // 5、添加并设置ChannelHandler
                        pipeline.addLast(new ObjectDecoder(1024 * 1024,
                                ClassResolvers.weakCachingConcurrentResolver(this
                                        .getClass().getClassLoader())));
                        pipeline.addLast(new ObjectEncoder());
                        pipeline.addLast(new ServerHandler());
                    }
                });
        //6、绑定监听端口并启动服务器
        ChannelFuture cf = b.bind(8765).sync();

        //释放连接
        cf.channel().closeFuture().sync();
        work.shutdownGracefully();
        boss.shutdownGracefully();

    }
  • 1、设置服务端ServerBootStrap启动参数

    • group——bossGroup,workerGroup—NioEventLoopGroup
    • channel——设置通道类型,NioServerSocketChannel
    • childHandler——设置NioSocketChannel的ChannelHandlerPipeline
  • 2、通过ServerBootStrap的bind方法启动服务端,bind方法会创建一个NioServerSocketChannel实例,用来监听客户端的连接请求,并将其在workGroup中进行注册;

4、Netty Server执行流程

  • 3、bossGroup中的NioEventLoop不断轮询NioServerSocketChannel上是否有新的客户端请求,如果有Client发起连接CONNECT请求,ACCEPT事件触发

  • 4、ACCEPT事件触发后,bossGroup中NioEventLoop会通过NioServerSocketChannel获取到对应的代表客户端的NioSocketChannel,并将其注册到workGroup中的NioEventLoop上(一个nioEventLoop可以管理多个客户端NioSocketChannel)

  • 5、workGroup中的NioEventLoop不断检测自己管理的NioSocketChannel是否有读写事件准备好,如果有的话,调用对应的ChannelHandler进行处理

image.png

5、Netty 传输层 ——Transport Channel

netty中提供了统一的API,可以支持不同类型的传输层:

  • OIO —— 阻塞IO
  • NIO —— Java NIO
  • Epoll —— Linux Epoll(JNI)
  • Local Transport —— IntraVm调用
  • Embedded Transport —— 供测试使用的嵌入传输
  • UDS —— Unix套接字的本地传输
image.png
image.png
  • EventLoopGroup & EventLoop:
image.png

1、EventLoopGroup:线程池,包括多个EventLoop,同时多个EventLoop之间互不交互;

2、EventLoop:每个EventLoop中都有一个Selector,用来管理并且处理连接(channel)上的读写事件;
——每个EventLoop对应一个线程
——所有的客户端连接(channel)都将注册到一个EventLoop中的selector上,并且只注册到一个,整个生命周期都不会变化
——每个EventLoop管理着多个连接(Channel)

image.png

ServerBootGroup中包含2个不同类型的EventLoopGroup:
bossEventLoop:负责处理Accept事件,接收请求
workEventLoop:负责处理读写事件
(看上面Netty Server执行流程)

6、Netty Buffer —— ByteBuf

跟上一章写的Java NIO中的ByteBuf比起来,Netty ByteBuf更加易于使用:

  • 为读写分别维护单独的指针(readerIndex,writerIndex),不需要通过flip()进行读写模式切换
  • 容量自动伸缩(类似于ArrayList、StringBuilder),JavaNIO 中容量是固定的
  • Fluent API (链式调用)

同时,性能更好:

  • 通过内置的CompositeBuffer 来减少数据拷贝(Zero copy)
  • 支持内存池,减少GC压力

ByteBuf操作

1、ByteBuf通过连个索引(readerIndex/writerIndex)划分为三个区域:

  • reader index 前面的数据是已经读过的数据,这些数据可以丢弃
  • 从reader index开始,到writer index之前的数据是可读数据
  • 从writer index开始,为可写区域
image.png

2、读写
1、顺序读写:改变reader/writer index

  • writeByte()
  • writeLong()
  • writeXXX() - 增加write index
  • readByte()
  • readLong()
  • readXXX() - 增加read index

2、随机读写:不改变reader/writer index

  • getXXX(index)
  • setXXX(index, byte)

3、mark/reset : 设置reader/writer index

  • markReaderIndex():标记读索引,标记之后resetReaderIndex重置的读索引值就是标记好的读索引值;
  • markWriterIndex():标记写索引,标记之后resetWriterIndex重置的写索引值就是标记好写索引值;
  • resetReaderIndex():重置读索引值,如果没有mark标记,则重置为0;
  • resetWriterIndex():重置写索引值,如果没有mark标记,则重置为0;
  • writerIndex(index):设置读索引值
  • readerIndex(index):设置写索引值

4、清除/丢弃数据:discardReadBytes/clear
discardReadBytes,清除已读数据,同时把读索引置0,写索引值变小(减去清除的已读数据长度)
clear,读索引和写索引都置0;所有数据都丢弃掉

image.png

5、查询

  • indexOf:首个特定字节的绝对位置
  • bytesBefore:首个特定字节的相对位置,相对读索引
  • forEachByte(ByteBufProcessor):processor返回false时的首个位置

6、ByteBuf 类型

  • 根据内存的位置

    • HeapByteBuf:基于数组(内部为一个字节数组byte array);
      hasArray()返回True;array()返回其内部的数组,可以对数组进行直接操作
    • DirectByteBuf:基于堆外内存,具有良好的性能,但是创建和释放开销很大
  • 根据是否使用内存池

    • Pooled vs Unpooled
  • 根据是否使用Unsafe操作

    • Safe vs Unsafe

7、ChannelPipeline & ChannelHandler

1、 ChannelPipeline :ChannelHandler的容器

  • 包括一系列的ChannelHandler实例,用于拦截流经一个Channel的入站和出站事件
  • 每个Channel都有一个其ChannelPipeline
  • 可以通过动态添加和删除ChannelHandler 来修改ChannelPipeline
  • 定义了丰富的API调用来回应入站和出站事件
image.png

ChannelHandlerContext:表示ChannelHandler 和 ChannelPipeline之间的关联;在ChannelHandler添加到ChannelPipeline时创建

image.png

实战使用一:
从一个ChannelHandler流转到下一个ChannelHandler,调用
ctx.fireChannelRead

image.png

实战使用二:
触发ChannelPipeline中ChannelHandler的回调方法

image.png

2、 Netty ChannelHandler
ChannelHandler:业务处理核心逻辑,用户自定义
Netty提供了2个重要的ChannelHandler子接口:

  • ChannelInboundHandler:处理进站数据和所有状态更改事件
  • ChannelOutboundHandler:处理出站数据,允许拦截各种操作
image.png
  • Channel 状态及其转换
image.png
image.png

当ChannelHandler添加到ChannelPipeline,或者从ChannelPipeline移除后,下面对应的方法将会被调用

image.png
  • ChannelInboundHandler回调方法
    当接收到数据(read、readComplete)或者与之关联的 Channel 状态改变(active、inactive、register、unregister)时调用,这个是工作中用到最多的
image.png
  • ChannelOutboundHandler回调方法
image.png

8、netty客户端创建流程

image.png
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,670评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,928评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,926评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,238评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,112评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,138评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,545评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,232评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,496评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,596评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,369评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,226评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,600评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,906评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,185评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,516评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,721评论 2 335

推荐阅读更多精彩内容