NIO学习

背景知识

同步、异步、阻塞、非阻塞

首先,这几个概念非常容易搞混淆,但NIO中又有涉及,所以总结一下。

同步:API调用返回时调用者就知道操作的结果如何了(实际读取/写入了多少字节)。

异步:相对于同步,API调用返回时调用者不知道操作的结果,后面才会回调通知结果。

阻塞:当无数据可读,或者不能写入所有数据时,挂起当前线程等待。

非阻塞:读取时,可以读多少数据就读多少然后返回,写入时,可以写入多少数据就写入多少然后返回。


RPC机制采用的是java NIO和动态代理(参考博客:https://www.jianshu.com/p/c6626aff1d97 ) 的方式。今天我们来看一下java NIO。

首先我们要清楚什么是RPC?

一  . 什么是RPC

RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。


RPC原理图

运行时,一次客户机对服务器的RPC调用,其内部操作大致有如下十步:

1.调用客户端句柄;执行传送参数

2.调用本地系统内核发送网络消息

3.消息传送到远程主机

4.服务器句柄得到消息并取得参数

5.执行远程过程

6.执行的过程将结果返回服务器句柄

7.服务器句柄返回结果,调用远程系统内核

8.消息传回本地主机

9.客户句柄由内核接收消息

10.客户接收句柄返回的数据


二.java NIO 和阻塞I/O的区别 

1. 阻塞I/O通信模型 

使用传统的I/O程序读取文件内容, 并写入到另一个文件(或Socket), 如下程序:

File.read(fileDesc, buf, len);

Socket.send(socket, buf, len);

会有较大的性能开销,主要表现在一下两方面:

1.上下文切换(context switch), 此处有4次用户态和内核态的切换

2. Buffer内存开销, 一个是应用程序buffer, 另一个是系统读取buffer以及socket buffer

其运行示意图如下 


传统I/O读写文件

1)先将文件内容从磁盘中拷贝到操作系统buffer

2)再从操作系统buffer拷贝到程序应用buffer

3)从程序buffer拷贝到socket buffer

4)从socket buffer拷贝到协议引擎.

2.java NIO原理及通信模型 

NIO技术省去了将操作系统的read buffer拷贝到程序的buffer, 以及从程序buffer拷贝到socket buffer的步骤, 直接将 read buffer 拷贝到 socket buffer. java 的 FileChannel.transferTo() 方法就是这样的实现, 这个实现是依赖于操作系统底层的sendFile()实现的.

publicvoid transferTo(long position, long count, WritableByteChannel target);

他的底层调用的是系统调用sendFile()方法

sendfile(int out_fd, int in_fd, off_t *offset, size_t count);


NIO读写文件

Java NIO是在jdk1.4开始使用的,它既可以说成“新I/O”,也可以说成非阻塞式I/O。下面是java NIO的工作原理:

1. 由一个专门的线程来处理所有的 IO 事件,并负责分发。 

2. 事件驱动机制:事件到的时候触发,而不是同步的去监视事件。 

3. 线程通讯:线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。 

下面贴出java NIO的工作原理图:


java NIO的工作原理图

(注:每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。)

Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件,这种通信模型是怎么实现的呢?呵呵,我们一起来探究它的奥秘吧。java NIO采用了双向通道(channel)进行数据传输,而不是单向的流(stream),在通道上可以注册我们感兴趣的事件。一共有以下四种事件:


事件名对应值

服务端接收客户端连接事件SelectionKey.OP_ACCEPT(16)

客户端连接服务端事件SelectionKey.OP_CONNECT(8)

读事件SelectionKey.OP_READ(1)

写事件SelectionKey.OP_WRITE(4)


服务端和客户端各自维护一个管理通道的对象,我们称之为selector,该对象能检测一个或多个通道 (channel) 上的事件。我们以服务端为例,如果服务端的selector上注册了读事件,某时刻客户端给服务端发送了一些数据,阻塞I/O这时会调用read()方法阻塞地读取数据,而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector,如果访问selector时发现有感兴趣的事件到达,则处理这些事件,如果没有感兴趣的事件到达,则处理线程会一直阻塞直到感兴趣的事件到达为止。


java NIO的通信模型示意图

二.java NIO服务端和客户端代码实现 

为了更好地理解java NIO,下面贴出服务端和客户端的简单代码实现。

服务端:

Java代码

import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.ServerSocketChannel;

import java.nio.channels.SocketChannel;

import java.util.Iterator;

/**

* 服务端

*/

public class NIOServer {

    //通道管理器

    private Selector selector;

    /**

    * 获得一个ServerSocket通道,并对该通道做一些初始化工作

    */

    public void initServer(int port) throws IOException {

        //获得一个ServerSocket通道,相当于传统IO中的ServerSocket

        ServerSocketChannel serverSocketChannel=ServerSocketChannel.open();

        //设置通道为非阻塞

        serverSocketChannel.configureBlocking(false);

        //将该通道对应的ServerSocket绑定到port端口

        serverSocketChannel.socket().bind(new InetSocketAddress(port));

        //获得一个通道管理器

        this.selector=Selector.open();

        //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_ACCEPT事件,注册该事件后,

        //当该事件到达时,selector.select()会返回,如果该事件没到达selector.select()会一直阻塞。

        serverSocketChannel.register(selector,SelectionKey.OP_ACCEPT);

    }

    /**

    * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理

    * @throws IOException

    */

    public void listen() throws IOException {

        System.out.println("服务端启动成功");

        //轮询访问selector

        while (true){

            //当注册事件到达时方法返回,否则一直阻塞

            selector.select();

            //获得selector中选中的项的迭代器,选中的项为注册的事件

            Iterator iterator=this.selector.selectedKeys().iterator();

            while (iterator.hasNext()){

                SelectionKey key= (SelectionKey) iterator.next();

                // 删除已选的key,以防重复处理

                iterator.remove();

                //客户端请求连接事件

                if (key.isAcceptable()){

                    ServerSocketChannel serverSocketChannel= (ServerSocketChannel) key.channel();

                    //获得和客户端连接的通道

                    SocketChannel channel=serverSocketChannel.accept();

                    //设置成非阻塞

                    channel.configureBlocking(false);

                    //在这里可以给客户端发送信息哦

                    channel.write(ByteBuffer.wrap(new String("向客户端发送了一条信息").getBytes()));

                    //在和客户端连接成功之后,为了可以接收到客户端的信息,需要给通道设置读的权限。

                    channel.register(this.selector, SelectionKey.OP_READ);

                }else if (key.isReadable()){

                    read(key);

                }

            }

        }

    }

    /**

    * 处理读取客户端发来的信息 的事件

    * @param key

    */

    private void read(SelectionKey key) throws IOException {

        // 服务器可读取消息:得到事件发生的Socket通道

        SocketChannel channel = (SocketChannel) key.channel();

        // 创建读取的缓冲区

        ByteBuffer buffer=ByteBuffer.allocate(10);

        channel.read(buffer);

        byte[] data=buffer.array();

        String msg=new String(data).trim();

        System.out.println("服务端收到的消息:"+msg);

        ByteBuffer outBuffer=ByteBuffer.wrap(msg.getBytes());

        channel.write(outBuffer);// 将消息回送给客户端

    }

    /**

    * 启动服务端测试

    * @throws IOException

    */

    public static void main(String[] args) throws IOException {

        NIOServer server = new NIOServer();

        server.initServer(8000);

        server.listen();

    }

}

客户端

import java.io.IOException;

import java.net.InetSocketAddress;

import java.nio.ByteBuffer;

import java.nio.channels.SelectionKey;

import java.nio.channels.Selector;

import java.nio.channels.SocketChannel;

import java.util.Iterator;

public class NIOClient {

    //通道管理器

    private Selector selector;

    /**

    * 获得一个Socket通道,并对该通道做一些初始化的工作

    * @param ip 连接的服务器的ip

    * @param port  连接的服务器的端口号

    * @throws IOException

    */

    public void initClient(String ip,int port) throws IOException {

        // 获得一个Socket通道

        SocketChannel channel = SocketChannel.open();

        // 设置通道为非阻塞

        channel.configureBlocking(false);

        // 获得一个通道管理器

        this.selector = Selector.open();

        // 客户端连接服务器,其实方法执行并没有实现连接,需要在listen()方法中调

        //用channel.finishConnect();才能完成连接

        channel.connect(new InetSocketAddress(ip,port));

        //将通道管理器和该通道绑定,并为该通道注册SelectionKey.OP_CONNECT事件。

        channel.register(selector, SelectionKey.OP_CONNECT);

    }

    /**

    * 采用轮询的方式监听selector上是否有需要处理的事件,如果有,则进行处理

    * @throws IOException

    */

    @SuppressWarnings("unchecked")

    public void listen() throws IOException {

        // 轮询访问selector

        while (true) {

            selector.select();

            // 获得selector中选中的项的迭代器

            Iterator ite = this.selector.selectedKeys().iterator();

            while (ite.hasNext()) {

                SelectionKey key = (SelectionKey) ite.next();

                // 删除已选的key,以防重复处理

                ite.remove();

                // 连接事件发生

                if (key.isConnectable()) {

                    SocketChannel channel = (SocketChannel) key

                            .channel();

                    // 如果正在连接,则完成连接

                    if(channel.isConnectionPending()){

                        channel.finishConnect();

                    }

                    // 设置成非阻塞

                    channel.configureBlocking(false);

                    //在这里可以给服务端发送信息哦

                    channel.write(ByteBuffer.wrap(new String("向服务端发送了一条信息").getBytes()));

                    //在和服务端连接成功之后,为了可以接收到服务端的信息,需要给通道设置读的权限。

                    channel.register(this.selector, SelectionKey.OP_READ);

                    // 获得了可读的事件

                } else if (key.isReadable()) {

                    read(key);

                }

            }

        }

    }

    /**

    * 处理读取服务端发来的信息 的事件

    * @param key

    * @throws IOException

    */

    public void read(SelectionKey key) throws IOException{

        // 服务器可读取消息:得到事件发生的Socket通道

        SocketChannel channel = (SocketChannel) key.channel();

        // 创建读取的缓冲区

        ByteBuffer buffer=ByteBuffer.allocate(10);

        channel.read(buffer);

        byte[] data=buffer.array();

        String msg=new String(data).trim();

        System.out.println("客户端收到的消息:"+msg);

        ByteBuffer outBuffer=ByteBuffer.wrap(msg.getBytes());

        channel.write(outBuffer);// 将消息回送给客户端

    }

    /**

    * 启动客户端测试

    * @throws IOException

    */

    public static void main(String[] args) throws IOException {

        NIOClient client = new NIOClient();

        client.initClient("localhost",8000);

        client.listen();

    }

}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容