管道机制

本文摘抄自linux基础编程

管道指的是从一个进程连接数据流到另一个进程。它具有以下特点:

  • 管道是半双工的,数据只能向一个方向流动;需要双方通信时,需要建立起两个管道
  • 只能用于父子进程或者兄弟进程之间(具有亲缘关系的进程);
  • 单独构成一种独立的文件系统:管道对于管道两端的进程而言,就是一个文件,但它不是普通的文件,它不属于某种文件系统,而是自立门户,单独构成一种文件系统,并且只存在与内存中

数据的读出和写入:一个进程向管道中写的内容被管道另一端的进程读出。写入的内容每次都添加在管道缓冲区的末尾,并且每次都是从缓冲区的头部读出数据

本文详细介绍管道相关信息。

管道

基于标准库popen和pclose的进程管道

#include <stdio.h>  
FILE *popen(const char *command, const char *type);  
int pclose(FILE *stream);  

popen允许一个程序将另一个程序作为新进程启动。并可以传递数据给它或者通过它接受数据。type仅能为"r"和“w”两种。当type="r"时,调用程序可以通过FILE文件流指针从被调用程序的输出获得数据;当type="w"时,调用程序可以通过fwrite函数向被调用程序发送数据。popen函数不支持任何其他选项。当popen启动的进程结束后,需要利用pclose关闭与之关联的文件流。如果在调用pclose时候,进程还在运行,那么pclose将会阻塞等待进程结束再返回。

static void check_image(char * imagename)  
{  
    FILE * fp;  
    char command[120];  
    char buf[200];  
    bool ret;  
  
    sprintf(command, "cksum %s", imagename);  
    fp = popen(command, "r");  
    if(fp == NULL) return;  
  
    fgets(buf, 200, fp);  
    fprintf(stdout, "Check Image:  %s... Done\n", buf);  
    fclose(fp);  
    return;  
}  

基于系统调用pipe的进程管道

#include <unistd.h>  
int pipe(int pipefd[2]);  

利用pipe创建的管道包含两个文件描述符fd[0]以及fd[1],需要注意的是,该处是文件描述符而不是文件流,对该文件描述符进行读写必须采用read和write系统调用,管道的两端是固定了任务的。即一端只能用于读,由描述字fd[0]表示,称其为管道读端;另一端则只能用于写,由描述字fd[1]来表示,称其为管道写端。如果试图从管道写端读取数据,或者向管道读端写入数据都将导致错误发生。结构如下图:

从管道中读取数据
如果管道的写端不存在,则认为已经读到了数据的末尾,读函数返回的读出字节数为0;
当管道的写端存在时,如果请求的字节数目大于PIPE_BUF,则返回管道中现有的数据字节数,如果请求的字节数目不大于PIPE_BUF,则返回管道中现有数据字节数(此时,管道中数据量小于请求的数据量);或者返回请求的字节数(此时,管道中数据量不小于请求的数据量)。

向管道中写入数据
向管道中写入数据时,linux将不保证写入的原子性,管道缓冲区一有空闲区域,写进程就会试图向管道写入数据。如果读进程不读走管道缓冲区中的数据,那么写操作将一直阻塞。
注:只有在管道的读端存在时,向管道中写入数据才有意义。否则,向管道中写入数据的进程将收到内核传来的SIFPIPE信号,应用程序可以处理该信号,也可以忽略(默认动作则是应用程序终止)。

管道的主要局限性正体现在它的特点上:

只支持单向数据流;
只能用于具有亲缘关系的进程之间;
没有名字;
管道的缓冲区是有限的(管道制存在于内存中,在管道创建时,为缓冲区分配一个页面大小);
管道所传送的是无格式字节流,这就要求管道的读出方和写入方必须事先约定好数据的格式,比如多少字节算作一个消息(或命令、或记录)等等;

#include <stdio.h>  
#include <stdlib.h>  
#include <string.h>  
#include <sys/types.h>  
int main()  
{  
    pid_t pid = 0;  
    int fds[2], nwr = 0;  
    char buf[128];  
    pipe(fds);  
    pid = fork();  
    if(pid < 0)  
    {   
        printf("Fork error.\n");  
        return -1;   
    }else if(pid == 0)  
    {   
        printf("This is child process, pid = %d\n", getpid());  
  
        //part A  
        printf("Child:waiting for message...\n");  
        nwr = read(fds[0], buf, sizeof(buf))  
        printf("Child:received\"%s\"\n", buf);   
  
        //part B  
        printf("Child:send reply\n");  
        strcpy(buf, "Reply from child");  
        nwr = write(fds[1], buf, sizeof(buf));   
        printf("Child:send %d bytes to parent.\n", nwr);  
  
    }else{  
        printf("This is parent process, pid = %d\n", getpid());  
  
        printf("Parent:sending message...\n");  
        strcpy(buf, "Message from parent");  
        nwr = write(fds[1], buf, sizeof(buf));  
        printf("Parent:send %d bytes to child.\n", nwr);  
  
        //part C  
        printf("Parent:waiting for reply from child...\n");  
        nwr = read(fds[0], buf, sizeof(buf));  
        printf("Parent:received \"%s\" from child\n", buf);  
    }  
    return 0;  
}  

命名管道

管道应用的一个重大限制是它没有名字,因此,只能用于具有亲缘关系的进程间通信,在有名管道(named pipe或FIFO)提出后,该限制
得到了克服。FIFO不同于管道之处在于它提供一个路径名与之关联,以FIFO的文件形式存在于文件系统中。这样,即使与FIFO的创建进程不存在亲缘关系的进程,只要可以访问该路径,就能够彼此通过FIFO相互通信(能够访问该路径的进程以及FIFO的创建进程之间),因此,通过FIFO不相关的进程也能交换数据。值得注意的是,FIFO严格遵循先进先出(first in first out),对管道及FIFO的读总是从开始处返回数据,对它们的写则把数据添加到末尾。它们不支持诸如lseek()等文件定位操作。

对命名管道的操作和对文件操作相似,包括创建,打开,读写,和关闭操作。

命名管道的创建

#include <sys/types.h>  
#include <sys/stat.h>  
  
int mkfifo(const char *pathname, mode_t mode);  

该函数的第一个参数是一个普通的路径名,也就是创建后FIFO的名字。第二个参数与打开普通文件的open()函数中的mode 参数相同。如果mkfifo的第一个参数是一个已经存在的路径名时,会返回EEXIST错误,所以一般典型的调用代码首先会检查是否返回该错误,如果确实
返回该错误,那么只要调用打开FIFO的函数就可以了吗,程序如下:

if(access(FIFO_NAME,F_OK)==-1){  
       res=mkfifo(FIFO_NAME,0777);  
       if(res!=0){  
               fprintf(stderr,"Could not create fifo %s\n",FIFO_NAME);
               exit(EXIT_FAILURE);  
      }  
}  
res=open(FIFO_NAME,open_mode);  

命名管道的打开

打开的FIFO的限制是:由于FIFO是单向数据传输,程序不能以O_RDWR方式打开FIFO同时进行读写操作,只能是O_RDONLY或者O_WRONLY方式,打开函数如下:

#include <sys/types.h>  
#include <sys/stat.h>  
#include <fcntl.h>    
int open(const char *pathname, int flags);  

打开FIFO文件和普通文件的另外一个差别是:O_NONBLOCK选项对open的阻塞的影响,主要分为下面几种情况:

  • flags=O_RDONLY:open将会调用阻塞,除非有另外一个进程以写的方式打开同一个FIFO,否则一直等待。

  • flags=O_WRONLY:open将会调用阻塞,除非有另外一个进程以读的方式打开同一个FIFO,否则一直等待。

  • flags=O_RDONLY|O_NONBLOCK:如果此时没有其他进程以写的方式打开FIFO,此时open也会成功返回,此时FIFO被读打开,而不会返回错误

  • flags=O_WRONLY|O_NONBLOCK:立即返回,如果此时没有其他进程以读的方式打开,open会失败打开,此时FIFO没有被打开,返回-1。

命名管道创建和打开测试程序:

#include<unistd.h>  
#include<stdlib.h>  
#include<stdio.h>  
#include<string.h>  
#include<fcntl.h>  
#include<sys/types.h>  
#include<sys/stat.h>  
  
#define FIFO_NAME "/tmp/my_fifo"  
  
int main(int argc,char *argv[])  
{  
        int res;  
        int open_mode=0;  
        if(argc < 2){  
                fprintf(stderr,"Usage:%s<some combination of \  
                        O_RDONLY,O_WRONLY,O_NONBLOCK\n",*argv);  
                exit(EXIT_FAILURE);  
        }  
        argv++;  
        if(strncmp(*argv,"O_RDONLY",8)==0)open_mode|=O_RDONLY;  
        if(strncmp(*argv,"O_WRONLY",8)==0)open_mode|=O_WRONLY;  
        if(strncmp(*argv,"O_NONBLOCK",10)==0)open_mode|=O_NONBLOCK;  
        argv++;  
        if(*argv){  
                if(strncmp(*argv,"O_RDONLY",8)==0)open_mode|=O_RDONLY;  
                if(strncmp(*argv,"O_WRONLY",8)==0)open_mode|=O_WRONLY;  
                if(strncmp(*argv,"O_NONBLOCK",10)==0)open_mode|=O_NONBLOCK;  
        }  
        if(access(FIFO_NAME,F_OK)==-1){  
                res=mkfifo(FIFO_NAME,0777);  
                if(res!=0){  
                        fprintf(stderr,"Could not create fifo %s\n",FIFO_NAME);  
                        exit(EXIT_FAILURE);  
                }  
        }  
        printf("process %d open FIFO with %d\n",getpid(),open_mode);  
        res=open(FIFO_NAME,open_mode);  
        printf("process %d result %d\n",getpid(),res);  
        sleep(5);  
        if(res!=-1)close(res);  
        printf("process %d finished\n",getpid());  
        exit(EXIT_SUCCESS);  
}  
命名管道的读写

对命名管道的读写需要利用系统调用read函数:

#include <unistd.h>  
  
ssize_t read(int fd, void *buf, size_t count);  
ssize_t write(int fd, const void *buf, size_t count);  
读取管道

是否采用O_NONBLOCK非阻塞标志对管道的读有影响:
对一个空的,阻塞的FIFO文件的read调用将会等待,直到有数据可以读时才继续执行。
对一个空的,非阻塞的FIFO的read系统调用将会立即返回0字节。

写管道

需要考虑FIFO可以存在的数据长度是有限制的,在limits.h文件中由#definde PIPE_BUF语句定义,通常是4096字节。
对于设置了阻塞标志的写操作
当要写入的数据量不大于PIPE_BUF时,linux将保证写入的原子性。如果此时管道空闲缓冲区不足以容纳要写入的字节数,则进入睡眠,直到当缓冲区中能够容纳要写入的字节数时,才开始进行一次性写操作。
当要写入的数据量大于PIPE_BUF时,linux将不再保证写入的原子性。FIFO缓冲区一有空闲区域,写进程就会试图向管道写入数据,写操作在写完所有请求写的数据后返回。

对于没有设置阻塞标志的写操作
当要写入的数据量大于PIPE_BUF时,linux将不再保证写入的原子性。在写满所有FIFO空闲缓冲区后,写操作返回。
当要写入的数据量不大于PIPE_BUF时,linux将保证写入的原子性。如果当前FIFO空闲缓冲区能够容纳请求写入的字节数,写完后成功返回;如果当前FIFO空闲缓冲区不能够容纳请求写入的字节数,则返回EAGAIN错误,提醒以后再写;

命名管道的关闭
#include <unistd.h>  
int close(int fd);  

总结

管道常用于两个方面:在shell中时常会用到管道(作为输入输入的重定向),在这种应用方式下,管道的创建对于用户来说是透明的;用于具有亲缘关系的进程间通信,用户自己创建管道,并完成读写操作。FIFO可以说是管道的推广,克服了管道无名字的限制,使得无亲缘关系的进程同样可以采用先进先出的通信机制进行通信。管道和FIFO的数据是字节流,应用程序之间必须事先确定特定的传输"协议",采用传播具有特定意义的消息

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • Android跨进程通信IPC整体内容如下 1、Android跨进程通信IPC之1——Linux基础2、Andro...
    隔壁老李头阅读 15,501评论 19 113
  • 一.管道机制(pipe) 1.Linux的fork操作 在计算机领域中,尤其是Unix及类Unix系统操作系统中,...
    Geeks_Liu阅读 3,678评论 1 9
  • 前言 管道是UNIX环境中历史最悠久的进程间通信方式,也是最简单的进程间通信方式,一般用来作为IPC的入门,最合适...
    GeekerLou阅读 1,139评论 0 6
  • 命名管道 (有用的特点): 由于它们出现在文件系统中,所以他们可以像平常的文件名一样在命令中使用。在创建的FIFO...
    helinyu阅读 1,187评论 0 1
  • 下午三点左右,在高健家两层小楼的前面,高健在剖甲鱼,动作熟练,媳妇在一旁看着,从小独立生活的高健,练就了自己搞饭菜...
    大荷08阅读 273评论 0 0