进程和线程的区别:
对于进程来说,子进程是父进程的复制品,从父进程那里获得父进程的数据空间,堆和栈的复制品。
而线程,相对于进程而言,是一个更加接近于执行体的概念,可以和同进程的其他线程之间直接共享数据,而且拥有自己的栈空间,拥有独立序列。
共同点: 它们都能提高程序的并发度,提高程序运行效率和响应时间。线程和进程在使用上各有优缺点。 线程执行开销比较小,但不利于资源的管理和保护,而进程相反。同时,线程适合在SMP机器上运行,而进程可以跨机器迁移。
他们之间根本区别在于多进程中每个进程有自己的地址空间,线程则共享地址空间。所有其他区别都是因为这个区别产生的。比如说:
1. 速度。线程产生的速度快,通讯快,切换快,因为他们处于同一地址空间。
2. 线程的资源利用率好。
3. 线程使用公共变量或者内存的时候需要同步机制,但进程不用。
而他们通信方式的差异也仍然是由于这个根本原因造成的。
通信方式之间的差异
因为那个根本原因,实际上只有进程间需要通信,同一进程的线程共享地址空间,没有通信的必要,但要做好同步/互斥,保护共享的全局变量。
而进程间通信无论是信号,管道pipe还是共享内存都是由操作系统保证的,是系统调用.
一、进程间的通信方式
1. 管道( pipe ):
管道是一种半双工的通信方式,数据只能单向流动,而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。
2. 有名管道 (namedpipe) :
有名管道也是半双工的通信方式,但是它允许无亲缘关系进程间的通信。
3. 信号 (sinal ) :
信号是一种比较复杂的通信方式,用于通知接收进程某个事件已经发生。
4. 信号量(semophore ) :
信号量是一个计数器,可以用来控制多个进程对共享资源的访问。它常作为一种锁机制,防止某进程正在访问共享资源时,其他进程也访问该资源。因此,主要作为进程间以及同一进程内不同线程之间的同步手段。
5. 消息队列( messagequeue ) :
消息队列是由消息的链表,存放在内核中并由消息队列标识符标识。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。
6. 共享内存(shared memory ) :
共享内存就是映射一段能被其他进程所访问的内存,这段共享内存由一个进程创建,但多个进程都可以访问。共享内存是最快的 IPC 方式,它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制,如信号量,配合使用,来实现进程间的同步和通信。
7. 套接字(socket ) :
套接口也是一种进程间通信机制,与其他通信机制不同的是,它可用于不同设备及其间的进程通信。
二、线程间的通信方式
1. 锁机制:包括互斥锁、条件变量、读写锁
1. 互斥锁提供了以排他方式防止数据结构被并发修改的方法。
2. 读写锁允许多个线程同时读共享数据,而对写操作是互斥的。
3. 条件变量可以以原子的方式阻塞进程,直到某个特定条件为真为止。对条件的测试是在互斥锁的保护下进行的。条件变量始终与互斥锁一起使用。
2. 信号量机制(Semaphore):包括无名线程信号量和命名线程信号量
3. 信号机制(Signal):类似进程间的信号处理,用于通知接收线程某个事件已经发生。
线程间的通信目的主要是用于线程同步,所以线程没有像进程通信中的用于数据交换的通信机制。
1.1.1多线程-threading
python的thread模块是比较底层的模块,python的threading模块是对thread做了一些包装的
1.1.1.1使用threading模块
@1单线程例子:其实就是一个简单的函数。
@多线程执行
多线程和单线程对比:
1.可以明显看出使用了多线程并发的操作,花费时间要短很多
2.创建好的线程,需要调用start()方法来启动
@比较时间长短。
1.1.1.1主线程会等待所有的子线程结束后才结束
1.1.1.1查看线程数量 threading.enumerate()
3.多线程中的守护 daemon必须用关键字传参数。
2、类创建多线程,重写run方法。
例子1:线程
线程和进程设置守护时的区别:
1、一个设置成守护线程一个设置成非守护线程,二者都还会继续运行。
2、一个设置成守护进程一个设置成非守护进程,守护进程的不会继续运行
例子2、进程 上面那个(例子1)是线程的例子
总结
1.每个线程一定会有一个名字,尽管上面的例子中没有指定线程对象的name,但是python会自动为线程指定一个名字。以1,2,3来自动排序线程名称。
2.当线程的run()方法结束时该线程完成。
3.无法控制线程调度程序,但可以通过别的方式来影响线程调度的方式。
4.线程的几种状态
1.1.1多线程-共享全局变量
2.列表当做实参传递到线程中
总结:
·优点:在一个进程内的所有线程共享全局变量,能够在不适用其他方式的前提下完成多线程之间的数据共享
·缺点:线程是对全局变量随意遂改可能造成多线程之间对全局变量的混乱(即线程非安全)
2、多线程-不共享局部变量
例子1
例子2
1.1.1进程VS线程
·进程,能够完成多任务,比如 在一台电脑上能够同时运行多个QQ
·线程,能够完成多任务,比如 一个QQ中的多个聊天窗口
一个进程里面最少有一个线程,进程分配cpu使用权,拿到使用权之后线程再进行争夺使用。
1.1.1.1线程和进程的区别
1、·一个程序至少有一个进程,一个进程至少有一个线程.
·2、线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高。
·3、进程在执行过程中拥有独立的内存单元,而多个线程共享内存,从而极大地提高了程序的运行效率
4、·线程不能够独立执行,必须依存在进程中
1.1.1.1优缺点2
线程和进程在使用上各有优缺点:线程执行开销小,但不利于资源的管理和保护;而进程正相反。
1.1.1.2线程和进程的选择:
如果需要共享数据,建议使用线程。
计算密集型 和IO密集型
计算密集型:---->进程
1、视频的解码、编码
2、科学数据计算
工作需要依赖CPU,多使用进程,建议进程的数量就等于cpu的数量
IO密集型:------>线程
1、web
2、文件读写
IO经常阻塞,速度远小于CPU的速度,可以多开辟一些线程,有线程阻塞了,其它线程依然正常工作
1.1.1同步的概念
1.多线程开发可能遇到的问题
同步不是一起的意思,是协同步调
同步就是协同步调,按预定的先后次序进行运行。如:你说完,我再说。
"同"字从字面上容易理解为一起动作
其实不是,"同"字应是指协同、协助、互相配合。
问题产生的原因:
就是没有控制多个线程对同一资源的访问,对数据造成破坏,使得线程运行的结果不可预期。这种现象称为“线程不安全”。
1.1.1互斥锁
当多个线程几乎同时修改某一个共享数据的时候,需要进行同步控制
线程同步能够保证多个线程安全访问竞争资源,最简单的同步机制是引入互斥锁。
互斥锁为资源引入一个状态:锁定/非锁定。
某个线程要更改共享数据时,先将其锁定,此时资源的状态为“锁定”,其他线程不能更改;直到该线程释放资源,将资源的状态变成“非锁定”,其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作,从而保证了多线程情况下数据的正确性。
例子1:
例子2:
上锁解锁过程
当一个线程调用锁的acquire()方法获得锁时,锁就进入“locked”状态。
每次只有一个线程可以获得锁。如果此时另一个线程试图获得这个锁,该线程就会变为“blocked”状态,称为“阻塞”,直到拥有锁的线程调用锁的release()方法释放锁之后,锁进入“unlocked”状态。
线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁,并使得该线程进入运行(running)状态。
总结
锁的好处:
·确保了某段关键代码只能由一个线程从头到尾完整地执行
锁的坏处:
·阻止了多线程并发执行,包含锁的某段代码实际上只能以单线程模式执行,效率就大大地下降了
·由于可以存在多个锁,不同的线程持有不同的锁,并试图获取对方持有的锁时,可能会造成死锁
死锁
线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且都等待对方的资源,就会造成死锁。
说明:
避免死锁
1、·程序设计时要尽量避免(银行家算法)
2、·添加超时时间等
1.1.1同步应用
1.1.1生产者与消费者模式
1.队列:先进先出
2.栈:先进后出
3. Queue的说明
1.对于Queue,在多线程通信之间扮演重要的角色
2.添加数据到队列中,使用put()方法
3.从队列中取数据,使用get()方法
4.判断队列中是否还有数据,使用qsize()方法