Python网络编程 —— 线程

个人独立博客：www.limiao.tech
微信公众号：TechBoard

线程的概念

线程就是在程序运行过程中，执行程序代码的一个分支，每个运行的程序至少都有一个线程

单线程执行

import time


def sing():
    for i in range(3):
        print("唱歌...%d" % i)
        time.sleep(1)

def dance():
    for i in range(3):
        print("跳舞...%d" % i)
        time.sleep(1)

if __name__ == '__main__':
    sing()
    dance()

运行结果：

唱歌...0
唱歌...1
唱歌...2
跳舞...0
跳舞...1
跳舞...2

***Repl Closed***

多线程执行

多线程的执行需要导入threading模块

参数说明：

Thread([group[,target[,name[,args[,kwargs]]]]])
- group: 线程组，目前只能使用None
- target: 执行的目标任务名
- args: 以元组的方式给执行任务传参
- kwargs: 以字典方式给执行任务传参
- name: 线程名，一般不用设置

多线程完成多任务

# 多线程执行
import time, threading


def sing():
    # 获取当前进程
    print(threading.current_thread())
    for i in range(3):
        
        print("唱歌...%d" % i)
        time.sleep(1)

def dance():
    print(threading.current_thread())
    for i in range(3):

        print("跳舞...%d" % i)
        time.sleep(1)

if __name__ == '__main__':
    sing_thread = threading.Thread(target=sing)
    dance_thread = threading.Thread(target=dance)

    sing_thread.start()
    dance_thread.start()

运行结果：

<Thread(Thread-1, started 8520)>
唱歌...0
<Thread(Thread-2, started 4604)>
跳舞...0
唱歌...1
跳舞...1
唱歌...2
跳舞...2

***Repl Closed***

多线程执行带有参数的任务

import time, threading


def sing(num):
    for i in range(num):
        print("唱歌...%d" % i)
        time.sleep(1)


def dance(num):
    for i in range(num):
        print("跳舞...%d" % i)
        time.sleep(1)


if __name__ == '__main__':
    sing_thread = threading.Thread(target=sing, args=(3,))

    dance_thread = threading.Thread(target=dance, kwargs={"num": 3})

    sing_thread.start()
    dance_thread.start()

运行结果：

唱歌...0
跳舞...0
跳舞...1
唱歌...1
跳舞...2
唱歌...2

***Repl Closed***

查看获取线程列表

import time, threading


def sing():
    for i in range(5):
        print("唱歌...%d" % i)
        time.sleep(1)


def dance():
    for i in range(5):
        print("跳舞...%d" % i)
        time.sleep(1)


if __name__ == '__main__':
    # 获取当前程序活动线程的列表
    thread_list = threading.enumerate()
    print("111:", thread_list, len(thread_list))

    sing_thread = threading.Thread(target=sing)

    dance_thread = threading.Thread(target=dance)

    thread_list = threading.enumerate()
    print("222:", thread_list, len(thread_list))

    # 启动线程
    sing_thread.start()
    dance_thread.start()

    # 只有线程启动了，才能加入到活动线程列表中
    thread_list = threading.enumerate()
    print("333:", thread_list, len(thread_list))

运行结果：

111: [<_MainThread(MainThread, started 11864)>] 1
222: [<_MainThread(MainThread, started 11864)>] 1
唱歌...0
跳舞...0
333: [<_MainThread(MainThread, started 11864)>, <Thread(Thread-1, started 892)>, <Thread(Thread-2, started 6444)>] 3
跳舞...1
唱歌...1
跳舞...2
唱歌...2
唱歌...3
跳舞...3
唱歌...4
跳舞...4

***Repl Closed***

注意

线程之间执行是无序的

import time, threading


def task():
    time.sleep(1)
    print("当前线程：", threading.current_thread().name)

if __name__ == '__main__':

    for _ in range(5):
        sub_thread = threading.Thread(target=task)
        sub_thread.start()

运行结果：

当前线程： Thread-5
当前线程： Thread-2
当前线程： Thread-3
当前线程： Thread-1
当前线程： Thread-4

***Repl Closed***

主线程会等待所有的子线程结束后才结束

# 主线程会等待所有的子线程结束后才会结束
import time, threading


# 测试主线程是否会等待子线程执行完成以后程序再退出
def show_info():
    for i in range(5):
        print("test:", i)
        time.sleep(1)


if __name__ == '__main__':
    sub_thread = threading.Thread(target=show_info)
    sub_thread.start()

    # 主线程延时5秒
    time.sleep(10)
    print("over")

运行结果：

test: 0
test: 1
test: 2
test: 3
test: 4
over

***Repl Closed***

守护主线程

import time, threading


def show_info():
    for i in range(5):
        print("test：", i)
        time.sleep(1)

if __name__ == '__main__':
    # 设置成守护主线程，主线程退出后子线程直接销毁不再执行子线程的代码
    sub_thread = threading.Thread(target=show_info, daemon=True)
    

    sub_thread.start()
    
    time.sleep(10)
    print("over")

运行结果：

test： 0
test： 1
test： 2
test： 3
test： 4
over

***Repl Closed***

自定义线程

import threading


# 自定义线程类
class MyThread(threading.Thread):
    # 通过构造方法取接受任务的参数
    def __init__(self, info1, info2):
        # 调用父类的构造方法
        super().__init__()
        self.info1 = info1
        self.info2 = info2


    # 定义自定义线程相关的任务
    def test1(self):
        print(self.info1)


    def test2(self):
        print(self.info2)

    # 通过run方法执行相关任务
    def run(self):
        self.test1()
        self.test2()


# 创建自定义线程
my_thread = MyThread("测试1", "测试2")

# 启动
my_thread.start()

运行结果：

测试1
测试2

***Repl Closed***

总结：

自定义线程不能指定target，因为自定义线程里面的任务都统一在run方法里面执行
启动线程统一调用start方法，不要直接调用run方法，因为这样不是使用子线程去执行任务

多线程共享全局变量

import time, threading


# 定义全局变量
my_list = list()

# 写入数据任务
def write_data():
    for i in range(5):
        my_list.append(i)
        time.sleep(1)
    print("write_data:", my_list)

# 读取数据任务
def read_data():
    print("read_data:", my_list)

if __name__ == '__main__':
    # 创建写入数据的线程
    write_thread = threading.Thread(target=write_data)
    # 创建读取数据的线程
    read_thread = threading.Thread(target=read_data)

    write_thread.start()

    # 主线程等待写入线程执行完成以后代码再继续往下执行
    write_thread.join()
    print("开始读取数据...")
    read_thread.start()

运行结果：

write_data: [0, 1, 2, 3, 4]
开始读取数据...
read_data: [0, 1, 2, 3, 4]

***Repl Closed***

多线程同时对全局变量进行操作,导致数据可能出现错误

import threading


# 定义全局变量
g_num = 0

# 循环一次给全局变量加1
def sum_num1():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum1:", g_num)

# 循环一次给全局变量加1
def sum_num2():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)

if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    first_thread.start()
    second_thread.start()

运行结果：

sum1: 1491056
sum2: 1528560

***Repl Closed***

通过上面运行结果，得出：多线程同时对全局变量操作数据发生了错误

原因分析：两个线程first_thread和second_thread都要对全局变量g_num(默认是0)进行加1运算，但是由于是多线程同时操作，，有可能出现下面的情况：

1.在g_num=0时，first_thread取得g_num=0.此时系统把first_thread调度为"sleeping"状态，把second_thread转换为"running"状态,t2也获得g_num=0

2.然后second_thread对得到的值进行加1并赋给g_num,使得g_num=1

3.然后系统又把second_thread调度为"sleeping",把first_thread转为"running".线程t1又把之前得到的0加1后赋值给g_num.

4.这样导致虽然first_thread和second_thread都对g_num加1，但结果仍然是g_num=1。

全局变量数据错误的解决办法

线程同步：保证同一时刻只能有一个线程去操作全局变量同步，就是协同步调，按预定的先后次序进行运行

线程同步的方式：

1.线程等待（join）

2.互斥锁

线程等待实现方式：

import threading


# 定义全局变量
g_num = 0

# 循环一次给全局变量加1
def sum_num1():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum1:", g_num)

# 循环一次给全局变量加1
def sum_num2():
    for i in range(1000000):
        global g_num
        g_num += 1
    print("sum2:", g_num)

if __name__ == '__main__':
    # 创建两个线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    first_thread.start()
    first_thread.join()

    second_thread.start()

运行结果：

sum1: 1000000
sum2: 2000000

***Repl Closed***

结论：多个线程同时对同一个全局变量进行操作，会有可能出现资源竞争数据错误的问题

线程同步方式可以解决资源竞争数据错误问题，但是这样有多任务变成了单任务

互斥锁

对共享数据进行锁定，保证同一时刻只能有一个线程去操作

抢到锁的线程先执行，没有抢到锁的线程需要等待，等锁用完后需要释放，然后其它等待的线程再去抢这个锁，哪个线程抢到，那个线程再执行

具体哪个线程抢到这个锁，我们决定不了，是由CPU调度决定的

线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁

互斥锁为资源引入的一个状态：锁定/非锁定

某个线程要更改共享数据时，先将其锁定，此时资源的状态为"锁定"，其他线程不能更改；直到该线程释放资源，将资源的状态变成"非锁定"，其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作，从而保证了多线程情况下数据的正确性。

创建锁：

a = threading.Lock()

锁定

a.acquire()

释放

a.release()

注意：

1.如果这个锁之前时没有上锁的，那么acquire不会堵塞

2.如果在调用acquire对这个锁上锁之前，它已经被其它线程上了锁，那么此时acquire会堵塞，直到这个锁被解锁为止

# 使用互斥锁完成2个线程对同一个全局变量各加100万次的操作
import threading


# 定义全局变量
g_num = 0

# 创建全局互斥锁
lock = threading.Lock()

# 循环一次给全局变量加1
def sum_num1():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sun1:", g_num)

    # 释放锁
    lock.release()

# 循环一次给全局变量加1
def sum_num2():
    # 上锁
    lock.acquire()
    for i in range(1000000):
        global g_num
        g_num += 1

    print("sum2:", g_num)

    # 释放锁
    lock.release()

if __name__ == '__main__':
    # 创建线程
    first_thread = threading.Thread(target=sum_num1)
    second_thread = threading.Thread(target=sum_num2)

    # 启动线程
    first_thread.start()
    second_thread.start()

运行结果：

sun1: 1000000
sum2: 2000000

***Repl Closed***

注意

加上互斥锁，哪个线程抢到这个锁我们决定不了，哪个线程抢到锁哪个线程先执行，没有抢到的线程需要等待

加上互斥锁多任务瞬间变成单任务，性能会下降，也就是说同一时刻只能有一个线程去执行

使用互斥锁的目的

能够保证多个线程访问共享数据不会出现资源竞争及数据错误

上锁、解锁过程

当一个线程调用锁的acquire()方法获得锁时，锁就进去了"locked"状态。

每次只有一个而线程可以获得锁，如果此时另一个线程试图获得这个锁，该线程就会变为"blocked"状态，称为"阻塞"，直到拥有锁的线程调用锁的release()方法释放锁之后，锁进入"unlocked"状态。

线程调度程序从处于同步阻塞状态的线程中选择一个来获得锁，并使得该线程进入运行"running"状态

死锁

一直等待对方释放锁的情景就是死锁

根据下标在列表中取值，但是要保证同一时刻只能有一个线程去取值

# 死锁示例：
import time, threading

# 创建互斥锁
lock = threading.Lock()

def get_value(index):
    # 上锁
    lock.acquire()
    print(threading.current_thread().name)
    my_list = [3, 6, 8, 1]
    # 判断下标释放越界
    if index >= len(my_list):
        print("下标越界：", index)
        
        return
    value = my_list[index]
    print(value)
    time.sleep(1)
    # 释放锁
    lock.release()

if __name__ == '__main__':
    # 模拟大量线程去执行取值操作

    for i in range(30):
        sub_thread = threading.Thread(target=get_value, args=(i,))
        sub_thread.start()

避免死锁：

# 死锁示例：
import time, threading

# 创建互斥锁
lock = threading.Lock()

def get_value(index):
    # 上锁
    lock.acquire()
    print(threading.current_thread().name)
    my_list = [3, 6, 8, 1]
    # 判断下标释放越界
    if index >= len(my_list):
        print("下标越界：", index)
        lock.release()
        return
    value = my_list[index]
    print(value)
    time.sleep(1)
    # 释放锁
    lock.release()

if __name__ == '__main__':
    # 模拟大量线程去执行取值操作

    for i in range(30):
        sub_thread = threading.Thread(target=get_value, args=(i,))
        sub_thread.start()

小结：使用互斥锁的时候需要注意死锁的问题，要在合适的地方注意释放锁

死锁一旦发生就会造成应用的停止响应