[toc]
oslo_concurrency模块可以对OpenStack中的代码块提供线程锁，以及进程锁。由于多线程在Python中使用场景不多，因此不讨论oslo_concurrency的线程锁，主要讨论oslo_concurrency进程锁的实现细节。

一、oslo_concurrency的进程锁

oslo_concurrency的进程锁基于fasteners模块，而fasteners模块中通过linux的内核接口函数lockf(...)对文件进行加锁。

# oslo_concurrency的进程锁接口
def external_lock(name, lock_file_prefix=None, lock_path=None):
    lock_file_path = _get_lock_path(name, lock_file_prefix, lock_path)
    # InterProcessLock来自fasteners模块，lock_file_path为需要加锁的文件地址
    return InterProcessLock(lock_file_path)
    
# fasteners模块中的InterProcessLock类
# 为了实现操作系统的通用性，windows系统通过msvcrt对文件加锁
if os.name == 'nt':
    import msvcrt
    InterProcessLock = _WindowsLock
else:
    import fcntl
    InterProcessLock = _FcntlLock
    
class _FcntlLock(_InterProcessLock):
    """Interprocess lock implementation that works on posix systems."""

    # 通过lockf可以实现以下操作
    # LOCK_SH：共享锁
    # LOCK_EX：排他锁
    # LOCK_NB：非阻塞锁（可以和LOCK_SH、LOCK_EX一起使用）
    # LOCK_UN：释放锁
    def trylock(self):
        fcntl.lockf(self.lockfile, fcntl.LOCK_EX | fcntl.LOCK_NB)

    def unlock(self):
        fcntl.lockf(self.lockfile, fcntl.LOCK_UN)

从oslo_concurrency源码分析，oslo_concurrency进程锁最终调用fcntl.lockf(lockfile, fcntl.LOCK_EX | fcntl.LOCK_NB)实现，在他传入的参数中LOCK_EX表示独占锁，LOCK_NB表示无论是否请求到锁，函数立即返回。

二、Linux中的文件锁

oslo_concurrency模块通过fcntl模块实现锁功能。实际上是fcntl模块一个接口代理模块，fcntl.py中没有定义任何代码逻辑，而是调用了/usr/lib64/python2.7/lib-dynload/fcntlmodule.so目录下的C语言接口，即Linux的文件锁接口函数。
在Linux中有三个文件锁接口函数flock(...)、fcntl(...)、lockf(...)，这三个接口可以创建Linux中不同类型的锁。下面简单介绍一下Linux中不同类型的锁
Linux中支持四种功能的文件锁：劝告锁、强制锁、租赁锁、共享模式锁，其中后两种锁都是强制锁的变种。

关于flock(...)、lockf（…）、fcntl(...)的说明：

• flock(...)：适用于劝告锁，只能实现对整个文件进行加锁，而不能实现记录级的加锁。但是flock实现了共享强制锁；
• fcntl(...)：适用于劝告锁和强制锁，不仅能够对整个文件进行加锁，而且能够对文件中的记录(若干字节)加锁，实际上属于posix系列的锁。
• lockf(...)：由于fcntl(...)函数功能非常多，文件锁只是其中一个。lockf(...)是fcntl(...)锁功能的包装。

三、通过Python调用Linux文件锁接口函数

#!/usr/bin/python
# coding:utf8
import os
import fcntl
import struct
def my_fcntl(fd, cmd, l_type, l_len=0, l_whence=0, l_start=0):
    """
    调用fcntl函数
    :param fd: 文件句柄，可以这样获取：
                fobj = open(name, 'w')
                fd = fobj.fileno()
    :param cmd: fcntl函数要执行的操作，于文件锁相关的有：
                fcntl.F_SETLKW  :请求文件锁，如果锁被占用，那么等待
                fcntl.F_GETLK   :检查锁的状态，或者对文件锁unlock
                fcntl.F_SETLK   :请求文件锁，如果锁被占用，抛出异常
    :param l_type: 锁的类型
                fcntl.F_WRLCK   :写文件锁
                fcntl.F_RDLCK   :读文件锁
                fcntl.F_UNLCK   :释放锁
    :param l_len: 需要锁的字节长度
    :param l_whence:度量l_start,0表示从头开始，1表示从当前位置开始，2表示从文件结尾开始
    :param l_start:需要锁定的字节的起始位置
    :return:
    """
    flock = struct.pack('hhllhh', l_type, l_whence, l_start, l_len, 0, os.getpid())
    flock_msg = fcntl.fcntl(fd, cmd, flock)
    return struct.unpack('hhllhh', flock_msg)
    
def my_flock(fd,lock_type):
    """
    调用flock对文件加锁
    :param fd: 文件句柄
    :param lock_type:
            # LOCK_SH: 共享锁
            # LOCK_EX: 排他锁
            # LOCK_NB: 非阻塞锁（可以和LOCK_SH、LOCK_EX一起使用）
            # LOCK_UN: 释放锁
            # LOCK_MAND: 创建共享强制锁，当时并非所有文件系统都实现了这个模式
            # LOCK_READ: 配合LOCK_MAND使用
            # LOCK_WRITE: 配合LOCK_MAND使用
    :return:
    """
fcntl.flock(fd,lock_type)

四、NFS的加锁机制

在NFS2、NFS3协议本身不支持文件锁，实现对NFS文件系统的中文件加锁需要通过Network Lock Manager（NLM）这个辅助工具。NFS4协议在协议中实现了文件锁，使NFS可以脱离NLM管理文件锁。
在一个NFS目录下对某个文件加锁

    touch locker
    flock -xn "locker" -c "sleep 1000"

登录NFS4服务端，查看文件的锁状态（这里的服务端时NetApp,通过vserver locks show命令可以看到哪些文件被加了锁）。

图片.png

从服务端返回的信息来看，/NFS/locker文件上有两个锁，share-level模式的锁是NFS协议本身的文件锁，而byte-range模式的锁是flock命令施加的！
参考man nfs，可以发现以下两个和NFS文件锁相关的mount参数：
对应命令
mount -o lock -o local_lock=none <ip>:/<space> <standpoint>

lock / nolock和local_lock选项是相互影响的，主要在NFS3协议中起作用，根据两个参数的不同选项，有如下情形：

在NFS4协议下，由于协议本身自带文件锁状态，因此在NFS4协议下local_lock配置项是没有用的，此时使用flock或者posix加锁NFS所有客户端都可见。
此外在NFS4协议下，打开文件还会生成一个share-level级别的共享锁，如下图：

图片.png

其中，Sharelock Mode为read_write-deny_none，该模式中“read_write”表示某个客户端以读写模块式打开文件，“deny_none”表示打开文件的客户端，不对其他客户端的文件操作进行限制。

参考NFS4协议文档，NFS客户端可以编程控制NFS4共享锁的模式：

# 获取锁的Client的操作
const OPEN4_SHARE_ACCESS_READ = 0x00000001;
const OPEN4_SHARE_ACCESS_WRITE = 0x00000002;
const OPEN4_SHARE_ACCESS_BOTH = 0x00000003;

# 未获取锁的Client被允许的操作
const OPEN4_SHARE_DENY_NONE = 0x00000000;
const OPEN4_SHARE_DENY_READ = 0x00000001;
const OPEN4_SHARE_DENY_WRITE = 0x00000002;
const OPEN4_SHARE_DENY_BOTH = 0x00000003;

五、参考

• linux的锁机制
• NFS协议文档: linux：man nfs