istanbul 增量代码覆盖率1——格式化 git diff 内容

在需求测试阶段，全量代码覆盖率其实是比较鸡肋的一个东西，它的数据太多了，并没有针对需求，提供一个明确的信息给到使用者。所以更多时候，我们需要的是增量代码覆盖率，这个数据可以让所有人更直观的看到，某个需求的新增代码中，未测试到的部分。

在获取增量代码覆盖率之前，需要先通过 git diff 将当前版本和基线版本的内容的不同整理出来。

直接上代码。

# git_diff.sh
cd ${1}
git diff ${2} ${3} > a.txt

${1} 目标代码的根路径。
${2} 基线 commit id。
${3} 目标 commit id，不填写的情况下，默认是当前已 pull 的 commit。

然后将获取到的 diff 信息存入当前路径的 a.txt 中。

# analysis_git_diff.py
import json

def get_commit_diff_line(project_root_path, base_commit, cur_commit=''):

    cmd = 'sh git_diff.sh %s %s %s' % (project_root_path, base_commit, cur_commit)

    Popen(cmd, stdout=PIPE, stdin=PIPE, shell=True).stdout.read()

    with open(project_root_path + '/a.txt', 'r') as f:
        content = f.read()
        content_list = content.split('\n')

    pattern = r'\d+'
    diff_dict = dict()
    cur_file_path = ''
    diff_line = []
    for i in range(len(content_list)):
        cur_content = content_list[i]

        if cur_content.startswith('diff --git'):
            if cur_file_path != '' and cur_file_path.endswith('.js'):
                diff_dict[cur_file_path] = diff_line
                diff_line = []
            cur_file_path = cur_content.split(' ')[2][2:]
            cur_file_path = project_root_path + '/a_' + cur_file_path
        elif cur_content.startswith('index') or cur_content.startswith('---') or cur_content.startswith('+++'):
            pass
        elif cur_content.startswith('@@') and cur_file_path.endswith('.js'):
            change_line = re.findall(pattern, cur_content)
            cur_line = int(change_line[2])
        else:
            if cur_file_path.endswith('.js'):
                if cur_content.startswith('+'):
                    diff_line.append(cur_line)
                    cur_line += 1
                elif cur_content.startswith('-'):
                    pass
                else:
                    cur_line += 1
        if i+1 == len(content_list):
            diff_dict[cur_file_path] = diff_line
            diff_line = []
    print(diff_dict)
    return diff_dict

project_root_path 目标工程的根目录。
base_commit 目标工程的基线 commit 号。
cur_commit 目标工程的当前 commit 号。

这个方法还没有经过大量的测试，或许还有很多没有覆盖到的 diff 情况，每个人都可以根据自己的实际情况作出相应的修改。
方法返回的内容是一个 {"file_abspath": [diff_line_nums_list]} 类型的数据，大概如下

{
    "/app/js_demo/src/api/api.js": [121, 123, 124, 125, 126, 127, 128, 129, 130, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142],
    "/app/js_demo/src/api/defined.js": [45, 46, 47, 48, 89, 90, 196, 197, 198, 199, 200, 201, 202, 203, 204],
    "/app/js_demo/src/api/index.js": [76, 77, 78, 79, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 203, 204, 205, 206, 358, 359, 360, 361, 362, 363, 624, 625, 626, 627, 628, 629, 630, 631, 632, 633, 634, 635, 636, 637, 638, 639]
}

这样，我们就可以知道对应文件中，哪些行是新增的内容了。
为什么要这么做呢？
一个是要适配 istanbul 已经有的数据类型，绝对路径可以很好的和已有的内容配合，第二个是只需要知道行数，就可以很好的融入已有的数据，会比较方便。
拥有这些内容后，我们还需要将生成的数据上传到服务器，目前选择了使用上传文件的方式，因为这个是 im 已经有的接口，无需额外的开发工作。

# analysis_git_diff.py
def save_commit_diff(diff_dict):
    with open('./commit_diff.txt', 'wb') as f:
        f.write(json.dumps(diff_dict, ensure_ascii=False).encode())

diff_dict：get_commit_diff_line 方法返回的数据。

# upload_to_server.py
from subprocess import Popen, PIPE
import requests
from requests_toolbelt import MultipartEncoder

def save_file_to_server(commit_id, file_path, file_dir):
    file_name = file_path.split('/')[-1]
    local_url = 'http://localhost:8889/upload'
    m = MultipartEncoder(fields={
        'commit': commit_id,
        'fieldname': 'logo',
        'filedir': file_dir,
        'originalname': file_name,
        'mimetype': 'application/octet-stream',
        'destination': 'upload/',
        'filename': file_name,
        'path': 'upload/' + file_name,
        'file': open(file_path, 'rb')
    })
    headers = {'Content-Type': m.content_type}
    res = requests.post(local_url, data=m, headers=headers)

commit_id 基线版本的 commit 号。
file_path 文件的绝对路径。
file_dir 存储到服务器时的相对路径。

这样，获取到 diff 文件之后，通过 save_file_to_server 方法就可以将文件上传到服务器。
接下来，将服务代码修改一下，就可以同步 diff 内容了。