bsdiff实现增量更新


概述

在目前的大部分热门应用中(QQ、微信、抖音等)都包含了一个名称类似
libbspatch.so 的动态库。

可以通过ndk中的 nm 工具来查看动态库中的符号清单。

# nm工具路径:
ndk-bundle\toolchains\arm-linux-androideabi-4.9\prebuilt\windows-x86_64\bin\arm-linux-androideabi-nm.exe

nm -D xxx.so

查看这些库中的符号内容都差不多,因此它们肯定是实现了同一件事情,也就是 “增量更新”。

增量更新好处

  • 对用户来说,省流量,下载时间快,提高用户体验
  • 对服务器来说,减少服务器带宽压力

bsdiff算法

参考博客:https://blog.csdn.net/add_ada/article/details/51232889

服务器端生成差分包

windows端可以直接使用别人生成好的程序。
下载地址:https://github.com/cnSchwarzer/bsdiff-win/releases

linux系统服务器可以通过下载源码编译生成。

获取bsdiff源码

官网地址:https://github.com/cnSchwarzer/bsdiff-win/releases

#下载源码
$ wget wget http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz
#解压
$ tar xvf bsdiff-4.3.tar.gz
#进入解压目录
$ cd bsdiff-4.3
#ls查看
$ ls
bsdiff.1  bsdiff.c  bspatch.1  bspatch.c  Makefile

可以看到下载bsdiff源码解压后,有一个Makefile文件,那么我们可以尝试使用make命令来编译。

$ make
Makefile:13: *** missing separator.  Stop.

报错了,Makefile中第13行缺少分隔符,我们来查看Makefile文件。

$ vim Makefile 

  1 CFLAGS          +=      -O3 -lbz2
  2 
  3 PREFIX          ?=      /usr/local
  4 INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
  5 INSTALL_MAN     ?=      ${INSTALL} -c -m 444
  6 
  7 all:            bsdiff bspatch
  8 bsdiff:         bsdiff.c
  9 bspatch:        bspatch.c
 10 
 11 install:
 12         ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
 13 .ifndef WITHOUT_MAN
 14         ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
 15 .endif

Makefile中命令前必须以 Tab键 开头,所以需要在第13行和第15行的行首加上 Tab键。修改保存后,再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
bsdiff.c:33:19: fatal error: bzlib.h: No such file or directory
 #include <bzlib.h>
                   ^
compilation terminated.
make: *** [bsdiff] Error 1

又报错了。提示bzlib.h头文件找不到,而bzlib.h头文件是bzip2里面的,我们需要先安装bzip2,使用包管理器安装。

Ubuntu:
$ apt install libbz2-dev
Centos:
$ yum -y install bzip2-devel.x86_64
Mac:
$ brew install bzip2

如果不知道install后面的名字,可以使用进行搜索apt/yum/brew search bzip2

安装好bzip2后,再次执行make。

$ make
cc -O3 -lbz2    bsdiff.c   -o bsdiff
cc -O3 -lbz2    bspatch.c   -o bspatch
$ ls
bsdiff  bsdiff.1  bsdiff.c  bspatch  bspatch.1  bspatch.c  Makefile

make后生成了 bsdiff 和 bspatch 两个文件。通过file命令可以查看bsdiff和bspach是两个可执行文件。

$ file bsdiff
bsdiff: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=51e827e4f46973a6a522c5bdf0411c6da5605a30, not stripped
$ file bspatch
bspatch: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=dc0742c79e05cf1c91e7735625dd13e608cd5ff2, not stripped

其中bsdiff是用来生成差分包的,bspatch是用来合成的,合成操作肯定是在客户端手机app来做,所以我们在服务器端只需要用到bsdiff。

尝试执行bsdiff。

$ ./bsdiff 
bsdiff: usage: ./bsdiff oldfile newfile patchfile

提示了bsdiff的使用方法,后面需要三个参数。
第一个参数oldfile:是旧版本文件。
第二个参数newfile:是新版本文件。
第三个参数patchfile:是输出生成的差分包文件。

至此服务器端环境就准备好了。

这里还有个小问题需要注意:
如果执行make出现下面错误,需要修改Makefile。

bsdiff.c:(.text.startup+0x2aa): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0xcfa): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xe37): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xf80): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0xfe1): undefined reference to `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x1034): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x105c): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1082): undefined reference to > `BZ2_bzWriteClose'
bsdiff.c:(.text.startup+0x10d5): undefined reference to `BZ2_bzWriteOpen'
bsdiff.c:(.text.startup+0x1100): undefined reference to `BZ2_bzWrite'
bsdiff.c:(.text.startup+0x1126): undefined reference to `BZ2_bzWriteClose'

Makefile修改为:

CFLAGS          +=      -O3 -lbz2
PREFIX          ?=      /usr/local
INSTALL_PROGRAM ?=      ${INSTALL} -c -s -m 555
INSTALL_MAN     ?=      ${INSTALL} -c -m 444
all:            bsdiff bspatch
bsdiff:         bsdiff.c
        cc bsdiff.c ${CFLAGS} -o bsdiff  #增加
bspatch:        bspatch.c
        cc bspatch.c ${CFLAGS} -o bspatch #增加
install:
        ${INSTALL_PROGRAM} bsdiff bspatch ${PREFIX}/bin
        .ifndef WITHOUT_MAN
        ${INSTALL_MAN} bsdiff.1 bspatch.1 ${PREFIX}/man/man1
        .endif

这是由于不同的编译器的问题,有的编译器 CFLAGS 参数需要放在源文件后面。

客户端实现

Android Studio创建c++工程。

Android 7.0安装apk,参考:https://blog.csdn.net/github_2011/article/details/74297460
androidx使用FileProvider,参考:https://blog.csdn.net/qq_33505109/article/details/90405302

AndroidManifest.xml:

<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="com.netease.bsdiff">

    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <uses-permission android:name="android.permission.REQUEST_INSTALL_PACKAGES" />

    <application
        android:allowBackup="true"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/AppTheme">
        <activity android:name=".MainActivity">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
        <provider
            android:name="androidx.core.content.FileProvider"
            android:authorities="${applicationId}.provider"
            android:grantUriPermissions="true"
            android:exported="false">
            <meta-data
                android:name="android.support.FILE_PROVIDER_PATHS"
                android:resource="@xml/file_paths" />
        </provider>
    </application>
</manifest>

res/xml目录下创建file_paths.xml:

<?xml version="1.0" encoding="utf-8"?>
<resource>
    <paths>
        <external-path name="path" path="" />
    </paths>
</resource>

布局文件activity_main.xml:

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <TextView
        android:layout_centerInParent="true"
        android:id="@+id/tv_version"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        />
    <Button
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="更新"
        android:onClick="onUpdate"
        android:layout_below="@id/tv_version"
        />

</RelativeLayout>

MainActivity:

public class MainActivity extends AppCompatActivity {

    static {
        System.loadLibrary("native-lib");
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        TextView tv = findViewById(R.id.tv_version);
        tv.setText("当前版本:" + BuildConfig.VERSION_NAME);
    }


    public void onUpdate(View view) {
        new AsyncTask<Void, Void, File>() {

            @Override
            protected File doInBackground(Void... voids) {
                String patchPath = new File(Environment.getExternalStorageDirectory(),
                        "patch.diff").getAbsolutePath();
                String oldApkPath = getApplicationInfo().sourceDir;
                File newApk = new File(Environment.getExternalStorageDirectory(), "new.apk");
                if (!newApk.exists()) {
                    try {
                        newApk.createNewFile();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
                doPatchNative(oldApkPath, newApk.getAbsolutePath(), patchPath);
                return newApk;
            }

            @Override
            protected void onPostExecute(File newApk) {
                //安装
                if (!newApk.exists()) {
                    return;
                }
                Intent intent = new Intent(Intent.ACTION_VIEW);
                intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
                if (Build.VERSION.SDK_INT >= 24) { //Android 7.0及以上
                    // 参数2 清单文件中provider节点里面的authorities ; 参数3  共享的文件,即apk包的file类
                    Uri apkUri = FileProvider.getUriForFile(MainActivity.this,
                            getApplicationInfo().packageName + ".provider", newApk);
                    //对目标应用临时授权该Uri所代表的文件
                    intent.addFlags(Intent.FLAG_GRANT_READ_URI_PERMISSION);
                    intent.setDataAndType(apkUri, "application/vnd.android.package-archive");
                } else {
                    intent.setDataAndType(Uri.fromFile(newApk),
                            "application/vnd.android.package-archive");
                }
                startActivity(intent);
            }
        }.execute();
    }

    private native void doPatchNative(String oldApkPath, String newApkPath, String patchPath);
}

bspatch.c拷贝到src/main/cpp下,修改main函数名:

//int main(int argc,char * argv[])
int bspatch_main(int argc,char * argv[])
{
    ......
}

cpp目录创建bzip2文件目录,将bzip2源码及头文件拷贝进来:
blocksort.cbzlib.cbzlib.hbzlib_private.hcompress.ccrctable.cdecompress.chuffman.crandtable.c

修改CmakeLists.txt:

cmake_minimum_required(VERSION 3.4.1)

include_directories(${CMAKE_SOURCE_DIR}/bzip2)

aux_source_directory(${CMAKE_SOURCE_DIR}/bzip2/ bzip2_srcs)

add_library(
        native-lib
        SHARED
        native-lib.cpp
        bspatch.c
        ${bzip2_srcs}
)

target_link_libraries(
        native-lib
        log)

编写native-lib.cpp:

#include <jni.h>

extern "C"{
    extern int bspatch_main(int argc, char * argv[]);
}

extern "C"
JNIEXPORT void JNICALL
Java_com_example_bsdiff_MainActivity_doPatchNative(JNIEnv *env, jobject thiz, jstring old_apk_path_,
                                                   jstring new_apk_path_, jstring patch_path_) {
    const char *old_apk_path = env->GetStringUTFChars(old_apk_path_, 0);
    const char *new_apk_path = env->GetStringUTFChars(new_apk_path_, 0);
    const char *patch_path = env->GetStringUTFChars(patch_path_, 0);
    char *argv[4] = {
            "bspatch",//第一个参数可不填("")
            const_cast<char *>(old_apk_path),
            const_cast<char *>(new_apk_path),
            const_cast<char *>(patch_path)
    };

    bspatch_main(4, argv);

    env->ReleaseStringUTFChars(old_apk_path_, old_apk_path);
    env->ReleaseStringUTFChars(new_apk_path_, new_apk_path);
    env->ReleaseStringUTFChars(patch_path_, patch_path);
}

打包生成两个版本的apk文件:old.apk 和 new.apk ,然后上传到 linux 服务器,使用 bsdiff 生成补丁包文件 patch.diff 。再将 patch.diff 传入手机 sd卡 根目录即可。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,607评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,047评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,496评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,405评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,400评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,479评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,883评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,535评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,743评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,544评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,612评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,309评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,881评论 3 306
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,891评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,136评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,783评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,316评论 2 342