Conan C++内网包管理构建方案

需求

在公司的研发过程中,源码以及文档是公司重要的资产。目前,很多公司都将研发进行了内网化,禁止直接与互联网进行连接。内网开发中,C++项目如何进行包管理,是一个重要问题。而在内网的包管理中,最大的问题是经常需要对其他开源项目包进行依赖,而重新构建这些包管理,对我们是不小的挑战。

实施方案

总体策略

基于现有开放的包管理中心,对包进行本地化移植。
最终的方案是这样的。首先,通过包管理器的索引文件找出所有的包、版本信息、源码信息;然后,根据解析的包信息,对包中的源码文件进行本地化下载映射;最后,将远程仓库中的包转移到本地仓库。另外一个额外的步骤,将本地外网仓库导出,修改源码下载配置,然后导入到内网中的仓库,完成公网C++包的公网转内网。

架构部署

物理机器架构部署图

公网仓库中心:就是常规意义的Conan-Center仓库,是Conan C++包的官方仓库中心,包含了常见的C++包。
外网中转仓库中心:主要目的是将公网仓库中心的包转移到本地,在本地完成包关系验证,确保包转移后的正确性。
内网仓库中心:部署在不能连接互联网内网中的仓库中心。

流程及问题梳理

  1. 需要一个方式,能够将公网仓库中心的包转移到外网中转仓库中心;
  2. 需要能够获取到所有的包列表;
  3. 需要一个方式,能够将外网中转仓库中心的包,转移到内网仓库中心;
  4. 需要对包源码文件进行管理,确保内网能够下载到包源码文件;

为了解决以上问题,将任务进行如下分解:

  1. 获取包列表,以及包对应源码信息;
  2. 获取包依赖关系;
  3. 实现远程包源码与本地包源码的一一映射;
  4. 公网仓库包本地转移;
  5. 包源码信息修改;
  6. 包的内网导入;

为了实现以上任务,需要对部署图进行一定升级,需要内网提供一个源码访问的存储。升级后的部署图如下:


添加源码存储后的架构部署图

实现

包列表获取

github上有一个项目叫做conan-center-index,是conan-center的索引同步信息文件。理论上来说,从这个项目文件可以直接构建出本低仓库,但由于本任务设定时间紧迫(从学习conan包管理器,到完成内网转移方案实现,预期时间2天),此想法还没有完全验证。仅仅将这个索引文件导入到仓库中,并不能直接识别包信息,应该需要其他特殊处理过程。
在conan-center-index项目中,基本使用了python脚本与yml文件进行包信息描述。在实现本任务过程中,本想着基于此项目信息同步分析包依赖关系,执行py文件,获取相关信息。但存在一个问题,py文件依赖了大量conan的内部模块,不能直接运行,为解决此问题,有两个方法,1,构建这些模块的mock,使得可以启动执行;2,直接引入conan的内部模块。后期对两个方法都进行了简单的验证,第一个方法基本也是可行的,但由于是mock,不确定是否对结果有什么影响。第二个方法很难实现,主要是需要完成按conan的流程来调用执行,这个过程需要时间来分析具体代码,目前没有太多时间计划。
由于各种因素,最终只是解析conan-center-index项目中的yml文件,获取到包名称、版本、以及对应的源码文件信息。

包依赖关系获取

conan提供了一个info命令,可以提供依赖信息。命令大致如下:

conan info poco/1.9.4@ -r=conan-center -j=o.json

输出结果为o.json文件,后续对该文件进行解析。

远程包源码与本地包源码的一一映射

一个较好的做法是将文件的校验码作为本地文件存储目录名称,确保一一映射的准确。但由于时间关系,选择了另外一个相对存在一点不足的方法,将链接直接MD5作为本低存储目录名称,一般来说,这个方案风险也不大,因为源码打包路径中都带有版本信息,很少会保持目录不变,而源码内容进行变化,但也是存在这个可能的。

仓库包本地转移

通过Conan的两个命令实现,一个是从远程仓库安装包,另一个是将安装的包上传到本地仓库。由于从远程仓库安装包,对机器存储空间有要求,而测试电脑中硬盘空间也是很紧缺,另外安装也是存在一定的失败可能,所以选择不是安装包,而是查看包依赖。查看包依赖时,会将包的描述信息下载到本地,但不会尝试构建二进制信息,所以只要网络不出问题,这个操作就基本都是成功的,可行性更高。

conan info poco/1.9.4@ -r=conan-center -j=o.json
conan upload poco/1.9.4 -r=local-center

包源码信息修改

包源码信息修改,有两个方式。
第一个方式,在外网中转仓库中心,导出仓库。在导出的仓库目录中,有包的描述文件,对包描述文件进行修改,将源码获取从公网设置到内网,例如http://github.com/xxx/xxx.zip修改为ftp://172.1.2.5/packages/md5xxx/xxx.zip
第二个方式,不对包描述信息进行修改,而是在Conan源码上进行修改。当检查获取源码信息时,将当前路径自动转换为内网路径。
两个方式都能满足目前需求,但考虑到可维护性,第二个方式会更优一些。当公网包升级时,采用方案1,需要每次都进行源码路径修改,这个操作可能被忘记。另外,内网存储包源码的路径可能也会发生变化,相对来说第二个方式会更具有可维护性。

包的内网导入

这个功能是JFrog Artifactory自带的功能。在其web管理页面中进行操作即可。

源码

https://gitee.com/imlaji/conan-info-parse
源码包含了包列表解析、包一一映射本地下载、包依赖关系解析、包公网转本地执行。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,738评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,377评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,774评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,032评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,015评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,239评论 1 278
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,724评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,374评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,508评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,410评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,457评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,132评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,733评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,804评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,022评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,515评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,116评论 2 341

推荐阅读更多精彩内容