centos 7.4-aarch64如何编译Ceph

一、Ceph简介

Ceph的初创来自Sage Weil 博士的 PhD 论文，论文 “Ceph: A Scalable, High-Performance Distributed File System”详细的阐述了 Ceph 的设计架构。（论文网址：https://www.ssrc.ucsc.edu/Papers/weil-osdi06.pdf）

简而言之，Ceph作为一个分布式存储系统设计的目标定位为：

①可轻松扩展到数PB级别的容量（Ceph目前的版本可以轻松支持EB级别的存储容量）

②能够自动适应多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽）

③高可靠性，提供了对象、块、文件系统一整套存储解决方案，大大降低运维的成本

Ceph作为一个优秀的分布式存储系统，未来分布式存储系统提供了设计基础。自Linux内核2.6.34版开始，Ceph.ko已经集成到Linux内核之中，作为分布式文件系统的备选项之一。同时Ceph也是OpenStack中优秀的开源存储解决方案，支持通过Ceph作为块存储或对象存储进行读写访问。

Ceph提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：

（1）Ceph核心组件：

在Ceph存储中，包含以下几个核心组件，分别是Ceph OSD；Ceph Monitor和Ceph MDS。

Ceph OSD：全称是Object Storage Device，主要功能包括存储数据，处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给Ceph Monitor,如Ceph OSD心跳等。

Ceph Monitor：Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含Monitor map、OSD map、PG(Placement Group) map和CRUSH map。

Ceph MDS：全称是Ceph Metadata server。主要保存的是Ceph文件系统（File system）的元数据。（Ceph的块存储和对象存储不需要Ceph MDS。Ceph MDS为基于POSIX文件系统的用户提供一些基础命令，如ls，find等命令）。

  （2）Ceph功能特性：

对象存储功能特性基于LIBRADOS之上，提供当前流行的RESTful协议的网关，并兼容S3和Swift接口，作为对象存储，可以对接网盘应用以及HLS流媒体应用等，

块存储功能特性也基于LIBRADOS之上，通过LIBRBD创建一个块设备，通过QEMU/KVM附加到VM上，作为传统的块设备来用。

文件系统存储功能特性是基于RADOS来实现分布式的文件系统，引入了MDS（Metadata server）,主要为兼容POSIX文件系统提供元数据，可当做文件系统挂载。

（3）Ceph架构

（4）Ceph设计思想

        Ceph最初针对的应用场景，就是大规模的、分布式的存储系统。所谓“大规模”和“分布式”，至少是能够承载PB级别的数据和成千上万的存储节点组成的存储集群。

Ceph的技术特性：

            ①集群可靠性

            ②集群可扩展性

            ③数据安全性

            ④接口统一性

二、如何源码编译Ceph

（1）安装pip

        $:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

        $:python get-pip.py

（2）安装gcc-7.3

        查看当前的gcc版本：gcc  -v

     $: gcc -v

            Using built-in specs.

            COLLECT_GCC=gcc

            COLLECT_LTO_WRAPPER=/usr/libexec/gcc/aarch64-redhat-linux/4.8.5/lto-wrapper

            Target: aarch64-redhat-linux

            Configured with: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-bugurl=http://bugzilla.redhat.com/bugzilla --enable-bootstrap --enable-shared --enable-threads=posix --enable-checking=release --with-system-zlib --enable-__cxa_atexit --disable-libunwind-exceptions --enable-gnu-unique-object --enable-linker-build-id --with-linker-hash-style=gnu --enable-languages=c,c++,objc,obj-c++,java,fortran,ada,lto --enable-plugin --enable-initfini-array --disable-libgcj --with-isl=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/isl-install --with-cloog=/builddir/build/BUILD/gcc-4.8.5-20150702/obj-aarch64-redhat-linux/cloog-install --enable-gnu-indirect-function --build=aarch64-redhat-linux

            Thread model: posix

            gcc version 4.8.5 20150623 (Red Hat 4.8.5-16) (GCC)

        下载gcc 8.2.0的源码：

                                https://mirrors.ustc.edu.cn/gnu/gcc/gcc-8.2.0/gcc-8.2.0.tar.gz

        将源码上传至服务器然后解压

               $: mkdir -p /usr/local/gcc

               $:tar -xvf gcc-7.3.0.tar.gz -C /usr/local/gcc/

        解压完成后，编译安装gcc源码

                进入gcc 8.2.0目录，运行 download_prerequisites 脚本 。

                $:cd   /usr/local/gcc/

                $:cd   gcc-8.2.0/

                $: ./contrib/download_prerequisites

                2018-07-18 16:06:03 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2 [2383840] -> "./gmp-6.1.0.tar.bz2" [1]

                2018-07-18 16:08:29 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2 [1279284] -> "./mpfr-3.1.4.tar.bz2" [1]

                2018-07-18 16:09:25 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz [669925] -> "./mpc-1.0.3.tar.gz" [1]

                2018-07-18 16:12:42 URL: ftp://gcc.gnu.org/pub/gcc/infrastructure/isl-0.16.1.tar.bz2 [1626446] -> "./isl-0.16.1.tar.bz2" [1]

                gmp-6.1.0.tar.bz2: OK

                mpfr-3.1.4.tar.bz2: OK

                mpc-1.0.3.tar.gz: OK

                isl-0.16.1.tar.bz2: OK

                All prerequisites downloaded successfully.


                建立编译输出目录，将所有的中间文件都放到该目录中。

                $:cd /usr/local/gcc/gcc-8.2.0

                $:mkdir gcc-build-7.3.0

                $:cd gcc-build-7.3.0/

                $: cp ../gmp-6.1.0.tar.bz2 ./

                $: cp ../mpfr-3.1.4.tar.bz2 ./

                $: cp ../mpc-1.0.3.tar.gz ./

                $: cp ../isl-0.16.1.tar.bz2 ./

    配置：

            在当前目录执行：

            $: ../configure --enable-checking=release --enable-languages=c,c++ --disable-multilib 

          参数解释： 

                  --enable-checking=release           //增加一些检查，也可以–disable-checking生成的编译器在编译过程中不做检查；

                  --enable-languages=c,c++          //让gcc支持的编程语言 ；

                  --disable-multilib               //取消多目标库编译(取消32位库编译)。


    make编译

            当前目录执行：make  -j4

    进入make的gcc目录进行安装

            make install -j8

    生成软链接

            $:ln -s /usr/local/bin/gcc /usr/bin/gcc

            $:ln -s /usr/local/bin/g++ /usr/bin/g++

    验证

            $:gcc -v && g++ -v

（3）安装cmake

        下载cmake源码包cmake-3.13       

        创建用于安装cmake的目录/usr/local/cmake，并解压cmake源码包到/usr/local/cmake

        配置并编译

            $:./configure

            $:make

            $:make install

            $:mv   *  ../

            $:rm   -rf   cmake-2.8.5

        修改/etc/profile文件

            $:vim   /etc/profile

                #cmake

                PATH=/usr/local/cmake/bin:$PATH

                export PATH

            检查cmake是否安装成功

（4）下载ceph源码

从github下载源码，要加上–recursive参数，不然ceph源码内的很多子程序无法下载 

        $:git clone --recursive https://github.com/ceph/ceph.git

（5）下载ceph所需的库

        $:cd ceph

        $:sudo ./install-deps.sh

（6）运行脚本

        $:sudo ./do_cmake.sh

（7）编译ceph

        $:cd build

        $:sudo make -j10

（8）安装ceph

        $:sudo make install

（9）验证ceph

        [zc@node-02 build]$ ./bin/ceph -v

        *** DEVELOPER MODE: setting PATH, PYTHONPATH and LD_LIBRARY_PATH ***

          ceph version 14.0.1-924-g38e95b2 (38e95b2d8a40df264ea685ad528f89c78e01da0c) nautilus (dev)

错误处理

Error1>

    [endif]Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-*(其中×与要安装的软件有关)

            $:sudo python -m pip install --upgrade --force pip

            $:sudo pip install setuptools==33.1.1

Error2>

            $:yum install -y libffi-devel

Error3>

        /lib64/libsnappy.so: undefined reference to `operator delete(void*, unsigned long)@CXXABI_1.3.9'

        collect2: error: ld returned 1 exit status

        make[2]: *** [bin/ceph_perf_local] Error 1

        make[1]: *** [src/test/CMakeFiles/ceph_perf_local.dir/all] Error 2

        [ 56%] Built target ceph_test_keys

        make: *** [all] Error 2

                $:sudo mv /usr/lib64/libstdc++.so.6 ~

                $:sudo mv /usr/lib64/libstdc++.so.6.0.19 ~

                $:sudo ln -s /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6

                $:sudo ln -s /usr/local/lib64/libstdc++.so.6.0.24 /usr/lib64/libstdc++.so.6.0.19

Error4>

        LevelDBStore.cc:(.text+0x170c): undefined reference to `leveldb::RepairDB(std::__cxxptions const&)'

        LevelDBStore.cc:(.text+0x1750): undefined reference to `leveldb::Status::ToString[ab

        collect2: error: ld returned 1 exit status

                下载leveldb-1.20

                            https://github.com/google/leveldb/releases

                解压安装包到指定目录

                        $:tar -zxvf leveldb-1.20.tar.gz -C /usr/local/

                        $:cd /usr/local/leveldb-1.20

                        $:make

                编译完成后：找一下动态库

                        $:cd out-shared/

                        $:ll

                            total 648

                            drwxr-xr-x 2 root root    299 Nov 21 09:49 db

                            -rwxr-xr-x 1 root root  80536 Nov 21 09:49 db_bench

                            drwxr-xr-x 3 root root     20 Nov 21 09:47 helpers

                            lrwxrwxrwx 1 root root     18 Nov 21 09:49 libleveldb.so -> libleveldb.so.1.20

                            lrwxrwxrwx 1 root root     18 Nov 21 09:49 libleveldb.so.1 -> libleveldb.so.1.20

                            -rwxr-xr-x 1 root root 591128 Nov 21 09:49 libleveldb.so.1.20

                            drwxr-xr-x 2 root root     50 Nov 21 09:49 port

                            drwxr-xr-x 2 root root    182 Nov 21 09:49 table

                            drwxr-xr-x 2 root root    241 Nov 21 09:49 util    

            将新编译的动态库替换掉原来的库：

                        [root@node-02 out-shared]# cp libleveldb.so* /usr/lib64/

                        [root@node-02 lib64]# ll libleveldb.so*

                                    -rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so

                                     -rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1

                                    -rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

                                    -rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

                        [root@node-02 lib64]# rm libleveldb.so libleveldb.so.1

                        [root@node-02 lib64]# ll libleveldb.so*

                                    -rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

                                    -rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

                        [root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so

                        [root@node-02 lib64]# ln -s libleveldb.so.1.20 libleveldb.so.1

                        [root@node-02 lib64]# ll libleveldb.so*

                                    lrwxrwxrwx. 1 root root     18 Mar  8 02:23 libleveldb.so -> libleveldb.so.1.20

                                    lrwxrwxrwx. 1 root root     18 Mar  8 02:23 libleveldb.so.1 -> libleveldb.so.1.20

                                    -rwxr-xr-x. 1 root root 348928 May 17  2016 libleveldb.so.1.0.7

                                    -rwxr-xr-x. 1 root root 423152 Mar  8 02:22 libleveldb.so.1.20

            保险起见，把include下的头文件也替换掉：

                        [root@node-02 ~]# cd /usr/local/leveldb-1.20/include

                        [root@node-02 include]# cp -r leveldb/ /usr/include/

Error>

    (如果以安装gcc-8.2.0不会出现下面报错)

    with preprocessed source if appropriate.

    Please include the complete backtrace with any bug report.

    See <https://gcc.gnu.org/bugs/> for instructions.

    make[2]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/managed_lock/test_mock_GetLockerRequest.cc.o] Error 1

    make[2]: *** Waiting for unfinished jobs....

    [ 98%] Built target radosgw

    make[1]: *** [src/test/librbd/CMakeFiles/unittest_librbd.dir/all] Error 2

    make[1]: *** Waiting for unfinished jobs....

    [ 98%] Built target ceph-dencoder

    make: *** [all] Error 2


报编辑器内部错误，当前使用的是gcc-7.3.0，更换gcc版本为gcc-8.2.0编译成功。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 194,242评论 5赞 459
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 81,769评论 2赞 371
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 141,484评论 0赞 319
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,133评论 1赞 263
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 61,007评论 4赞 355
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,080评论 1赞 272
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,496评论 3赞 381
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,190评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,464评论 1赞 290
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2赞 309
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,205评论 3赞 312
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,567评论 3赞 298
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0赞 17
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2赞 341
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2赞 335

推荐阅读更多精彩内容