DBA在大数据云计算时代如何自保?

DTC:DBA,DBA是英文Database Administrator的简称,也就是数据库管理员,是负责维护和管理数据库服务器的专业技术人员,您有着15年数据库工作经验,现在作为DBA主管、数据库架构师,您对DBA的理解是?以及您认为DBA需要什么样的技能和素养?

A:数据库管理员,是需要关注数据,也需要关注库,即需要关注数据与服务,要关心如何操作数据库(程序),从而来保障好数据库。DBA是一个系统架构项目产品的核心保卫战士,有很高的话语权。但这就要求DBA不要只做好数据及库的事,更重要的是需要理解产品,需要知道系统特征,从而才能更容易把问题分析透彻,根本上解决系统的表面问题。

个人认为DBA需要掌握的技能与素养有这几个方面:

  1. DBA应该是一个系统的运维工程师,了解数据库所掌握的操作系统(操作与调优)

  2. 所负责的数据库项目相关所有的特征,了解性能峰值及业务增长

  3. 数据库本身,维护相关的如部署,调优,备份,恢复,迁移,升级,巡检等基本能力

  4. 理解监控,对监控的每项语义明了并不断优化监控

  5. DBA需要事中应急的技能,应急就是保障业务的连续性(如自动切换的能力),故障的快速诊断,快速修复数据,快速恢复数据

  6. DBA需要有危机意识,把自己所负责的数据库相关的问题,能想多少就想多少,不断平时发现问题,从而不断提高技能的同时,更多的是为保障提供业务技术与服务

  7. 一个好的DBA,是不断的实验,实验再实验的,既是对系统的演练,更是对自己技能的演练,这样才能速度提高自己的水平。(我记得,初始为DBA时,我一天可能实验有超过每天五六小时)

作为职场中人,我们都需要生存。我们很多人,都是被人管理,也有管理人的,从管理角度上(我自学了很多年MBA等管理相关专业等),我们需要了解公司需要做什么,我们如何去做符合项目的事(这个课题请大家以不同的方式思考),如何才能做一个超过DBA本身的事,做符合公司价值观的工作,而不是闷着头一直做。只有符合公司价值观的工作,才能真正使我们成长。即使我们做对了一件数据库恢复的事,也是体现公司价值的一部份,我们也是了不起的。但其实要想自己职场中发展,更多的是做好本职工作同时,更需要创新的思路,这对公司与自己都很重要。

DTC:运维DBA和开发DBA相通和区别的地方是?

A:DBA无论是运维DBA还是研发DBA从本质上都是来解决保障数据库问题,从而支撑项目可落地,可健康运营的目的。运维DBA比较靠表面一些,运维DBA是施工、调优、监控、更新、备份恢复等从系统的层面来保障业务的,研发型DBA主要从研发及功能与性能设计的角度上,对数据库表、字段、数据、SQL等设计的方向去让产品匹配系统的,是基于数据库与项目的点不同但都是解决同一项目。

DTC:大数据/云计算时代,给DBA带来了哪些新的挑战?

A:大数据/云计算时代已来临好多年了,市场逐渐成熟,DBA做精数据库已很难做到了。现在大家都不是一直看着Serverless方向发展了吗?DBA需要懂得更多。无疑,关系型数据库还是主流,但业务逐渐有不少方案选择NoSQL等类型;NoSQL类型,往往是无维护模式的(即有集群,表模型很简单),调优常常是研发的事,在这种调优,除了参数调优之外,传统DBA往往无很多事可做,但故障来了,却又很难解决(解决往往也需要研发来解决),主要是因为对NoSQL的不熟练,及很多NoSQL类型数据库其实并没有传统数据库成熟,资料也不够多等,DBA经历不够,而比较被动;

云计算上数据库实例和业务过多,而DBA如何和之前一样优化好、监控好、保障好,这个挑战很大的,产品用户体验已成为企业竞争力的一个核心要素,而业务大、质量要求更高,对DBA保障业务更是一个挑战。

DTC:DBA通常会遇到技术、职场等多角度的瓶颈,于您而言是否有那么历经困苦突破之后的事情?

A: 可能平时我想问题比较多吧,不想一直闷着做事,因为我知道,一直做下去,就跟个工人没两样。所以,我需要去不断突破自己。仅做部署、备份、恢复等是不够的,因此,在实验之余,考证书是我第一个想到的。选择了OCM的考试,第一,主要是想知道整个Oracle有什么,我如何掌握技术核心;第二是掌握后,我可以能够担负公司更重要的项目及任务,顺便对自己知识优化等。

另一个是云计算与大数据来了之后,要去IOE,我辛苦花好多年学来的东西要去掉,虽然不是从0开始,但又得重新从0开始,不断适配公司要求的技能是我们必须每天要做的事吧,无论是不是DBA,市场、公司需要什么,我们都得做吧。所以,就开始转型做分布式、NoSQL类的数据库研究与测试等工作,速度转型。

我现在还在转型与学习中,有更多的难题(在平时思考中获得的,及公司所遇到的),需要突破自我(调整技术结构,了解技术能力,识别技术可行性,技术价值落地等),需要更强大,帮公司成就项目,找合适的主题与命题给团队让团队更加健壮的成长,当个很好的螺丝钉。这个是我每天在做与想的问题。

云数据库的运维新挑战

DTC:新的框架层出不穷,例如数据存储领域的发展,从文件、关系型数据库、NoSQL 数据库、分布式数据库等,五花八门的新技术,有些是昙花一现而有些则变成主流选择。何时引入新工具和引入哪种新工具提高生产力,就变成了一个考验眼光的技术活儿。有时候存在一种是为了引入而引入么的情况,小公司没有历史包袱,新技术对他们诱惑力很大,对此您有什么经验可分享?

A:对于新技术的选择,我们压力比较大,因为有质量及故障考核,这是一个矛盾;技术创新与质量要求的考核,有时候也是一种制约。但作为公司来讲,是鼓励创新的,公司更要求稳定中求发展。一般树立命题,是题目评审-技术调研测试-部门内分享结果,这特别要让研发知道。需要推广新技术落地时,需要评审技术落地的理由,然后作为储备技术,当有项目场景需要时拿出来再用。

DTC:云数据库悄无声息地已到来,可否分享下数据库的发展历程,以及具体介绍下云数据库?其和传统数据库有着怎样的区别?

A:云数据库离不开云计算,云数据库是建立在虚拟机上为基础的,带有云计算的特征、共享、弹性、智能。传统的数据库拿Oracle来讲,本身是比较重的,安装部署都是个重型的工程。云数据库轻巧,有更多解决方案,能组建更多的架构(自动切换、读写分离、分布式、数据中心多活);传统的数据库可选的不多。云数据库更是利用了云计算强大的全栈技术能力,更是有了共享数据的能力,同时可以随意实施主机热迁移的能力(快速迁移)。

类别

云数据库

传统数据库

主要数据库

以RDS(MySQL)为主

以Oracle为主

安全性

云计算已安全保障了大部分安全

安全性比较严重

性能

单实例性能不高

单实例高性能

数据量

单实例不能数据量过大

可以支撑大数据量

迁移

不影响服务,秒级切换(集群或从库)

迁移是个大工程,切换教久

并发性

分布式构建容易,解决存储IO

存储瓶颈较难解决

连续性

高可用、联系性好

切换较慢,关注数据一致性

服务

分布式构建,局部失败,多种连续性解决方案

过于集中化

对DBA要求

需要综合使用工具的能力

需要专业的调优能力

云数据库与传统数据库比较

DTC:云数据库服务运维体系需要注意哪些问题?

A:云数据库服务,是服务就会出问题,必须转换的思路(数据库单服务实体不能影响整个系统,坚持故障无害思路,不要相信单节点的能力)。

在基于整体架构的基础上,把每个问题点列出来,持久频繁演练,制定出自己适配运维方式,才能有问题不会慌乱;另外,云数据库一式三分(主、备、异地备,不要去相信任何一个单节点的服务与数据),同时,在每份备份上,有逻辑备份,这样才能长治久安。云服务自动化运维能力非常重要,让系统管理数据库,而不是让人去管理数据库,这样的思路理念。人的操作代价是极高的,操作有限,水平有限,操作数量有限,因此,一定需要按照系统解决系统的思路来走。

问题项

问题描述

“问题”SQL增多

非高并发的INSERT都可能成为慢查询

SQL不稳定执行

执行计划会变化

监控不准

虚拟机本身没问题的情况下,性能有问题

云数据库服务剧增

实例过多,DBA不能只关注个别实例

中间件增多

需要研发实例来支撑中间,频繁更新

中间件问题多

理论上的分布式数据库,中间件是瓶颈“咽喉”,仍然是中心化类的数据库

架构过高,中间损耗大

中间件与MySQL单个性能都不是很高,基于资源有些浪费

云计算资源池过于集中

过多的服务互相影响,存储级别的问题排查困难

跨机房系统增多

专线与公网影响整套系统的稳定性与RTT的返回速度

排查问题难

基于不可控的问题多,排查问题相对困难,“无头案”增多

云数据库服务运维体系存在问题特征

DTC:可否介绍下21CN的云数据库服务情况?

A:云数据库已是21CN做项目的标准,不再提供传统数据库服务,之前未迁移上云的项目继续完成(个别项目);而有个转变是,之前云数据库经常用的SATA、SAS磁盘,现在逐渐使用SSD等高性能的硬件存储做为云项目的标准。还有,我们的业务也越来越多了,挑战每天都有,不过,我们蛮有信心与信念做好的。

DTC:本期您分享的云数据库服务脆弱性是什么?为什么关注这个事情?

A:脆弱性往往在系统上讲指安全性,不堪一击,这里的脆弱性指与数据库服务相关的所有质量属性问题:故障、服务失败、同步失效、数据恢复、同步不一致、数据有效性、成本可控性,凡是命中在数据库上所有的问题都属于脆弱性。因为往往表面发生在了数据库上面,但往往是别的原因,因为云数据库属于PaaS,并且可选择的数据库类型虽然多,但问题也会多起来。

DTC:某一项新技术/趋势的诞生,往往技术图书很快出来,可否推荐一些云数据运维的优质图书给大家?

A:这个需要结合云计算及运维及数据库相关的资料结合起来才可以:《分布式数据库系统原理(第3版)》、《SRE:Google运维解密》、《AWS云计算实战》等很多,一般我是看几家公司比较多些:Google、AWS、微软等这些工程师写的,我经常也直接把当当也当知识库了,需要什么类型的资料,搜相关的书,看大纲内容,理解思路等。

关系型数据库依旧主流,未来也是主流

DTC:对从事DBA行业的人的人,您有什么对他们说的话?

A:DBA是门职业,也是一种荣誉,DBA站在自己的角度,守护自己的系统同时,时刻传递数据库服务价值(不要闷着头去工作),让公司走得更好,也才能自己走得更远。

DTC:以您多年丰富的工作经验,您如何看未来数据库技术的发展和趋势?

A:应用数据应用越广泛,数据库就会被用得越来越多,数据库越来越智能与灵活。关系型数据库依旧主流,未来也是主流。多模数据库类型发展迅猛,原生数据库的思路是一个亮点,(SQL与NoSQL较完美的结合,前端SQL后端NoSQL);另外,数据库集群组件越来越好,如RAFT、PAXOS协议的相关应用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,761评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,953评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,998评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,248评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,130评论 4 356
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,145评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,550评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,236评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,510评论 1 291
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,601评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,376评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,247评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,613评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,911评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,191评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,532评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,739评论 2 335

推荐阅读更多精彩内容