云存储网关(上)

前言

之前有幸参加了在上海的Qcon大会,收获还挺多的,想就其中一个课程,在我的消化之后谈一些理解和收获。

主要分享的课程是由腾讯带来的云存储网关的一些介绍,当然我也是只能听懂皮毛,在自己学习了一些相关知识之后才敢分享一点点浅显的内容,如果想要真正了解腾讯的网关或者云服务的可以上网去了解,我可能只是介绍一些相关的知识。

本片分为两部分,上篇主要介绍一些网络存储的知识,CDN加速器,云网关的需求点。下篇可能简单说一下腾讯的这款产品,以及分享的一种读算法的改良(包括一些其他算法的介绍)。

最后,如果文章中有一些作者理解错误的地方,请帮忙指出,因为作者也是刚开始了解相关的知识。

传统的数据备份和存储

传统的数据备份和存储了解了三种:Direct Attached Storage直连式存储,Network Attached Storage网络存储设备,Storage Area Network存储区域网络。这三种都是比较常用的存储结构,下面简单的对他们进行分析和比较:

1)DAS 直连式存储

顾名思义,直连式存储就是将存储设备直接接到服务器机器上,依赖服务器主机的操作系统进行数据的读写和存储的维护,也就是说在备份或者存储数据的时候要占用主机资源(约20%-30%)这显然在某些应用场景下是不以接受的,这也就是跟很多采取这种数据备份的公司只能晚上进行备份工作的原因。另外DAS采用SCSI(Small Computer System Interface)进行连接存储设备,从名字上就可以窥探出他的适用范围,这种链接是有限的,如果希望存储大量的信息那么SCSI也会成为瓶颈。这种方式的扩展性也存在其缺点,必须通过停机才能对容量进行扩展,对于很多服务都是难以接受的,服务器发生故障,数据将不可访问,灾难恢复性… 虽然DAS有其局限性,但是他的部署使用成本较低,使他仍有很强的市场占有度。


图片发自简书App


2)NAS网络接入存储

首先这种东西可以个人使用,就是一个存储设备,节日家庭网络中。可以家人或者个人将不同设备上的信息存储于NAS上,有利于信息共享,并且节省单个设备的存储资源。

NAS依赖于网络而不是物理设备,所以有两个优点,第一个是不会占用主机操作系统的资源,第二点是当设备停机了不会影响NAS的工作。当然它也有它的缺点,既然是接入到网络中,那么主要限制他的就是带宽,如果是数据量大的信息存储用NAS就不大适合了,NAS采用的是文件级别的存储,在实际的存储中我们使用的常常是物理备份(数据的备份)而不是逻辑备份(文件的存储),所以使用场景需要考量。还有一个问题是安全性,关键性数据暴露于网络传输中可以说是很危险的了。


图片发自简书App


3)SAN存储区域网络

SAN分为两种形式,一个是通过光纤进行传输(FC switch),另外一种是通过ISCSI技术,即通过IP进行信息传输。前者就NAS的不足进行了改进,采用光纤进行消息传输首先也是采用了网络传输的方式,不同于NAS,SAN将传输信息的带宽隔离出来,独立于数据网络的存在,与服务器本身的网络信息传递不相互影响,另外采用光纤大大提高了信息传输的速度。后者则是让SAN支持了块级存储,ISCSI使SAN可以在IP网络上运行SCSI协议,即支持了块级存储。SAN结合了前两种存储方式的优点,它是“可插拔”的,可以在不停止运行的基础上增加存储设备。它支持更大的存储空间,扩展性强,可以对空间进行分配。对于数据访问来说,可以提供一个理想的访问和读写速度。SAN的缺点也比较明显,就是成本和复杂性,虽然采用ISCSI可以降低成本,但是相较于光纤,还是存在速度的劣势。


图片发自简书App


图片发自简书App

关于CDN技术

在了解了常用的存储之后,我们进入qcon分享的内容,腾讯在发展云技术有了两次改进,首先是采用了cdn加速技术(cdn Content Delivery Network 内容发布网络),之后又研发了自己的云存储网关进一步提高了存储和响应速度。

那么本片我们先来简析一下cdn加速技术

官方基本思路的解释:

尽可能避开互联网上可能影响数据传输速度和稳定性的的瓶颈和环节,是内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向里用户最近的服务器节点上。

传统的访问方式是访问一个目标url,DNS会解析它,并且返回目标的IP地址,用户发出请求,该ip地址的服务器相应请求。那么就会有一个问题如果数据量大,距离远,又要确保响应速度就很难保证。CDN提供了一种“最优解”。以最简单的模式来说,首先用户向目标url发起请求,DNS不会直接返回目标的ip地址,而是将该请求传达给CDN DNS解析器进行解析,然后返回CDN全局负载设备的ip地址,用户访问全局负载设备url,全局负载设备根据用户的IP地址,返回给用户区域负载设备的地址,用户访问区域负载设备的url,区域负载设备会根据用户的IP和用户的请求内容,进行综合分析,得到一个距离用户最近的,可以最快响应的,包含用户所要信息的服务器并返回该服务器的IP地址,接下来用户就能从这个“最优解”中得到想要的内容。

当然我只是简单说明了CDN的最简单的寻找最优服务器的流程,隐藏了很多技术性的内容。简单来概括CDN就是它是一个“策略中心”,包括分布式存储,负载均衡,网络请求重定向,内容管理和全局网络流量管理几个部分,每一部分的内容,我觉得要想简单理解还都要花一些时间。

关于云网关

最后来谈一下我理解的腾讯云网关CSG的需求分析,首先我们刚才提到的本地的存储选择,如果想采用SAN作为存储结构,部署起来费时费力,那么云网关给我们提供了一个新的选择,就是相当于提供了一种可以快速响应有一定存储空间的不需要我们自己部署的易迁移和扩展的存储服务,具体的我们下次再说,也可能不说,拒绝打广告… 另外它作为网关出现那我理解可能是将存储这个环节放在距离应用的最后一跳,将云存储接入到本地的存储结构中,解决了本地存储和云端的很多兼容性问题,做一些速度和算法上的优化,就比如我们下次会提到的一种改良的读算法。

先说到这里吧,其实也好有很多问题没想特别清楚,欢迎讨论交流^_^

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,667评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,361评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,700评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,027评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,988评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,230评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,705评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,366评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,496评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,405评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,453评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,126评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,725评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,803评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,015评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,514评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,111评论 2 341

推荐阅读更多精彩内容

  • 网络存储(Network Storage)是数据存储的一种方式,网络存储结构大致分为三种: 1.直连式存储(DAS...
    为了明天_加油阅读 740评论 0 3
  • 高并发平台架构 设计理念 1. 空间换时间 多级缓存,静态化前端页面缓存(HTTP Header中包含Expire...
    AkaTBS阅读 3,014评论 0 13
  • 问题导读: 1.如何构建高并发电商平台架构 2.哈希、B树、倒排、bitmap的作用是什么? 3.作为软件工程师,...
    MaLiang阅读 5,106评论 1 70
  • 距离九月份还有四个月,那些将要步入小学中学的学子家长们,天天唠的都是“谁谁谁买了学区房,谁谁谁谁没有学区房,现在就...
    LH来慧阅读 645评论 3 2
  • 昨夜潇潇,走一段醉迷无痕的廊桥~夕阳见证形影不离的感怀~星辰点亮瑰意琦行的驰骋~往昔芬芳即便碎沫也流连~写一首浮生...
    络琳阅读 145评论 0 0