网易视频云专注于技术服务——异步通知系统

随着互联网技术的发展,云计算在资源层面竞争已经进入白热化的阶段,网易视频云定位于PAAS层面,从各个技术领域进行技术钻研以提供给用户更高效、更稳定、更便捷的视频直播技术服务;notify系统作为网易视频云对外技术服务的一员,提供面向海量用户的高可用异步回调服务。

目前直播平台大多采用以下架构(图一):客户通过推拉流SDK或软件直接与直播/点播平台进行推拉流/转码交互,这样的架构下客户企业应用中对直播/点播状态及数据的管理增加了更多条件限制,客户企业应用服务器在维护直播/点播数据信息需要考虑各种复杂场景因素:一、推流端非正常退出时客户企业应用服务器无法感知用户真实的流状态;二、客户企业应用无法感知推流用户使用第三方技术进行推拉流等。

[img]http://ww3.sinaimg.cn/mw690/738da497jw1f8xl5m4fy9j20ou0dewfh.jpg[/img]

因此为了让客户能更准确高效的获取实时直播数据,网易视频云提供了一套高效稳定的异步回调服务机制(图二),给用户提供实时高效的数据服务。

[img]http://ww1.sinaimg.cn/mw690/738da497jw1f8xl5mjt9oj20h40c974v.jpg[/img]

与内部服务系统相比,外部异步通知不仅需要考虑海量数据处理的性能同时还需要考虑不同接收方网络环境、数据处理耗时差异的影响。因此如何在负责环境下,给用户提供可靠通知服务是首要解决问题。

系统设计

[img]http://ww1.sinaimg.cn/mw690/738da497jw1f8xl5n2fx7j20ku07fmxo.jpg[/img]

通知系统作为网易视频云通用化海量通知发送平台为设计目标并不关心具体业务场景(图三),接入方只需要根据自己的业务状态将发送目标地址、发送内容进行通知注册,通知系统即可根据相关用户配置信息进行高容错发送,在流程上尽可能提高发送方的业务处理效率;为更好支持业务通知系统还提供了提交、回滚可选项二阶段注册方式。

通知客户端/api:提供给业务接入方进行通知注册、查询、提交、回滚功能的高可用RPC接口。

通知恢复处理器:用于触发指定时间点的通知进行重发处理,对重发任务进行恢复调度。

消息通道:可根据不同业务或用户配置不同的消息通道(图四),一个通道被堵不会影响其他通道,一部分用户处理缓慢不会影响全部客户,从而起到故障隔离的目的。

[img]http://ww3.sinaimg.cn/mw690/738da497jw1f8xl5neaw3j20cw059gls.jpg[/img]

通知协议处理器:真正执行通知发送的组件,不同的接收方往往基于自己的技术使用不同的协议,如:http、https或其他协议,协议处理器按用户配置选择指定的协议进行通知处理,插拔式功能模块更方便支持业务拓展。

决策器:决策处理器根据协议处理器处理结果和用户的通知发送配置信息进行重试调度、消息降级、丢弃、归档处理;第一次通知发送往往是业务最关心的即时信息,因此具有通道中最高优先调度权,正常情况下第一次发送失败后则会立即进行重发尝试,否则根据策略进行消息降级处理,对于发送失败越高的通知调度的优先级越低。

monitor:监控实时系统状态,监控通知积压情况。

通知系统内部采用注册和发送分离的方案,面向接入业务提供高tps数据写入,让业务处理更纯粹,更效率;通知内部基于通道、协议及决策器协同处理设计方案从细节上提高海量数据处理能力,使通知系统具备资源合理分配、故障隔离、优先调度调控的能力,为通知发送发和接收方提供更高的质量保障;同时通知集群采用高可用分布式服务框架,通知业务接入方和通知服务端采用点对点的调用方式,支持对业务透明的动态扩容方案。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,723评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,080评论 2 379
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,604评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,440评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,431评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,499评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,893评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,541评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,751评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,547评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,619评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,320评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,890评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,896评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,137评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,796评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,335评论 2 342

推荐阅读更多精彩内容