一个请求过来都经过了什么?(Thrift版)

一、背景

最初遇到这个问题是去58面试。部门领导是原同事,所以面试比较水。水到什么程度呢?

面试就是走个形式而已,不会不过的。

一面面试官就问了一个问题:“一个请求过来都经过了什么?”  剩下的全是闲聊。顺便展示一下公司和部门的优势。期待加入的意思。

声明

面试如此之松是基于两点:

第一点,与原同事多年的共事已经展示了能力和综合素质,比几个小时的面试得到的结论靠谱的多。

第二点,原同事本身认人识人的能力得到了其他人的认可,所以大家放心他推荐的人。

毕竟没人愿意让一个不合适的人加入自己团队拉低整体水准。

二、问题考察点

深度和广度的综合考察

三、静儿的答案

建立虚拟场景

☆ 项目

容器调度服务(根据用户传入的机房、CPU、内存等信息给用户创建所需要的机器)。

项目所用技术栈:SpringBoot、Thrift、缓存、mysql、k8s

☆ 需求

程序中需要用thrift(RPC调用)请求基础服务取所有的机房信息。

☆ 设计

基础服务提供了「傻瓜式」客户端给调用方。客户端只需要引入jar包,就可以像调用本地接口一样进行访问。

客户端实现方法

因为机房信息是低频的、对变更一定时延不敏感的资源信息。所以客户端首先RPC去远程取结果放到本地JVM缓存中。每次调用直接返回JVM缓存信息。客户端有定时任务定时将最新结果刷新到JVM缓存。

设计特点:

1、对thrift接口做封装,封装包括设定了远程获取异常的重试次数、重试间隔、远程服务信息等。原因:基础服务提供方自己最清楚自己服务的响应时间、服务可用性等信息,自己设置更为精确,避免对使用方造成困扰。

2、每次返回本地JVM存的机房信息。信息更新通过自带定时任务。原因:基础服务提供方自己最清楚自己的资源被更新频率如何,提供数据的实时性重要性如何。怎么保持数据一致性。怎样更高效。这些难题不应该抛给调用方。

3、懒加载处理。原因:不能因为jar包被引用就直接占用内存、CPU等资源。要按需提供。

服务端实现方法

服务端收到请求,考虑到这个是基础服务,使用方多。为了防止压力直接作用于数据库,上面加了一层集中式缓存。不穿透的情况下,直接返回缓存信息。

数据库中的所有机房信息是从k8s标签中获取过滤的。有变化直接刷缓存。即数据库中存的是所有的标签信息,其中一个小功能是从所有标签中过滤机房标签。这种设计是区别于有个机房管理系统录入这种管理,机房信息永远是实时准确的。(这块涉及到内部系统的设计问题,如果看不懂直接忽略即可。)

☆ 请求过来经过了什么

从程序设计上,大体经过的如上图。限于篇幅(如果你想了解不限于篇幅是个什么状态,可以阅读下面一篇《一个请求过来都经过了什么?(2017年http版)》),本篇不讲JVM经过了怎样的过程,主内存和工作内存交互,内存可能的分页,numa绑核、定频非定频等等。深度上只介绍thrift调用这一层。

笼统的过程如上图。大体分为三个部分:

1、有IP直接访问IP,没有IP通过其他信息获取到IP。

在此部分中,第一次连接需要根据环境和服务标识获取机器列表。客户端一般会有本地进程代理。对于美团OCTO来说,就是Sg_Agent(服务治理代理)。代理会和OCTO服务器进行通信,及时获取最新信息。连接建立后,下次访问就是直接IP访问了。

2、通过IP访问服务端,根据类名+方法签名获取方法。

3、通过拦截器认证的请求被服务端处理后返回结果。

Thrift内部的架构是分层次的。客户端和服务端都可大体分为代码层、协议层、传输层、IO处理层四部分。客户端和服务端的IO处理层直接交互。

代码层:

代码在美团OCTO体系中MtThrift中会直接由框架自动从java代码转成IDL文件,框架再根据IDL文件生成代码实现数据的读写。

协议层(实现Tprotocol接口):

将数据编码、解码。最三种的三种传输格式支持是:二进制格式、压缩格式、Json格式。

传输层(实现Ttransport接口):

提供从网络等媒介读取和写入数据的方式。常用的有:向文件进行读写、从内存上读写、压缩读写。

IO处理层:

这层所做的就是阻塞、非阻塞,单线程、多线程这些。一般像获取所有机房信息这样的读操作用的是多线程阻塞方式。写操作一般用多线程非阻塞方式。

再往下linux系统层的东西也是可以讲讲的,内容有点多,大家自己做思考题吧。还有涉及网络传输的信道、全双工传输模式这些,大家可以自己想一想,查一查。

四、总结

本次公众号文章共三篇《一个请求过来都经过了什么?(Thrift版)》《一个请求过来都经过了什么?(2017年http版)》《思维发散的双刃剑》。首篇是刚写的,第二篇是17年写的。最后一篇是一些总结思考。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,009评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,808评论 2 378
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,891评论 0 335
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,283评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,285评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,409评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,809评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,487评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,680评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,499评论 2 318
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,548评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,268评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,815评论 3 304
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,872评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,102评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,683评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,253评论 2 341

推荐阅读更多精彩内容