大型网站技术架构——核心原理与案例分析(二)

网站高性能架构

一、性能测试指标 

1.1、响应时间

1.2、并发数   指系统能够同时处理请求的数目,反映了系统的负载特性

1.3、吞吐量  TPS(每秒事务数) HPS(每秒HTTP请求数) QPS(每秒查询数)等

1.4、性能计数  包括System Load、对象与线程数、内存使用、CPU使用、磁盘与网络I/O等指标

二、性能测试方法

2.1、性能测试 与初期规划的性能指标为预期目标,不断施加压力,验证是否在可接受范围,性能是否能达到性能预期

2.2、负载测试  不断地增加并发请求以增加系统压力,直到系统的某项或是多项性能指标大致安全临界值

2.3、压力测试   超过安全负载的情况下,对系统继续施加压力,直到系统崩溃或不能再处理任何请求,以此获得系统最大压力承受能力。

2.4、稳定性测试

三、性能优化

  根据网站分层架构,可分为Web前端性能优化、应用服务器性能优化、存储服务器性能优化。

3.1、Web前端性能优化

3.1.1 浏览器访问优化

A、减少http请求  HTTP每次都要建立通信链路,进行数据传输,服务端,会启动独立的线程去处理,这些开销都很昂贵,减少HTTP请求的数据目可以有效提高访问性能。主要手段:合并CSS、合并JavaScript、合并图片

B、使用浏览器缓存 对静态资源文件可以缓存在浏览器中,通过设置HTTP头中的Cache-Control和Expires属性,可以设置浏览器缓存,针对JavaScript可以通过改变文件名实现,浏览器缓存策略在更新静态资源 时,应采用批量更新的方法,不宜一次全部更新

C、启用压缩,在服务器端对文件进行压缩,在浏览器端对文件解压,一般采用GZip压缩可达80%的压缩率

D、CSS文件放在页面最上面、JavaScript放在页面最下面(这一点深有体会)

E、减少Cookie传输

3.1.2 CDN加速

3.1.3 反向代理 除了安全功能、代理服务器也可能通过配置缓存功能加速Web请求

3.2 应用服务器性能优化

3.2.1 分布式缓存  缓存的本质是一个内存Hash表,缓存主要存放那些读写比很高、很少变化的热数据。网站数据访问一般遵循二八定律、即80%的访问落在20%的数据上,将这20%的数据缓存起来,可以很好的地改善系统性能。提高数据读取速度 、降低存储访问压力

使用缓存时要注意缓存穿透(恶意的) 目前成熟的缓存产品有Memcached、Redis

3.2.2 异步操作   任何可以晚点做的事情都应该晚点再做

3.2.3 使用集群

3.2.4 代码优化 

    A、使用多线程

    B、资源复用 单例  对象池

   C、数据结构  如Time33可以很好的解决hash冲突

   D、垃圾回收  垃圾回收可能会对系统的性能特性产生巨大影响,理解垃圾回收机制有助于程序优化和参数调优。

3.3 存储性能优化  

3.3.1 机械硬盘 VS 固态硬盘 

3.3.2 B+树 VS LSM树

       传统机械磁盘具有快速顺序读写、慢速随机读写的访问特性,这个特性对磁盘存储结构和算法的选择影响很大。

       传统的关系型数据库使用的是B+树。

       目前许多NoSQL采用的LSM树

什么是LSM树:核心思想的核心就是放弃部分读能力,换取写入的最大化能力。LSM Tree ,这个概念就是结构化合并树的意思,它的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在磁盘中,等到积累到最后多之后,再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的,可以通过合并排序的方式快速合并到一起)。

3.3.3 RAID(廉价磁盘冗余阵列) VS HDFS

RAID的技术有(以下假设有N块磁盘)

RAID0、将数据分成N份,同时并发写N块磁盘,是一块磁盘的N倍,缺点,不做备份,一块磁盘出损坏,数据完整性被破坏

RAID1 写入时将数据同时写入两块磁盘,

RAID10 结合RAID0 RAID1 缺点 对磁盘的利用率不高

RAID3 将数据分成N-1份,并发写入N-1块磁盘,在第N块磁盘记录校验数据,作何一块磁盘损坏,可以利用其他N-1块磁盘的数据修复。缺点,任何修改都会导致第N块磁盘重写校验数据,N磁盘容易损坏。RAID3很少在实践中使用

RAID5 与RAID3原理类似,但被更多使用,原因校验数据不是写入第N块磁盘,而是螺旋式地写入到所有的磁盘中,这样校验数据的修改被平均到所有磁盘上。

RAID6 与 RAID5类似,但是数据只写入N-2块磁盘,并螺旋式地在两块磁盘中写入校验信息


HDFS,以块为单位管理文件,当应用程序写文件时,每写完一个Block,HDFS就将其自动复制到另外两台机器上,保证每个Block有三个副本。

HDFS两个重要的服务器角色NameNode(只部署一个)、DataNode


性能优化的最终目的是改善用户体验,让他们感觉网站很高。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,552评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,666评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,519评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,180评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,205评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,344评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,781评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,449评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,635评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,467评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,515评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,217评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,775评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,851评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,084评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,637评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,204评论 2 341

推荐阅读更多精彩内容