ps:标题 红色
命令 粉色
备注解释 蓝色
案例重点 红字黄底
第16章 Linux磁盘管理体系
前言:思想
十大需求
1.生理需求:吃(食物)喝(水)拉撒性,这是生活必备需求。
2.金钱需求:钱(物质、礼品、股东、汽车、房产等等)。
3.安全需求:人身安全(环境、食品安全)、健康保障(运动、健身)。
4.情感需求:爱情、亲亲、友情、同窗情、哥们、战友、闺蜜(爱与被爱的需求)。
例如:技术小白如何搞定IT高手?搞定他的基本需求,就是你请教问题,他乐意给你解答。如果做到这个问题,你就必须要知道IT高手有什么需求?你满足他们这些需求就OK。IT高手一般都是优秀的行业人才,他们大多数的共性需求是:
(1)喜欢做事专业、规范的人,哪怕他是技术小白。
不管是小白还是其他,只要给人感受做事专业规范,就会有人愿意帮助你。
(2)喜欢做事有态度、懂得感恩的人,哪怕他是技术小白。
(3)喜欢人品好,做事踏实有责任心的人,哪怕他是技术小白。
(4)喜欢出手(发红包、请客、送礼物等等)相对大方的人,哪怕他是技术小白。
(5)喜欢漂亮美丽的女孩,哪怕他是技术小白。
5.重要需求:认知和格局中没有色素质、礼貌、信念导致别人不会对你有这样的需求,所以要满足别人的重要性的需求特别重要。
6.赞美和鼓励:一般可以在大神写的文章下面、发的朋友圈下面多点赞和评论赞美,和同级以及下级的人交往中多鼓励,多对人肯定,将你真棒时常挂在嘴边!
备注:把“但是”换成“同时”,鼓励比埋怨更容易改进错误。
你最不想改变的,往往是你最需要改变的。
7.成长需求:
8.美得需求:
9.自由需求:
10.好奇需求:
16. 磁盘
16.0重点:
1.磁盘接口类型。
2.常用的磁盘类型。
3.根据业务场景的磁盘选型(热数据分层存储)
16.1 什么是磁盘及磁盘的知识结构体系
磁盘:永久存放数据的
说明:硬盘和磁盘是对磁盘存储系统同一个称呼
图解:
第一层次:Linux系统硬件层次(磁盘的内外部结构以及机械磁盘的工作原理和读写原理)
第二层次:Raid和LVM逻辑层次(Raid及LVM知识,企业中的应用区别)
第三层次:分区层次(Linux下磁盘分区知识)
第四层次:文件系统层次(文件系统及格式化系统相关知识)
第五层次:挂载层次(被格式化后磁盘如何被应用)
第六层次:Linux系统下磁盘文件系统的等日常管理维护知识和实践
16.2磁盘的历史介绍(了解)
从1956年9月IBM像世界展示了第一台磁盘存储系统IBM 350 RAMAC 至今,磁盘存储系统已经历了近半个世纪的发展。经历了这么多年,磁盘的变化非常巨大。虽然最早的RAMAC容量只有5MB,然而却需要使用50个直径为24英寸的磁盘。而我们现在的一块容量高达1000GB的磁盘,仅仅只需要3张磁盘片(还是一块3.5寸盘)即可。
16.2 磁盘的作用及特点
用途:储存我们平时工作、学习、生活中的数据。例如:照片、视频、工作文档等。
备注:数据是计算机的核心,工作数据不能丢失,需要了解磁盘方方面面知识,才能确保我们及客户的数据完整。
16.3磁盘内部相关名词知识及详细记忆要点
详细记忆要点:
(1)一块磁盘有2-14个盘面,每个盘面有两个面,每个面对应一个读写磁头,用磁头号来区分盘面,即盘面书就是磁头数,盘片数*2=磁头数(盘面数)。
(2)不同盘面的磁道被划分为多个扇形区域,每个区域就是一个扇区(Sector)
(3)同一个盘面,以盘片中心为圆心,每个不同半径的圆形轨迹就是一个磁道(Track)
(4)不同盘面相同半径的磁道组成一个圆柱面就是柱面(Cylinder)
(5)一个柱面包括多个磁道(这些磁道的半径相同),一个磁道包括多个扇区。
(6) 数据信息记录可表示为:某磁头,某磁道(柱面),某扇区。
16.4 磁盘内部结构图解
16.5磁盘接口类型
磁盘接口:磁盘与主机系统间的连接部件。
作用:在磁盘缓存和主机内存之间传输数据。(决定性作用,影响读取效率)
分类:IDE(早期家用、部分服务器)、SATA、SCSI、光纤FC通道(高端服务器,价格昂贵)
备注:家用市场和服务器市场SATA、SAS串口磁盘,当前PC机磁盘的主流。
16.5.1 SAS磁盘与接口
SAS 磁盘与SAS接口: SAS是新一代的scsi 技术,和现在流行的SATA磁盘相同,都是采用串行技术已获得更高的速度,并通过缩短链接接线 改善内部空间。
SAS技术的优势: 降低成本 、 传输性能更高、 扩展性能更好 、安装更简单、兼容性更好
16.5.2 SCSI磁盘与SCSI
SCSI(小型计算机系统接口),和IDE(ATA)是完全不同的接口,IDE接口是早期普通PC的标准接口,而SCSI并不是专门为磁盘设计的接口,是一种广泛应用于小型机上的高速数据传输技术。
SCSI优点:范围广、多任务、带宽大、CPU占用率低,以及热插拔等有点,因较高的价格使得它很难如IDE磁盘般普及。
SCSI接口模拟图
16.7企业生产环境主流磁盘的相关信息对比
企业生产环境主流磁盘的相关信息对比:
企业生产场景普及程度:SAS>SSD>SATA
单位容量对比性能和价格:SSD>SAS>SATA(一块SSD和一块SATA)
单位价格购买磁盘容量:SATA>SAS>SSD
16.7光纤通道
光纤通道(Fibre Channel),和SCSI接口一样最初不是为磁盘设计开发的接口技术,是专门为网络系统设计的,后因储存系统对速度的需求,才逐渐应用到磁盘系统中。
来历:为提高多次盘存储系统的速度和灵活性才开发的,它的出现提高了多磁盘系统的通信速度。
特性:热插拔、高速带宽、远程连接、连接设备数量大等。
光纤通道是为在像服务器这样的多次盘系统环境而设计,能满足高端工作站、服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯等系统对搞数据传输率的要求。
16.8 SSD固态磁盘
固态磁盘是由控制单元和存储单位
16.8.1固态磁盘的分类
存储介质:
(1)采用闪存(FLASH芯片)作为存储介质
(2)采用DRAM作为存储介质
详解:
(1)基于闪存(FLASH芯片)的固态磁盘,采用闪存(FLASH芯片)作为存储介质,也就是我们常说的SSD。外观:笔记本磁盘、为磁盘、存储卡、U盘等样式。
优点:可移动、数据保护不受电源控制,能适应与各种环境
缺点:使用年限不高,适合于个人用户使用
(2)基于DRAM的固态硬盘,采用DRAM作为存储介质,目前应用范围较窄。它仿效传统磁盘的设计、可被绝大部分操作新系统的文件系统工具进行卷设置和管理,并提供工业标准的PCI和FC接口用于连接主机和服务器。
应用方式:SSD磁盘和SSD磁盘阵列
优点:高性能存储器,使用寿命长
缺点:需独立电源来保护数据安全
16.8.2 SSD固态磁盘主流接口类型
16.8.3 SSD固态硬盘的优缺点
数据备份是运维的第一要务
16.8.4 SSD固态磁盘与传统机械磁盘优劣势对比
SSD相比传统机械磁盘:
重要优势:随机存取速度、功耗、防震、重量方面优势很大,特别是存取性能。
重要缺点:容量、价格、写入寿命、数据恢复难。
详细看下表:
16.8.5 生产环境磁盘的选型和应用案例
16.8.5.1 生产工作中服务器的选型
DELL,HP,IBM等,其中DELL,HP是互联网公司的主流服务器,这两个品牌的服务器综合的性价比比较高。百度很多用IBM的服务器。
16.8.5.2 企业生产工作中磁盘的类型
磁盘:
当前服务器市场:主流磁盘为SAS、SATA、SSD硬盘。
(1)企业级SAS硬盘(默认):
企业里常见的SAS硬盘是15000转/分(这里就是主轴的转数)。当前主流300G、600G、1000G,从具体的业务需求及性价比考虑,老师在工作中多用146G、300-600G的SAS硬盘,一般选6*300G,6*600G,单盘容量不要太大,除非纯备份!
满足容量的基础上尽量保持4快磁盘以上。
用途:用于提高生产线上的普通对外提供服务的业务服务器:
例如:生产线上的数据库业务、存储业务、图片业务及相关高并发业务(web http,cache服务),总的来说,如果没有特殊业务需求,SAS磁盘是生产环境首选的磁盘配置。
给客户用,用SAS盘。
(2)企业级SATA硬盘:
企业级SATA硬盘,7200-10000转/分,常见的容量为1T、2T、4T、6T。
优点:容量性价比高,一般2T的SATA磁盘较佳。
从具体的业务需求及性价比考虑,老师工作中多用SATA磁盘做线下不提供服务的数据存储或者并发业务访问不是很大的业务应用,比如站点程序及数据库、图片的线下备份等。
选择SATA理由:1.没钱。2.数据量少,数据不需要给用户提供服务。3.用于备份。
(3)SSD固态电子盘:
特点:容量小,价格贵,速度快。
一般用于数据量小并且有超大规模高并发的业务(这不是唯一的办法,还可以通过磁盘加内存缓存的技术方式解决这个大规模并发的问题)。
百度、腾讯、360核心业务都会采用SSD磁盘,应用层也必须做各种缓存。
大公司如taobao,某些业务可能会根据数据的热度来综合使用分层存储,以达到性价比最佳的情况。80G SSD+500GSATA
16.8.5.3磁盘选购小结:
(1)线上的业务,用SAS磁盘。
(2)线下的业务,用SATA磁盘,磁带库。
(3)线上高并发、小容量的业务,SSD磁盘。
(4)成本思想:根据数据的访问热度,智能分析分层存储。SATA+SSD.
16.8.5.4 老男孩企业故障案例:
不要用SATA磁盘来做在线高并发服务的数据存储或数据库业务,这是血的教训。
某公司采用SATA做数据库的存储盘,结果导致数据库连续宕机一个月。
5台SATA盘RAID5
解决:重新买5台,把磁盘从SATA(RAID5)换成SAS(RAID10)。6个月没事。
数据库集群,主库选择用SAS RAID10,从库SAS Raid0。当数据库使用的引擎是MyISAM引擎,改成Innodb引擎。
备注:至少10-20个企业案例 查主从数据库
16.9不同类型磁盘的价格容量普及度对比(图为15年,仅供参考)
16.7淘宝CDN缓存对象分级存储策略案例
提出问题:
在存储数据中,18KB一下的对象数量占总数量的80%,而其存储量占总量不到40%;同时80%经常被访问的对象所占用的存储空间不到总量的20%。
分析问题:
以上的问题意味着“热点数据”(即访问频次高的内容)需要更快的性能,而占的空间并不大,而“冷数据”(访问频次低的内容)所需存储量很大,对性能要求不需要高。
解决问题:
因此,服务器引入分层存储机制,单台服务器(实际会多台)的磁盘可由一块80GB的SSD磁盘和两块500GB的SATA盘组成。然后把“热数据”存放在SSD盘上,“冷数据”存放在SATA盘上,冷热数据可以动态调整,从而兼顾性能、容量与成本。另:分层存储调度软件有淘宝开发。
上面的策略是高效,低成本方案,这是我们运维工作需要重视的,实际工作中不可能不考虑成本,而无限制的去提升性能。
参考与http://server.51.com/News-318584.htm
16.7 网站架构不同角色服务器磁盘选型策略
例如:web server 如何配置磁盘容量和个数,负载均衡器如何配置容量和个数,存储服务器,数据库服务器,监控服务器等等。
16.8 各大结构图
16.2.1磁盘及盘片结构图
16.2.2磁盘的磁头结构图
fdisk -l 查看磁盘以及对应的分区
[root@keyan~]#fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes, 41943040 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0000350b
Device Boot Start End Blocks Id System
/dev/sda1 * 2048 411647 204800 83 Linux
/dev/sda2 411648 2050047 819200 82 Linux swap / Solaris
/dev/sda3 2050048 41943039 19946496 83 Linux
C6
[root@oldboy ~]#fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000349ee
Device Boot Start End Blocks Id System
/dev/sda1 * 1 26 204800 83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2 26 124 786432 82 Linux swap / Solaris
Partition 2 does not end on cylinder boundary.
/dev/sda3 124 2611 19979264 83 Linux
[root@oldboy ~]# echo 512*63*2610*255|bc (算磁盘容量 备注:bc计算器)
21467980800
[root@oldboy ~]# echo 512*63*2610*255/1000/1000
512*63*2610*255/1000/1000
[root@oldboy ~]# echo 512*63*2610*255/1000/1000|bc
21467
[root@oldboy ~]#echo 512*63*2610*255/1000/1000/1000|bc
21
[root@oldboy ~]#echo 512 63 2610 255|awk '{print $1*$2*$3*$4/1000000000}'
13.3磁盘读写流程
磁盘的读写是按柱面读写的
寻道:从一个磁道到另一个磁道(磁盘原理是避免寻道,寻道效率低)
磁头读写是电子信号