OpenResty高性能亿万级商品详情页

1.课程介绍--

2.openresty介绍
官网:https://openresty.org/cn/
openresty的目标是让你的Web服务直接跑在Nginx服务内部,充分利用Nginx的非阻塞I/O模型,不仅仅对HTTP客户端请求,甚至对远程后端诸如MySQL,PostgreSQL,Memcached以及Redis等都进行一致的高性能响应。

3.openresty常用架构
负载均衡:
LVS+HAProxy将流量转发给核心Nginx1和核心Nginx2,即实现了流量的负载均衡
单机闭环:
所有想要的数据都能从本服务器直接获取,在大多数时候无需通过网络去其他服务器获取
分布式闭环:
单机闭环会遇到如下两个主要问题:
1.数据不一致(比如没有采用主从架构导致不同服务器数据不一致)
2.遇到存储瓶颈(磁盘或者内存遇到了天花板)。
解决数据不一致的比较好的办法是采用主从或者分布式集中存储;而遇到存储瓶颈就需要进行按照业务键进行分片,将数据分散到多台服务器。
接入网关:
接入网关也可以叫做接入层,即接收到流量多入口,在入口我们进行如下事情

4.openresty下载与安装
windows安装:直接解压安装,启动时,只需要执行nignx.exe
linux安装centOS6.5
1.解压:tar -xzvf openresty-VERSION.tar.gz
2.配置:进入openresty-VERSION/目录,然后输入以下命令配置
./configure
默认—prefix=/usr/local/openresty程序会被安装到/usr/local/openresty目录。
3.安装
make&&make install
注意:openresty依赖库有:perl5.6.1+,libreadline,libpcre,libssl。所以我们需要先安装好这些依赖库
yum install redline-devel pure-devel openssl-level perl gcc
4.验证:
关闭防火墙,访问http://外网IP

5.lua介绍与下载安装
lua语法介绍
lua是一种轻量小巧的脚本语言,用标准C语言编写并以源代码形式开放,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。官网:http://www.lua.org/
1.CentOS下安装lua
tar zxf lua-5.3.4.tar.gz
cd lua-5.3.4
make linux test
make install
查看lua版本:lua -v

6.lua语法-数据类型与变量定义
2.helloworld
1.交互模式,输入lua
2.脚本式,创建一个以lua结尾的文件,例如hello.lua文件内容print(“hello world”)
3.lua数据类型与变量
lua中有8个基本类型分别为:nil,boolean,number,string,userdata,function,thread和table
数据类型 描述
nil 这个最简单,只有值nil属于该类,表示一个无效值(在条件表达式中相当于false)
boolean 包含两个值:false和true
number 表示双精度类型的实浮点数
string 字符串由一对双引号或单引号来表示
function 由C或Lua编写的函数
userdata 表示任意存储在变量中的C数据结构
thread 表示执行的独立线路,用于执行协同程序
table Lua中的表(table)其实是一个“关联数组”(associative arrays),数组的索引可以是数字或者字符串。在Lua里,table的创建是通过“构造表达式”来完成,最简单构造表达式是{},用来创建一个空表。
Lua变量有三种类型:全局变量,局部变量,表中的域
Lua中变量全是全局变量,那怕是语句块或是函数里,除非用local显式声明为局部变量。
局部变量的作用域为从声明位置开始到所在语句块结束。
变量的默认值均为nil。
--单行注释
--[[
多行注释
--]]

7.lua语法-运算符
1.赋值运算符
—赋值str=“hello”..”world” —..lua中的字符连接
a,b=10,20 —a=10,b=20
c,d,e=1,2
2.算术运算符
下表列出了lua语言中的常用算术运算符,设定A的值为10,B的值为20:
+ 加法
- 减法
* 乘法
/ 除法
% 取余
^ 乘幂
- 负号
3.关系运算符
下表列出了lua语言中的常用关系运算符,设定A的值为10,B的值为20:
操作符 描述
== 等于
~= 不等于
> 大于
< 小于
>= 大于等于
<= 小于等于
4.逻辑运算符
and 逻辑与操作符,若A为false,则返回A,否则返回B。
or 逻辑或操作符,若A为true,则返回A,否则返回B。
not 逻辑非操作符,与逻辑运算结果相反,如果条件为true,逻辑非为false。
5.其它运算符
.. 连接两个字符串
# 一元运算符,返回字符串或表的长度
str=“helloworld”
print(#str) —得到10

8.lua语法-流程控制
1.条件
2.循环
--while循环
a=10
while(a>0)
do
print(a)
a = a -1
end
--repeat until:重复执行循环,直到指定的条件为真时为止
b=10
repeat
print(b)
b=b-1
until(b<1)
--for循环
for a=1,10,1 do
print(a)
end

9.lua语法-数组与泛型for
— 数组大小不固定,下标是从1开始。
arr={“aaa”,”bbb”,”ccc”}
for index=1,#arr do
print(arr[index])
end
—泛型for
for i,v in impairs(arr) do
print(i,v)
end

10.lua语法-函数介绍
—函数
function fun(a,b,c)
return a,b,c
end
value1,value2,value3 = fun(1,2,3,4,5)
print(value1,value2,value3)

11.lua语法-table与模块,包介绍
mytable={} —声明一个table
mytable.first=“tom”
mytable.second=“james”
print(mytable[1])
print(mytable.first)
print(mytable[“second”])

模块类似于一个封装库,从5.1开始,Lua加入了标准的模块管理机制
module={}
module.index=1
function module.sum(a,b)
    return a+b
end
—引入模块
require “module”
print(module.index)
print(module.sum(10,20))

12.openresty快速入门
1.helloworld
openresty1.9.3.1及以下版本,请使用content_by_lua命令:在openresty1.9.3.2以上,content_by_lua改成了content_by_lua_block.可使用nginx -V命令查看版本号
location / {
#root html;
#index index.html index.htm;
default_type text/html;
content_by_lua_block{
ngx.say(“hello world”);
}
}

我们也可以使用content_by_lua_file来引入一个lua文件
location /{
    #root    html;
    #index    index.html index.htm;
    default_type    text/html;
    content_by_lua_file    /usr/local/openresty/nginx/conf/my.lua;
}

13.openresty获取http请求信息
1.获取uri参数
获取一个uri有两个方法:ngx.req.get_uri_args,ngx.req.get_post_args,二者主要的区别是参数来源有区别
--获取get请求参数
local arg=ngx.req.get_uri_args()
for k,v in pairs(arg) do
ngx.say(“[GET] key:”,k,” v:”,v)
ngx.say(“换行符”)
end

—获取post请求时,请求参数
ngx.req.read_body() —解析body参数之前一定要先读取body
local arg = ngx.req.get_post_args()
for k,v in pairs(args) do
    ngx.say(“[POST] key:”,k,” v:”,v)
    ngx.say(“<br>”)
end

2.获取header
—获取header
local headers = ngx.req.get_headers()
for k,v in pairs(headers) do
    ngx.say(“[header] name;”,k,” v:”,v)
    ngx.say(“<br>”)
end

3.获取body    
--获取body信息
local data =ngx.req.get_body_data()
ngx.say(data)
ngx.req.get_body_data()请求体,会偶尔出现读取不到直接返回nil的情况。如果请求体尚未被读取,请先调用ngx.req.read_body(或打开lua_need_request_body选项强制本模块读取请求体,词方法不推荐)

14.openresty操作redis
—连接redis
github上的redis连接代码只是一个示例代码,生产环境并发量过大,可能会崩溃的。
生产环境redis连接代码:http://wiki.jikexueyuan.com/project/openresty/redis/out_package.html

15.商品详情页方案介绍


image.png

16.twemproxy+redis环境搭建介绍
Twemproxy是一个Twitter开发的一个redis代理proxy,Twemproxy通过引入一个代理层,可以将其后端的多台Redis或Memcached实例进行统一管理与分配,使应用程序只需在Twemproxy上进行操作,而不用关心后面具体有多少个真实的Redis或Memcached存储,简单的说,就是有了Twemproxy,客户端不直接访问Redis服务器,而是通过twemproxy间接访问。
Twenproxy特性:
1.支持失败节点自动删除
2.支持设置HashTag
3.减少与redis的直接连接数
4.自动分片到后端多个redis实例上
5.避免单点问题
6.支持状态监控
7.使用pipeline处理请求和响应
8.并不是支持所有redis命令

示例:
示例中使用一个twemproxy+两台redis(未做主从)
实际部署中需要使用keepalived解决twemproxy单点问题,并且需要做redis主从
192.168.93.134 twemproxy
192.168.93.133 redis
192.168.93.132 redis
192.168.93.134操作
1.安装autoconf
    wget [http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz](http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz)
    tar -zxvf autoconf-2.69.tar.gz
    cd autoconf-2.69
    ./configure && make && make install 
2.安装automake 
    wget [http://ftp.gnu.org/gnu/automake/automake-1.15.tar.gz](http://ftp.gnu.org/gnu/automake/automake-1.15.tar.gz) 
    tar -zxvf automake-1.15.tar.gz 
    cd automake-1.15 
3.安装libtool 
    wget [https://ftp.gnu.org/gnu/libtool/libtool-2.4.6.tar.gz]      (https://ftp.gnu.org/gnu/libtool/libtool-2.4.6.tar.gz) 
    tar -zxvf lib tool-2.4.6.tar.gz 
    cd lib tool-2.4.6 
    ./configure && make && make install 
4.安装twemproxy 
    wget [https://github.com/twitter/twemproxy/archive/master.zip](https://github.com/twitter/twemproxy/archive/master.zip) 
    unzip master 
    cd twemproxy-master 
    aclocal 
    autoreconf -f -i -Wall,no-obsolete 
    mkdir /usr/local/twemproxy 
    ./configure --prefix=/usr/local/twemproxy/ 
    make && make install 
5.配置twemproxy 
   将twemproxy-master下的conf目录复制到/usr/local/twemproxy下 
    cp -r ./conf/usr/local/twemproxy/ 
    cd /usr/local/twemproxy 
    修改conf目录下nutcracker.yml文件内容 
    alpha: 
        listen:192.168.93.134:22121 
        hash:fnv1a_64 
        distribution:ketama 
        atuo_eject_hosts:true 
        redis:true 
            server_retry_timeout:2000
            server_failure_limit:1
            servers:
                -192.168.93.133:6379:1
                -192.168.93.134:6379:1
    启动twemproxy  
    注意192.168.93.133与192.168.93.134上的redis要启动
    并需要关闭防火墙service iptables stop
6.测试  

17.openresty模版渲染介绍
导入lua-resty-template
下载:http://luarocks.org/modules/bungle/lua-resty-template
将template.lua文件复制到openresty/lualib/resty/目录下
示例
nginx.conf
设置模版路径:set $template_root /usr/local/openresty/nginx/html/remplates;
设置mimeType类型:default_type text/html;
导入lua文件:content_by_lua_file /usr/local/openresty/nginx/conf/*.lua
lua脚本文件
local template = require “rest.template”
content={
message = “Hello,World!”,
names = {“james”,”fox”,”tony"}
}
template.render(“demo.html”,content);

18.商品详情页展示
Java生成静态页面放到nginx目录下(使用freemarker)
local template = require "resty.template" --调用模版
local redis = require “resty.redis_iresty”
local red = redis:new()
local msg = red:get("num")
if ngx.null == msg then
return ngx.say("获取库存失败")
end
local context = {
title = "京东商品",
-- 从redis中获取库存信息,在页面中显示
num = msg
}
local request_uri = ngx.var.request_uri
template.render(string.sub(request_uri,2),context);

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容