什么是Nodejs
- Nodejs是c++编写的，采用Chrome浏览器V8引擎，本质上是JavaScript运行环境
- 可以解析JS代码（没有浏览器安全级限制）
- 提供系统级别的API
- 文件的读写
- 进程的管理
- 网路通信
Node模块分类
- 核心模块 http fs path
- 文件模块 var util = require('./util.js')
- 第三方模块var promise =require('bluebird')(通过npm install)
模块的流程
- 创建模块 teacher.js
- 导出模块 exports.add = function(){}
- 加载模块 var teacher = require('./teacher.js')
- 使用模块 teacher.add('May')
Node.js API
- url网址解析
- url.parse('xxxxxx')
- protocol:http/https
- port:端口号
- host:主机
- hostname：主机名
- hash：哈希#
- search：查询？
- path
- pathname
- href
- url.parse('xxxx',true) 使用querystring
- url.format({})//和parse反向操作
- url.resolve()//生产合法url链接地址
- url.parse('xxxxxx')
- querystring
- querystring.stringify({name:'scott',course:['jade','node'],from:''})
=>'name=scott&course=jade&course=node&from=' - querystring.stringify({name:'scott',course:['jade','node'],from:''},',')
=>'name=scott,course=jade,course=node,from=' - querystring.stringify({name:'scott',course:['jade','node'],from:''},',',':')
=>'name:scott,course:jade,course:node,from:' - querystring.parse('name=scott&course=jade&course=node&from=')
=> { name: 'scott', course: [ 'jade', 'node' ], from: '' } - querystring.parse('name=scott,course=jade,course=node,from=',',')
- querystring.parse('name:scott,course:jade,course:node,from:',',',':')
- querystring.escape('xxx') // 转义
- querystring.unescape('xxxxx') //反转义
- querystring.stringify({name:'scott',course:['jade','node'],from:''})
HTTP知识
-
http请求过程
- http客户端发起请求，创建端口
- http服务器在端口监听客户端请求
- http服务器向客户端返回状态和内容
-
浏览器做了哪些操作
- chrome搜做自身DNS缓存（chrome://net-internals/#dns）
- 如果浏览器没有找到缓存或者缓存已失效，chrome会搜索操作系统自身的DNS缓存
- 读取本地的HOST文件
- 浏览器发起一个DNS的一个系统调用
- 宽带运营商服务器查看本身缓存
- 运营商服务器发一个迭代DNS解析的请求，运营商服务器把结果返回操作系统内核同时缓存起来；操作系统内核把结果返回浏览器；最终浏览器拿到了www.imooc.com对应的ip地址
- 浏览器获得域名对应的IP地址后，发起HTTP"三次握手"
- TCP/IP连接建立起来后，浏览器就可以向服务器发送HTTP请求了
- 服务器端接收到了这个请求，根据路径参数，经过后端的一些处理之后，把处理后的一个结果的数据返回给浏览器
- 浏览器进行解析和渲染
-
http结构组成
无论是请求和响应，都由HTTP头和正文组成- HTTP头：发送一些附加信息，如内容类型，服务器发送相应的日期，HTTP状态码等
- 正文：用户提交的表单数据或者返回的数据
-
http请求方法
- get:用于获取或者读取数据
- post:向指定的资源提交数据
-
http状态码
- 1xx 代表请求已经接收了，正在处理
- 2xx 表示请求已经接收，并且处理了
- 3xx 表示重定向，表示请求的时候需要更进一步的重定向页面
- 4xx 表示请求有错误，请求有语法错误，请求无法实现
- 5xx 表示服务器端的错误，服务器端接收到请求但是处理出现问题
常见请求码
- 200: 客户端请求成功；
- 400：客户端请求有语法错误；
- 401：请求没经过授权；
- 403：服务器收到请求，但拒绝提供服务，可能是没有权限等等；
- 404：资源没找到；
- 500：服务器端错误；
- 503：服务器端当下还不能处理客户端这个请求，过段时间恢复正常。
-
node中的http模块
- 什么是回调
将后续逻辑封装在函数回调中作为起始函数的参数,逐层去嵌套，通过这种方式让函数按照我们所期望的方式走完整个流程 - 什么是异步和同步
同步是程序执行一个任务，后一个任务等待前一个任务完成后再执行，同步的执行顺序和任务的排列顺序是一致的
异步任务的排列顺序和执行顺序无关，程序执行完成后是执行回调函数，常见异步函数setTimeOut和setInterval - 什么是阻塞和非阻塞
阻塞是当你打电话问个请求时，那边说你等等我给你查查，这时候你电话仍然是挂起的，等待等待，直到拿到结果。
非阻塞是打电话过去问，然后挂电话，等那边找到结果或打电话给你，你该干嘛就干嘛。在node.js里面单线程可以通过回调函数来做异步操作，达到非阻塞的效果。 - 什么是单线程和多线程
单线程：只有执行上一个任务完成后，下一个才能执行。优点是安全。
多线程：同时执行多个函数，缺点是容易争抢资源，有管理和分配资源的难度。 - 什么是事件和事件驱动
nodeJs中客户端连接到服务器端时会触发事件。打开文件也会触发事件等，所有能够触发事件的都是EventEmitter下的实例；先注册事件，等事件被触发的时候，才执行事件回调。这种形式就是事件驱动。 - 什么是事件循环
EventLoop是事件管理机制，当存在很多异步操作、IO操作时，会被压入EventLoop队列，有个单线程不断查询队列中是否有事件
- 什么是回调
HTTP性能小测试
使用Apache ab
ab -n1000 -c10 https:www.imooc.com/
// -n 1000 总请求数是1000个
// -c10 并发数为10
/**
* 一个初级爬虫Demo
*/
var https = require('https');
var cheerio = require('cheerio');
var url = 'https://www.imooc.com/learn/348';
// 请求url地址,获取页面html
https.get(url,function (res) {
var html = '';
res.on('data',function(data){
html += data;
});
res.on('end',function () {
var courseData = filterCharpter(html);
printChapter(courseData);
});
res.on('error',function () {
console.log('系统异常');
})
})
// 获取页面章节的函数
function filterCharpter (html) {
var $ = cheerio.load(html);
var chapters =$('.chapter');
var courseData = [];
chapters.each(function (value) {
var chapter = $(this);
var chapterTitle = chapter.find('strong').text().trim().split('\n')[0];
var videos = chapter.find('.video').children('li');
chapter = {
chapterTitle : chapterTitle,
videos:[]
}
videos.each(function(val){
var video = $(this).find('a').text().trim();
var videoName = video.split('\n')[0];
var videoTime = video.split('\n')[1].trim();
chapter.videos.push({name:videoName,time:videoTime});
});
courseData.push(chapter);
});
return courseData;
}
// 格式化打印页面
function printChapter (courseData) {
courseData.forEach(function (val) {
var chapterTitle = val.chapterTitle;
console.log('章节标题:'+chapterTitle+'\n');
val.videos.forEach(function (value) {
console.log(' '+value.name+'时长:'+value.time+'\n');
})
})
}
promise
针对异步场景的解决方案
-
Promise对象三种状态
- 未完成（pending）
- 已完成（fulfilled/resolved）
- 失败（rejected）
- 只能从pending->resolved或者pending->rejected
then方法
promise可以保证then的顺序
then方法返回promise对象，两个参数分别是成功回调函数和失败回调函数。
promiseObj.then(onResolved,onRejected);
onResolved = function(value){
return promiseObj2;//返回一个promise对象
}
onRejected = function(err){}
- 基于promise的进阶版爬虫（一次爬取多个文件）
var https = require('https');
var cheerio = require('cheerio');
var baseUrl = 'https://www.imooc.com/learn/'
var videosArray = [728,637,348,259,197,134,75];
videosArray = videosArray.map(item => baseUrl+item);
// 创建promise
function getPageAsync(url){
return new Promise(function(resolve,rejecte){
// 请求url地址,获取页面html
https.get(url,function (res) {
var html = '';
res.on('data',function(data){
html += data;
});
res.on('end',function () {
resolve(html);
});
res.on('error',function (error) {
rejecte(error);
})
})
})
}
// 获取页面章节的函数
function filterCharpter (html) {
var $ = cheerio.load(html);
var title = $('.course-infos h2').text().trim();
var page = {
title:title,
courseData:[]
}
var chapters =$('.chapter');
var courseData = [];
chapters.each(function (value) {
var chapter = $(this);
var chapterTitle = chapter.find('strong').text().trim().split('\n')[0];
var videos = chapter.find('.video').children('li');
chapter = {
chapterTitle : chapterTitle,
videos:[]
}
videos.each(function(val){
var video = $(this).find('a').text().trim();
var videoName = video.split('\n')[0];
var videoTime = video.split('\n')[1].trim();
chapter.videos.push({name:videoName,time:videoTime});
});
courseData.push(chapter);
});
page.courseData = courseData;
return page;
}
// 打印章节内容
function printCourseData (coursesData) {
coursesData.forEach(function(item){
console.log('课程名:'+item.title+'\n');
item.courseData.forEach(function(val){
var chapterTitle = val.chapterTitle;
console.log(' '+chapterTitle+'\n');
val.videos.forEach(function (value) {
console.log(' '+value.name+'时长:'+value.time+'\n');
})
})
console.log('\n');
})
}
// 所有页面的promise数组
var pagesPromiseArray = [];
videosArray.forEach(function(val){
pagesPromiseArray.push(getPageAsync(val));
})
//promise.all方法
Promise
.all(pagesPromiseArray)
.then(function (pages) {
var coursesData = [];
pages.forEach(function(html){
var courses = filterCharpter(html)
coursesData.push(courses)
})
printCourseData(coursesData);
})
.catch (function (e) {
console.log('程序异常');
})
Node API
-
Buffer 处理TCP/图形/文件/网络
- buffer[index]
- buffer.length
- buffer.write(string,[offset,length,encoding])
var buf = new Buffer('Hello World'); buf.length//11 buf.write('Hi World'); buf.toString()//'Hi Worldrld' 初始化时长度被指定，不会清空后面内容 buf.write(' Dingsusu lalala',2,16) buf.toString()//'Hi Dingsusu'- buffer.copy(target[,targetStart,sourceStart,sourceEnd])
Stream 流，用来暂存和移动数据
