笔记格式
- 套接字不同域的通信原理：AF_INET， AF_UNIX
- 常见的套接字socket的分类：SOCK_STREAM， SOCK_DGRAM
- 一个最简单的抓取网络信息的python程序
- 如何通过HTTP协议抓取imag图片？
- 如何用urllib检索网络信息？
- BeautifulSoup
1. 套接字的域问题
AF_INET域与AF_UNIX域socket通信原理对比
https://www.bbsmax.com/A/QV5ZeRr2Jy/-
AF_INET域socket通信过程
典型的TCP/IP四层模型的通信过程。发送方、接收方依赖IP:Port来标识，即将本地的socket绑定到对应的IP端口上，发送数据时，指定对方的IP端口，经过Internet，可以根据此IP端口最终找到接收方；接收数据时，可以从数据包中获取到发送方的IP端口。
AF_INET.png
- AF_UNIX域socket通信过程
典型的本地IPC，类似于管道，依赖路径名标识发送方和接收方。类似本地通信。
BTW:进程间通信IPC (InterProcess Communication)
https://www.jianshu.com/p/c1015f5ffa74
2. 常见的socket（套接字）分类
- socket是什么
1.1 网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。
1.2 建立网络通信连接至少要一对端口号(socket)。socket本质是编程接口(API)，对TCP/IP的封装，TCP/IP也要提供可供程序员做网络开发所用的接口，这就是Socket编程接口；HTTP是轿车，提供了封装或者显示数据的具体形式；Socket是发动机，提供了网络通信的能力。
1.3 socket是应用层和传输层间的桥梁，简单说就是包装应用层信息，并且把这些信息传到传输层那边。
- SOCK_STREAM
2.1 是有保障的（即能保证数据正确传送到对方）面向连接的SOCKET，多用于资料（如文件）传送。
2.2 SOCK_STREAM是基于TCP的，数据传输比较有保障。
2.3 SOCK_STREAM 是数据流,一般是tcp/ip协议的编程
SOCK_DGRAM
3.1 是无保障的面向消息的socket，主要用于在网络上发广播信息。
3.2 SOCK_DGRAM是基于UDP的，专门用于局域网，基于广播
3.3 SOCK_DGRAM分是数据抱,是udp协议网络编程基于传输层差异，4种类型的Socket:
(1)基于TCP的Socket:提供给应用层可靠的流式数据服务，使用TCP的Socket应用程序协议：BGP，HTTP，FTP，TELNET等。优点：基于数据传输的可靠性。
(2)基于UDP的Socket：适用于数据传输可靠性要求不高的场合。基于UDP的Socket应用程序或协议有：RIP，SNMP，L2TP等。
(3)基于RawIp的Socket:非连接，不可靠的数据传输。特点：能使应用程序直接访问网络层。基于RawIp的Socket有ping ,tracert,ospf等。
(4)基于链路层的Socket。为IS-IS协议提供的Socket接口。使IS-IS协议可通过Socket直接访问链路层。非连接，不可靠通信服务。
3. 一个最简单的抓取网络信息的python程序
- 首先要调用python的专用库socket
- 定义socket的作用域和报文方式
- 定义host（web server）和IP端口
- 做一些简单操作 get 就是获取信息，定义通信协议HTTP。
- 取信息时encode，信息拿回来再decode。
import socket
mysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
mysock.connect(('data.pr4e.org', 80))
cmd = 'GET http://data.pr4e.org/romeo.txt HTTP/1.0\r\n\r\n'.encode()
mysock.send(cmd)
while True:
data = mysock.recv(20)
if (len(data) < 1):
break
print(data.decode(),end='')
mysock.close()
3.2
encode & decode
4. 如何通过HTTP协议抓取imag图片
一般网络信息用的是HTTP(port 80), HTTPS(port 443)。前一个是不加密不安全链接，后一个是加密链接。
拿回来的信息需要减去报头并且解码（重新编码）。
2.1 首先，虽然每次都是要求5120个字符，但是返回的并不确定(网络网速限制），所以要记录起止点（count，len）。根据这些起止点分割成一段一段的报文，然后再剪去报头。这个报头是协议HTTP中定义的这一串 “\r\n\r\n”
2.2 为什么每次返回信息长度不定？这是因为HTTP报文是面向文本的，报文中的每一个字段都是一些ASCII码串，各个字段的长度是不确定的。HTTP有两类报文：请求报文和响应报文。
2.3 自己跟着写一遍我终于知道这代码啥意思了.....附上比代码长的个人注释。
import socket
import time
host = 'data.pr4e.org'
port = 80
mysock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
mysock.connect((host,port))
mysock.sendall(b'GET http://data.pr4e.org/cover3.jpg HTTP/1.0\r\n\r\n')
count = 0
picture = b""
while True:
data = mysock.recv(5120) # get one packet of data
if (len(data)<1):break
time.sleep(0.25)
count = count + len(data) #how many length of data we have been received
print(len(data),count) # use len(data) to check how long this packet is.
picture = picture + data # adding all the received packets to be a picture file (binary)
mysock.close()
# Look for the end of the header (2 CRLF)
pos = picture.find(b"\r\n\r\n") #using these four charaters to seperate the whole picture into small packets
print('Header length', pos)
print(picture[:pos].decode())
# Skip past the header and save the picture data
picture = picture[pos+4:] #it is to remove these four charaters "\r\n\r\n"
fhand = open("stuff.jpg", "wb") #create a picture enconding file
fhand.write(picture) # transform the data into the file
fhand.close()
5. 如何用urllib检索网络信息？
这个库好方便又好简单，我决定忘记抛弃上面的socket。直接抓取URL中的内容，返回decode一下就可以了。
import urllib.request
fhand = urllib.request.urlopen('http://data.pr4e.org/romeo.txt')
for line in fhand:
print(line.decode().strip())
6. BeautifulSoup是什么
为了方便点，不用每次都放到路径里，可以在anaconda安装。
conda install -c anaconda beautifulsoup4
参考资料：
roland_sun
Unix域套接字（Unix Domain Socket）介绍
http://blog.csdn.net/roland_sun/article/details/50266565百度/wiki
py4e的笔记整理，看起来好难，做起来还挺简单的。
华山大师兄
http://www.cnblogs.com/biyeymyhjob/archive/2012/07/28/2612910.htmlHTTP 协议格式 和 HTTP Header
https://my.oschina.net/manmao/blog/549123
