爬虫学习(前期知识学习）
一、web请求过程剖析
服务器渲染
这种渲染方式是在服务器端将数据与html整合在一起然后统一返回给浏览器。因此这一种方式在页面源代码中可以看到数据。
客户端渲染
这种方式与服务器渲染有所差异，分为两次请求：
①：只拿到一个html骨架并没有数据
②：第二次请求则是拿到数据进行数据展示
这一次方式在页面源代码中是看不到数据的。
例如：
在豆瓣上喜剧片排行榜上：
在网页源代码查找关键词“憨豆”
发现并没有结果。接着查看network发现第一次请求只有html的骨架并无后端返回的数据展示。
这与客户端渲染描述一致~
接着往下看后面的请求：
toplist排行列表无疑应该是后端返回的响应数据，点开一看第一名与网页显示一致确实是美丽人生的一段json，说明这就是第二次发送的请求。
二、HTTP协议
背景
协议：是两个计算机之间为了能流畅的进行沟通而设置的约定，常见的协议就有HTTP协议、TCP/IP协议、SMIP协议......
HTTP协议：浏览器与服务器之间的数据交互所遵守的协议
HTTP协议把一条信息分为三块内容：
请求
1 请求行：主要是请求方式 请求url地址 协议
2 请求头：放一些服务器要使用的附加信息
{
请求头中对于爬虫比较重要的内容：1.User—Agent：请求载体的身份标识（用什么发送的这请求）
2.Referer：防盗链（这次请求从哪个页面来，反爬）
3.cookie：本地字符串数据信息（用户登录信息，反爬的token）
}4 请求体：放一些请求参数
响应：
1 状态行 ：协议 状态码
2 响应头 ：放一些客户端要使用的一些附加信息
{响应头中爬虫比较重要的内容：
1.cookie：本地字符串数据信息（用户登录信息，反爬的token）
2.各种诡异的字符串跟token类似防止各种攻击与反爬）
3：服务器返回的真正客户端需要的内容
