图解 HTTP 协议
HTTP协议
HyperText Transfer Protocol 超文本传输协议
TCP/IP 是互联网相关的各类协议族的总称。 IP,ICMP,IEEE 802.3,PPPoE,DNS,TCP,FDDI,UDP,FTP,SNMP,HTTP
应用层：决定向用户提供应用服务时通信的活动。 FTP,DNS,HTTP
传输层：对上层 应用层，提供处于网络连接中的两台计算机之间的数据传输。
TCP，传输控制协议。UDP 用户数据报协议。
网络层（IP，选择传输路线），数据链路层（ARP,RARP：IP -> MAC 硬件部分）。
通信传输流
HOC 客户端 应用层：发HTTP请求 传输层 TCP：分割HTTP报文，在报文打上标记序号和端口号 网络层 IP: 增加目的地的MAC地址后转发到链路层
发送端层与层之间传输数据时，每经过一层打上该层所属的首部信息，反之，接收端每经过一层将对应首部消去。
TCP协议为了更容易传输大数据才将数据分割，而且TCP协议能够确认数据最终是否送达到对方。
TCP
三次握手：
四次挥手：
DNS
查找顺序：浏览器缓存区 --> 操作系统 --> hosts --> DNS服务器
URI，统一资源标识符 URL，统一资源定位符 URL是URI的子集。
绝对URL：协议+登录信息（可选）+服务器地址+端口+资源路径
请求报文
HTTP协议自身不具备保存之前发送过的请求或响应的功能：即无状态协议
if-modified-since
假设请求 www.hacker.jp/index.html
响应头为：If-Modified-Since:Thu,12 Jul 2012 07:30:00 GMT
表示：仅返回指定时间（2012，07，12）以后更新过的index.html页面，如果未更新，则以状态码304 Not Modified返回
请求方法
1. PUT： 传输文件（不带验证机制，任何人都可以上传，一般不采用该方法）
客户端：put /example.html 服务端：204 No Content， 该example.html已存在服务器上
2. HEAD：获取报文首部
类似Get方法，只是不返回报文头部，用于确认URI的有效性和资源更新的日期时间
3.DELETE方法：删除文件
同PUT一样不带验证机制，一般不使用
4.OPTIONS 询问服务端支持的请求方法
响应：Allow：GET,POST,HEAD,OPTIONS
5.TRACE：追踪路径
发送请求时，在Max-Forwards填入数值 ( TTL？)，每经过一次服务器（包括代理服务器）数字减一，减到0时停止传输，最后接受请求的服务器（可能是代理服务器）响应200 OK，并在响应主体中返回该 最终服务器 收到的原始请求报文。
对于客户端来说，就能知道从它这里发出去的报文，在该报文最终停止传输时，变成了什么样的报文。
6.CONNECT：要求用隧道协议连接代理服务器。SSL+TLS
持久连接
HTTP/1.1默认持久连接，HTTP/1.0未标准化，持久化需要客户端和服务器端同时支持。
http keep-alive 只要任意一端没有明确提出断开连接，则保持TCP连接状态。减轻了TCP连接中重复建立和断开所造成的额外开销，同时请求响应更快结束，WEB页面显示速度也能提高。
管线化
不用等待上一个请求响应可直接发送下一个请求
cookie
服务器端，设置响应头字段 Set-Cookie，通知客户端保存cookie。下次客户端向服务端发送请求时，客户端自动在请求报头中加入cookie。
HTTP报文结构
编码提升传输速率。
实体 = 实体首部 + 实体主体。通常报文主体等于实体主体，只有当传输中进行编码操作时，实体主体的内容发生变化，才导致和报文主体产生差异。
内容编码：gzip，compress，deflate（zlib），identity（不进行编码）
分块传输编码，传输大容量数据时，把数据分割成多块，能够让浏览器逐步显示页面。
MIME：多用途因特网邮件扩展，允许处理文字，图片，视频等多个不同类型的数据。
MIME中采用称为多部分对象集合的方法，容纳多份不同类型的数据。
multipart / form-data ，web表单文件上传时使用。
范围请求：指定需要下载的实体范围（例如：下载中断恢复下载），Range字段指定资源的byte范围。对于范围请求，服务端响应206 Partial Content的响应报文。
内容协商
例如，返回对应浏览器语言的web页面：
客户端和服务端就响应的资源内容进行交涉。 内容协商以 语言，字符集，编码方式 为基准判断响应的资源。
HTTP状态码
状态码
类别
原因短语
1xx
信息性状态码
接收的请求正在处理
2xx
成功状态码
请求正常处理完毕
3xx
重定向状态码
需要进行附加操作以完成请求
4xx
客户端错误状态码
服务器无法处理该请求
5xx
服务器错误状态码
服务器处理请求出错
web服务器
HTTP通信时，除了客户端和服务器之外，还有一些用于通信数据转发的应用程序，比如 代理，网关，隧道。
代理：应用程序，服务器和客户端之间的中间人。 网关：服务器，接受从客户端发送过来的请求时，就像自己拥有资源的原服务器一样对请求进行处理。 隧道：相隔很远的客户端和服务器之间进行中转，并保持双方通信连接。
代理：通过代理服务器进行转发请求或相应时，会追加via首部信息。 优点：利用缓存技术减少网络宽带的流量，组织内部对特定网站的访问控制，以获取访问日志为主要目的。 缓存代理；当代理转发响应时，缓存代理会预先把资源副本缓存到代理服务器上，下次请求就可以将缓存结果直接返回,（会想向原服务器确定资源的有效性）。 透明代理：不对请求做任何处理.
网关：使通信线路上的服务器提供非HTTP协议服务。提高安全性。
HTTP首部
通用首部字段：
字段
说明
Cache-Control
控制缓存的行为
Connection
逐跳首部，连接的管理
Date
创建报文的日期时间
Pragma
报文指令
Trailer
报文末端的首部一览
Transfer-Encoding
指定报文主体的传输编码方式
Upgrade
升级为其他协议
Via
代理服务器的相关信息
Warning
错误通知
请求首部字段：
字段
说明
Accept
用户代理可处理的媒体类型
Accept-Charset
优先的字符集
Accept-Encoding
优先的内容编码
Accept-Language
优先的语言
Authorization
Web认证信息
Expect
期待服务器的特定行为
From
用户的电子邮箱地址
Host
请求资源所在服务器
If-Match
比较实体标记（ETag）
If-Modified-Since
比较资源的更新时间
If-None-Match
比较实体标记，与if-match相反
If-Range
资源未更新时发送实体Byte的范围请求
If-Unmodified-Since
比较资源的更新时间（与if-modified-since相反）
Max-Forwards
比较传输逐跳数
Proxy-Authorization
代理服务器要求客户端的认证信心
Range
实体的字节范围请求
Referer
对请求的URI的原始获取方
TE
传输编码的优先级
User-Agent
HTTP客户端程序的信息
响应首部字段：
字段
说明
Accept-Ranges
是否可接受字节范围请求
Age
推算资源创建经过时间
ETag
资源的匹配信息
Location
令客户端重定向至指定URI
Proxy-Authenticate
代理服务器对客户端的认证信息
Retry-After
对在此发起请求的时机要求
Server
HTTP服务器的安装信息
Vary
代理服务器缓存的管理信息
WWW-Authenticate
服务器对客户端的认证信息
实体首部字段：针对请求报文和响应报文的【实体】部分使用的字段。即针对请求数据和返回数据的 要求。
字段
说明
Allow
资源支持的HTTP方法
Content-Encoding
实体主体适用的编码方式
Content-Language
实体主体的自然语言
Content-Length
实体主体的大小 单位（字节）
Content-Location
替代对应资源的URI
Content-MD5
实体主体的报文摘要
Content-Range
实体主体的位置范围
Content-Type
实体主体的媒体类型 ,request时代表请求发送的数据类型，response时代表返回的数据类型
Expires
实体主体过期的日期时间
Last-Modified
资源的最后修改时间
端对端首部: 分在此类别的字段，会转发给请求、响应的最终目标。
逐跳首部： 只对单次转发有效，会因为缓存或者代理而不再转发。
逐跳字段： Connection，Keep-Alive，Proxy-Authenticate,Proxy-Authorization,Trailer,TE,Transfer-Encoding,Upgrade. [除以上字段，均为端对端首部]
Cache-Control
通过指定首部字段的Cache-Control 的指令，就能操作缓存的工作机制。指令参数可选，多个指令之间通过,分隔，可用在 请求以及响应 时。
Cache-Control: private, max-age=0,no-cache.
缓存，请求指令
指令
参数
说明
no-cache
无
强制向源服务器再次验证
no-store
无
不缓存请求或响应的任何内容
max-age = [秒]
必需
响应的最大Age值
max-stale(=[秒])
可省略
接收已过期的响应
min-fresh=[秒]
必需
期望在指定时间内的响应仍有效
no-transform
无
代理不可更改的媒体类型
only-if-cached
无
从缓存获取资源
cache-extension
-
新指令标记（token）
缓存，响应指令
指令
参数
说明
public
无
可向任意方提供响应的缓存
private
可省略
仅向特定用户返回响应
no-cache
可省略
缓存前必需先（向服务器）确认其有效性
no-store
无
不缓存请求或响应的任何内容
no-transform
无
代理不可更改媒体类型
must-revalidate
无
可缓存但必须向源服务器进行确认
proxy-revalidare
无
要求中间缓存服务器对缓存的响应有效性再进行确认
max-age=[秒]
必需
响应的最大Age值
s-maxage=[秒
必需
公共缓存服务器响应的最大Age值
cache-extension
-
新指令标记（token）
表示是否能缓存的指令：public,private,no-cache 。
no-cache 实际上代表【不缓存过期的资源】，而不是不缓存（no-store） 缓存会向源服务器进行有效期确认后处理资源。
由服务器返回的响应中，如果报文首部字段 Cache-Control中对no-cache字段指定参数，cache-control: no-cache=Location 则客户端不能使用缓存。 换言之，如果没有参数值的首部字段可以使用缓存。
控制可执行缓存的对象的指令：no-store, s-maxage，max-age,min-fresh,max-stale,only-if-cached(504 gateway timeout),must-revalidate(504),proxy-revalidate,on-transform(防止缓存或代理压缩图片).
当使用
on-store指令时，暗示请求或响应中包含机密信息，规定缓存不能在本地存储请求或响应的任一部分。s-maxage和max-age功能相同，区别在于s-maxage指令只适用于供多位用户使用的代理服务器。对同一用户重复返回响应的服务器来说，指令无效。当使用s-maxage时，expires首部字段和max-age字段无效.
cache-control:max-age = 604800客户端的角度（向缓存服务器）: 要是缓存过期没超过一周，就把它给我。 服务器角度（向缓存服务器）：一周以内不必向我确认，缓存服务器直接处理缓存。max-age:如果判定缓存资源的缓存时间数值比指定时间的数值更小，则使用缓存。max-age=0,则缓存服务器需要向源服务器请求。cache-extension token,扩展cache-control首部字段的指令。
Connection
用于控制不再转发的首部字段名。
则代理服务器接收到这两个字段时，不会继续转发这两个字段 (Upgrade, Connection ) 到源服务器。
管理持久连接:
http/1.1默认都是持久连接keep-alive，当服务端 明确要断开连接时，则指定connection:close.
旧版本想使用持久连接，则客户端指定connection:keep-alive，此时服务端会加上首部字段
keep-alive:timeout=10,max=500后返回响应。
Pragma：no-cache
HTTP/1.1之前的遗留, 存在于客户端发送的请求中，表示不接受缓存。
为了兼容所有协议的服务器，采用 cache-control:no-cache,pragma:no-cache
Upgrade
用于检测 HTTP协议及其他协议 是否可使用更高的版本。
via
追踪客户端与服务器之间的请求和响应报文的传输路径，各个代理服务器会往 Via首部 添加自身服务器的信息。
warning
告知用户一些与缓存相关的问题的警告。
请求首部字段
用于 补充 请求的附加信息，客户端信息，对响应内容相关的优先级等内容。
Accept
通知服务器，用户代理（客户端）能够处理的媒体类型及媒体类型的优先级：
q为0到1，代表权重，不指定默认为1，1的优先级最高。
Expect
客户端告知服务器，期望出现某种特定的行为。服务器无法理解时，返回 471 Expection Failed
可利用此字段，写明所期望的扩展。
If-Match
IF-xxx 条件请求，只有判断指定条件为真，服务器才会执行请求。实体标记 ETag 是与特定资源关联的确定值，资源更新后ETag也会更新。服务器对比 If-Match 字段值和 资源ETag 的值，只有当一致时，才执行请求。If-Match:"*" 代表只要有资源存在就处理请求。
if-modified-since
在if-modified-since指定时间之后，资源发生了更新，服务器才接受请求，否则返回 304
get,head方法中，if-none-match 用于获取最新的资源。
if-unmodified-since
告知服务器，指定的请求资源只有在字段值内指定的时间日期之后，未发生更新的情况下，才能处理请求。
响应首部字段
服务器端向客户端返回响应报文中所使用的字段，补充响应的附加信息，服务器信息，以及对客户端的附加要求。
accept-ranges
Age
源服务器多久前创建了响应，单位为s，如果创建响应的服务器是缓存服务器，Age是指缓存后的响应再次 发起认证 到 认证完成 的时间值。
ETag
强ETag值，无论发生多么细微的变化都会改变其值。
弱ETag值，只用于提示资源是否相同，只有资源发生根本改变，产生差异时才会改变ETag值，此时字段开始处附加 W/
Location
响应接收方，引导至某个与请求URI位置不同的资源，通常与3XX，重定向响应配合使用。
Retry-After
单位s 配合503，或3xx，告诉客户端应该在多久之后再次发送请求。
server
当前服务器上安装的HTTP服务器应用程序的信息 例如：apache
实体首部字段
content-encoding
会告知客户端， 服务器对实体主体部分选用的内容编码方式。 内容编码：在不丢失实体信息的前提下所进行的压缩。采用内容编码传输时，不再使用 content-length 计算内容大小。
Content-MD5
确保报文主体是否被篡改
Content-Type
报文主体的媒体类型
expires
服务端将资源的 过期时间 告知客户端。缓存服务器在收到 expires 字段的响应后，会以缓存来应答请求，在expires字段指定的时间之前，响应的副本会一直保存，当超过指定时间之后，缓存服务器将向源服务器请求资源。
源服务器不希望缓存服务器缓存资源时 ，最好在expires字段写入与 Date 字段相同的时间值。
Cache-control 有指定max-age指令时，比起 expires ，会优先处理max-age 。 设置max-age:0 则不使用缓存。
有关cookie的字段
set-cookie: 响应首部字段，开始状态管理所使用的cookie信息。
属性
说明
NAME=VALUE
赋予Cookie的名称和值
expires=DATE
cookie的有效期，不指定则默认浏览器关闭就失效
path=PATH
将服务器的文件目录作为cookie的适用对象，不指定则默认文档所在的文件目录
domain=域名
作为cookie适用对象的域名，不指定则默认创建cookie的服务器的域名
secure
仅在https安全通信时才发送cookie
httponly
使cookie不能被js脚本访问
一旦 cookie 从服务端发送至客户端，服务端就 不存在可以显示删除cookie 的方法，但是可通过 覆盖已过期的cookie ，实现对客户端cookie的实质性删除。
其他首部字段
X-Frame-Options: 用于控制网站内容在其他web网站的frame内的显示问题。 可选值：Deny | SAMEORIGIN
X-XSS-Protection: 针对XSS 跨站脚本攻击. 可选值：0 | 1
DNT：do not track: 拒绝被精准广告追踪 0 | 1
P3P： 在线隐私偏好平台，让个人隐私变成仅供程序可理解的形式。
HTTPS
HTTPS = HTTP+加密 + 证书 + 完整性保护
HTTP不足：
通信使用明文（不加密），内容可能会被窃听
不验证通信方身份，因此有可能遭遇伪装
无法证明报文的完整性，所以有可能已遭篡改
通信的加密：
HTTP协议中没有加密机制，但可以通过和SSL（安全套接层）或TLS(安全传输层协议)的组合使用，加密HTTP的通信内容。
用SSL建立安全的通信线路之后，就可以在这条线路上进行HTTP通信了， 与SSL组合使用的HTTP被称为HTTPS。
证书
用于确认通信方，证书由值得信任的第三方机构颁发。通过使用证书，以证明通信方就是意料中的服务器。客户端持有证书即可完成个人身份的确认，可用于对WEB网站的认证环节。
在请求或响应的传输途中，遭攻击者拦截并篡改内容的攻击称为中间人攻击 ( MITM ) 。防止篡改：PGP,MD5
通常 HTTP 直接与 TCP 通信，当使用 SSL 时，则变成先和 SSL 通信，再由 SSL 和 TCP 通信。https 是身披 SSL 外壳的HTTP，SSL独立于HTTP协议，所以其他运行在应用层的SMTP和TELNET等协议均可配合SSL协议使用。SSL是当今世界上最为广泛的网络安全技术。
密码
对称密码学：共享秘钥加密，加密和解密都是同一个秘钥。（如何秘密的传递秘钥？） 非对称密码学：公开密钥加密， 公钥和私钥。（效率低）
发送方，利用【接收方的公钥】进行加密，然后接收方接收到之后利用自己的【秘钥】进行解密。
HTTPS采用共享密钥加密和公开密钥加密混合的方式。
使用非对称密码学，安全的交换对称密码学的秘钥。
采用对称密码学进行信息的通信。
HTTPS 的加密通信会消耗更多的CPU和内存资源，每次通信都加密，会消耗相当多的资源。因此非敏感信息则使用HTTP通信，敏感信息才使用HTTPS。
认证
BASIC认证，基本认证。 DIGEST认证，摘要认证。 SSL客户端认证。 FormBase认证，基于表单认证。
BASIC（不常用）
DIGEST 弥补BASIC的缺点。(不常用)
session管理及cookie应用
客户端发送登录信息，服务器利用 session 记录登录信息，并生成 session ID 发送给客户端，客户端记录 session id 到 cookie 中, 客户端下次请求带上cookie。
HTTP功能追加
消除HTTP瓶颈的 SPDY
HTTP标准
一条连接上只可发送一个请求。
请求只能从客户端开始，客户端不可以接收除响应之外的指令。
请求、响应首部未经压缩就发送，首部信息越大延迟越大。
发送冗长的首部，每次相互发送相同的首部造成的浪费越大。
可任意选择数据压缩格式，非强制压缩发送。
AJAX
Comet 服务器推：
通常服务器收到请求，处理完毕后立即返回响应，但是为了实现推送，Comet会将响应置于挂起状态，当服务器有内容更新时，再返回该响应。
SPDY
多路复用，一条TCP处理多个HTTP请求。
请求优先级。
压缩HTTP首部。
推送功能。
服务器提示功能，主动提示客户端请求所需的资源。
websocket 全双工通信
客户端发起连接，之后服务端和客户端任意一方都可以向对方发送请求。
HTTP 2.0 2014年标准化
WEB DAV: 对服务器上的内容直接进行复制，编辑等操作的分布式文件系统。
防火墙： 禁止非指定的 协议和端口号 的数据包通过，因此过去的新系统如果使用了新的端口或者协议，则必须修改防火墙设置。
CGI: Common Gateway Interface 通用网关接口 Web服务器在接收到客户端发送过来的请求后转发给程序的一组机制。
使用 CGI 的程序叫做 CGI 程序，如 PHP,Perl，Ruby，C 等编写而成。之前提到的CGI，每次接收到请求，程序都得启动一次，因此访问量大的时候服务器会有相当大的负载。而Servlet运行在与服务器相同的进程中，负载较小。
发布更新信息的RSS/Atom
RSS 简易信息聚合，聚合内容。
Web的攻击技术
主动攻击: SQL注入，QS命令注入 被动攻击：XSS跨站脚本攻击，CSR:跨站伪请求攻击
XSS： 运行非法的 HTML 标签或 JS ,或在URL中插入script
Last updated