# HTTP 标准

# 报文格式

# 请求报文格式

<method><request-URL><version>
<headers>
<entity-body>

# 响应报文格式

<version><status><reason-phrase>
<headers>
<entity-body>

# 字段解释

  • method
    • HTTP 动词
    • 常见方法:HEAD / GET / POST / PUT / DELETE / PATCH / OPTIONS / TRACE
    • 扩展方法:LOCK / MKCOL / COPY / MOVE
  • version
    • 报文使用的 HTTP 版本
    • 格式为 HTTP/<major>.<minor>
  • url
    • <scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>

# 请求头列表

  • Accept
    • 指定客户端能够接收的内容类型
    • Accept: text/plain, text/html
  • Accept-Charset
    • 浏览器可以接受的字符编码集
    • Accept-Charset: iso-8859-5
  • Accept-Encoding
    • 指定浏览器可以支持的 web 服务器返回内容压缩编码类型
    • Accept-Encoding: compress, gzip
  • Accept-Language
    • 浏览器可接受的语言
    • Accept-Language: en,zh
  • Accept-Ranges
    • 可以请求网页实体的一个或者多个子范围字段
    • Accept-Ranges: bytes
  • Authorization
    • HTTP 授权的授权证书
    • Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
  • Cache-Control
    • 指定请求和响应遵循的缓存机制 Cache-Control: no-cache
  • Connection
    • 表示是否需要持久连接 // HTTP 1.1 默认进行持久连接
    • Connection: close
  • Cookie
    • HTTP 请求发送时,会把保存在该请求域名下的所有 cookie 值一起发送给 web 服务器
    • Cookie: role=admin;ssid=1
  • Content-Length
    • 请求的内容长度
    • Content-Length: 348
  • Content-Type
    • 请求的与实体对应的 MIME 信息
    • Content-Type: application/x-www-form-urlencoded
  • Date
    • 请求发送的日期和时间
    • Date: Tue, 15 Nov 2010 08:12:31 GMT
  • Expect
    • 请求的特定的服务器行为
    • Expect: 100-continue
  • From
    • 发出请求的用户的
    • EmailFrom: user@email.com
  • Host
    • 指定请求的服务器的域名和端口号
    • Host: www.github.com
  • If-Match
    • 只有请求内容与实体相匹配才有效
    • If-Match: "737060cd8c284d8af7ad3082f209582d"
  • If-Modified-Since
    • 如果请求的部分在指定时间之后被修改则请求成功,未被修改则返回 304 代码
    • If-Modified-Since: Sat, 29 Oct 2018 19:43:31 GMT
  • If-None-Match
    • 如果内容未改变返回 304 代码,参数为服务器先前发送的 Etag,与服务器回应的 Etag 比较判断是否改变
    • If-None-Match: "737060cd8c284d8af7ad3082f209582d"
  • If-Range
    • 如果实体未改变,服务器发送客户端丢失的部分,否则发送整个实体。参数也为 Etag
    • If-Range: "737060cd8c284d8af7ad3082f209582d"
  • If-Unmodified-Since
    • 只在实体在指定时间之后未被修改才请求成功
    • If-Unmodified-Since: Sat, 29 Oct 2010 19:43:31 GMT
  • Max-Forwards
    • 限制信息通过代理和网关传送的时间
    • Max-Forwards: 10
  • Pragma
    • 用来包含实现特定的指令
    • Pragma: no-cache
  • Proxy-Authorization
    • 连接到代理的授权证书
    • Proxy-Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
  • Range
    • 只请求实体的一部分,指定范围
    • Range: bytes=500-999
  • Referer
    • 先前网页的地址,当前请求网页紧随其后,即来路
    • Referer: http://www.zcmhi.com/archives/71.html
  • TE
    • 客户端愿意接受的传输编码,并通知服务器接受接受尾加头信息
    • TE: trailers,deflate;q=0.5
  • Upgrade
    • 向服务器指定某种传输协议以便服务器进行转换(如果支持)
    • Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11
  • User-Agent
    • User-Agent 的内容包含发出请求的用户信息
    • User-Agent: Mozilla/5.0 (Linux; X11)
  • Via
    • 通知中间网关或代理服务器地址,通信协议
    • Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
  • Warning
    • 关于消息实体的警告信息
    • Warn: 199 Miscellaneous warning

# 响应头列表

  • Accept-Ranges
    • 表明服务器是否支持指定范围请求及哪种类型的分段请求
    • Accept-Ranges: bytes
  • Access-Control-Allow-Origin
    • 配置有权限访问资源的域
    • Access-Control-Allow-Origin: <origin>|*
  • Age
    • 从原始服务器到代理缓存形成的估算时间(以秒计,非负)
    • Age: 12
  • Allow
    • 对某网络资源的有效的请求行为,不允许则返回 405
    • Allow: GET, HEAD
  • Cache-Control
    • 告诉所有的缓存机制是否可以缓存及哪种类型
    • Cache-Control: no-cache
  • Content-Encoding
    • web 服务器支持的返回内容压缩编码类型
    • Content-Encoding: gzip
  • Content-Language
    • 响应体的语言
    • Content-Language: en,zh
  • Content-Length
    • 响应体的长度
    • Content-Length: 348
  • Content-Location
    • 请求资源可替代的备用的另一地址
    • Content-Location: /index.htm
  • Content-MD5
    • 返回资源的 MD5 校验值
    • Content-MD5: Q2hlY2sgSW50ZWdyaXR5IQ==
  • Content-Range
    • 在整个返回体中本部分的字节位置
    • Content-Range: bytes 21010-47021/47022
  • Content-Type
    • 返回内容的 MIME 类型
    • Content-Type: text/html; charset=utf-8
  • Date
    • 原始服务器消息发出的时间
    • Date: Tue, 15 Nov 2010 08:12:31 GMT
  • ETag
    • 请求变量的实体标签的当前值
    • ETag: "737060cd8c284d8af7ad3082f209582d"
  • Expires
    • 响应过期的日期和时间
    • Expires: Thu, 01 Dec 2010 16:00:00 GMT
  • Last-Modified
    • 请求资源的最后修改时间
    • Last-Modified: Tue, 15 Nov 2010 12:45:26 GMT
  • Location
    • 用来重定向接收方到非请求 URL 的位置来完成请求或标识新的资源
    • Location: http://www.zcmhi.com/archives/94.html
  • Pragma
    • 包括实现特定的指令,它可应用到响应链上的任何接收方
    • Pragma: no-cache
  • Proxy-Authenticate
    • 它指出认证方案和可应用到代理的该 URL 上的参数
    • Proxy-Authenticate: Basic
  • Refresh
    • 应用于重定向或一个新的资源被创造,在 5 秒之后重定向(由网景提出,被大部分浏览器支持)
    • Refresh: 5; url=http://www.zcmhi.com/archives/94.html
  • Retry-After
    • 如果实体暂时不可取,通知客户端在指定时间之后再次尝试
    • Retry-After: 120
  • Server
    • web 服务器软件名称
    • Server: Apache/1.3.27 (Unix) (Red-Hat/Linux)
  • Set-Cookie
    • 设置 Http Cookie
    • Set-Cookie: UserID=JohnDoe; Max-Age=3600; Version=1
  • Strict-Transport-Security
    • 设置浏览器强制使用 HTTPS 访问
    • max-age: x 秒的时间内 访问对应域名都使用 HTTPS 请求
    • includeSubDomains: 网站的子域名也启用规则
    • Strict-Transport-Security: max-age=1000; includeSubDomains
  • Trailer
    • 指出头域在分块传输编码的尾部存在
    • Trailer: Max-Forwards
  • Transfer-Encoding
    • 文件传输编码
    • Transfer-Encoding:chunked
  • Vary
    • 告诉下游代理是使用缓存响应还是从原始服务器请求
    • Vary: *
  • Via
    • 告知代理客户端响应是通过哪里发送的
    • Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
  • Warning
    • 警告实体可能存在的问题
    • Warning: 199 Miscellaneous warning
  • WWW-Authenticate
    • 表明客户端请求实体应该使用的授权方案
    • WWW-Authenticate: Basic
  • X-Content-Type-Options
    • 配置禁止 MIME 类型嗅探
    • X-Content-Type-Options: nosniff
  • X-Frame-Options
    • 配置页面是否能出现在 <frame>, <iframe>, <embed>, <object> 等标签中,防止点击劫持
    • X-Frame-Options: deny
  • X-XSS-Protection
    • 配置 XSS 防护机制
    • X-XSS-Protection: 1; mode=block

# HTTP 状态返回代码 1xx(临时响应)

表示临时响应并需要请求者继续执行操作的状态代码。

Code 代码 说明
100 继续 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分
101 切换协议 请求者已要求服务器切换协议,服务器已确认并准备切换

# HTTP 状态返回代码 2xx (成功)

表示成功处理了请求的状态代码。

Code 代码 说明
200 成功 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页
201 已创建 请求成功并且服务器创建了新的资源
202 已接受 服务器已接受请求,但尚未处理
203 非授权信息 服务器已成功处理了请求,但返回的信息可能来自另一来源
204 无内容 服务器成功处理了请求,但没有返回任何内容
205 重置内容 m 服务器成功处理了请求,但没有返回任何内容
206 部分内容 服务器成功处理了部分 GET 请求

# HTTP 状态返回代码 3xx (重定向)

表示要完成请求,需要进一步操作。 通常,这些状态代码用来重定向。

Code 代码 说明
300 多种选择 针对请求,服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作,或提供操作列表供请求者选择。
301 永久移动 请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。
302 临时移动 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。
303 查看其他位置 请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。
304 未修改 自从上次请求后,请求的网页未修改过。 服务器返回此响应时,不会返回网页内容。
305 使用代理 请求者只能使用代理访问请求的网页。如果服务器返回此响应,还表示请求者应使用代理。
307 临时重定向 服务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。

# HTTP 状态返回代码 4xx(请求错误)

这些状态代码表示请求可能出错,妨碍了服务器的处理。

Code 代码 说明
400 错误请求 服务器不理解请求的语法。
401 未授权 请求要求身份验证。对于需要登录的网页,服务器可能返回此响应。
403 禁止 服务器拒绝请求。
404 未找到 服务器找不到请求的网页。
405 方法禁用 禁用请求中指定的方法。
406 不接受 无法使用请求的内容特性响应请求的网页。
407 需要代理授权 此状态代码与 401(未授权)类似,但指定请求者应当授权使用代理。
408 请求超时 服务器等候请求时发生超时。
409 冲突 服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。
410 已删除 如果请求的资源已永久删除,服务器就会返回此响应。
411 需要有效长度 服务器不接受不含有效内容长度标头字段的请求。
412 未满足前提条件 服务器未满足请求者在请求中设置的其中一个前提条件。
413 请求实体过大 服务器无法处理请求,因为请求实体过大,超出服务器的处理能力。
414 请求的 URI 过长 请求的 URI(通常为网址)过长,服务器无法处理。
415 不支持的媒体类型 请求的格式不受请求页面的支持。
416 请求范围不符合要求 如果页面无法提供请求的范围,则服务器会返回此状态代码。
417 未满足期望值 服务器未满足 "期望" 请求标头字段的要求。

# HTTP 状态返回代码 5xx(服务器错误)

这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误,而不是请求出错。

Code 代码 说明
500 服务器内部错误 服务器遇到错误,无法完成请求。
501 尚未实施 服务器不具备完成请求的功能。例如,服务器无法识别请求方法时可能会返回此代码。
502 错误网关 服务器作为网关或代理,从上游服务器收到无效响应。
503 服务不可用 服务器目前无法使用(由于超载或停机维护)。 通常,这只是暂时状态。
504 网关超时 服务器作为网关或代理,但是没有及时从上游服务器收到请求。
505 HTTP 版本不受支持 服务器不支持请求中所用的 HTTP 协议版本。

# HTTP 版本

# HTTP

HTTP 是基于 TCP/IP 协议的应用层协议,主要规定了客户端和服务器之间的通信格式,默认使用 80 端口。

# HTTP 0.9

HTTP 0.9 最早在 1991 年发布,仅支持 GET 命令,请求格式只有简单的 GET /url ,服务端仅响应 HTML,响应完毕后关闭 TCP 连接。

# HTTP 1.0

1996 年 5 月,HTTP/1.0 版本发布,丰富了传输的格式和内容,还引入了 POST、HEAD 两个动词。从 1.0 开始,必须在尾部添加协议版本。在 1.0 中,也引入了状态码 (status code)、多字符集支持、多部分发送 (multi-part type)、权限 (authorization)、缓存 (cache)、内容编码 (content encoding) 等内容。

HTTP 1.0 版的主要缺点是,每个 TCP 连接只能发送一个请求。发送数据完毕,连接就关闭,如果还要请求其他资源,就必须再新建一个连接。

TCP 连接的新建成本很高,因为需要客户端和服务器三次握手,并且开始时发送速率较慢 (slow start),所以,HTTP 1.0 版本的性能比较差。

# HTTP 1.1

1997 年 1 月,HTTP/1.1 版本发布,进一步完善了 HTTP 协议。1.1 版本主要是引入了持久连接、管道机制、Content-Length、分块传输编码等内容。管道机制即在同一个 TCP 连接里面,客户端可以同时发送多个请求,这样就改进了 HTTP 协议的效率。PUT、PATCH、HEAD、 OPTIONS、DELETE 等动词方法也是在 HTTP 1.1 版本引入的。另外 1.1 版本新增了 Host 字段,用于指定服务器的域名,这也是后来虚拟主机得以发展的基础。

虽然 1.1 版允许复用 TCP 连接,但是同一个 TCP 连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。如果有一个请求很慢,就会阻塞后面的请求。

# SPDY

2009 年,谷歌公开了自行研发的 SPDY 协议,用于解决 HTTP/1.1 效率不高的问题,而后被当做 HTTP/2 的基础。

# HTTP/2

2015 年,HTTP/2 发布,HTTP/2 是一个二进制协议,头信息和数据体都是二进制,统称为帧 (frame),帧分为头信息帧和数据帧。HTTP/2 复用 TCP 连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应,而且不用按照顺序回应。

# HTTPS

# 简介

HTTPS (HyperText Transfer Protocol over Secure Socket Layer) 可以理解为 HTTP+SSL/TLS, 即 HTTP 下加入 SSL 层,HTTPS 的安全基础是 SSL。

# 交互

# 证书验证阶段

  • 浏览器发起 HTTPS 请求
  • 服务端返回 HTTPS 证书
    • 其中证书包含:
      • 颁发机构信息
      • 公钥
      • 公司信息
      • 域名
      • 有效期
      • 指纹
  • 客户端验证证书是否合法,如果不合法则提示告警

# 数据传输阶段

  • 当证书验证合法后,在本地生成随机数
  • 通过公钥加密随机数,并把加密后的随机数传输到服务端
  • 服务端通过私钥对随机数进行解密
  • 服务端通过客户端传入的随机数构造对称加密算法,对返回结果内容进行加密后传输

# CA

CA (Certificate Authority) 是颁发数字证书的机构。是负责发放和管理数字证书的权威机构,并作为电子商务交易中受信任的第三方,承担公钥体系中公钥的合法性检验的责任。

# WebSocket

# 简介

WebSocket 是一种网络传输协议,可在单个 TCP 连接上进行全双工通信,位于 OSI 模型的应用层。WebSocket 协议在 2011 年由 IETF 标准化为 RFC 6455,后由 RFC 7936 补充规范。

# 交互

# 握手

握手阶段和 HTTP 协议较为类似,RFC 文档中给出的握手示例如下:

GET /chat HTTP/1.1
Host: server.example.com
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ==
Origin: http://example.com
Sec-WebSocket-Protocol: chat, superchat
Sec-WebSocket-Version: 13
HTTP/1.1 101 Switching Protocols
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+xOo=

其中 Upgrade 的值必须为 websocket ,Connection 的值必须为 Upgrade ,合起来表示客户端喜欢连接升级到 Websocket 协议。

Sec-WebSocket-Key 是一个随机值,Sec-WebSocket-Accept 是 Sec-WebSocket-Key 拼接特定字符串 258EAFA5-E914-47DA-95CA-C5AB0DC85B11 计算 SHA1 摘要后的 Base64 编码的值。例子中 s3pPLMBiTxaQ9kYGzzhZRbK+xOo= 就是 dGhlIHNhbXBsZSBub25jZQ==258EAFA5-E914-47DA-95CA-C5AB0DC85B11 对应的 SHA1 摘要。

# Cookie

# 2.7.5.1. 简介

Cookie(复数形态 Cookies),类型为「小型文本文件」,指某些网站为了辨别用户身份而储存在用户本地终端上的数据。

# 2.7.5.2. 属性

# name

cookie 的名称。

# value

cookie 的值。

# expires

当 Expires 属性缺省时,表示是会话性 Cookie,在用户关闭浏览器时失效。

# max-age

max-age 可以为正数、负数、0。如果 max-age 属性为正数时,浏览器会将其持久化,当 max-age 属性为负数,则表示该 Cookie 只是一个会话性 Cookie。当 max-age 为 0 时,则会立即删除这个 Cookie。Expires 和 max-age 都存在的条件下,max-age 优先级更高。

# domain

指定 Cookie 的域名,默认是当前域名。domain 设置时可以设置为自身及其父域,子域可以访问父域的 Cookie,反之不能。

# path

指定一个 URL 路径,这个路径必须出现在要请求的资源的路径中才可以发送对应的 Cookie。

# secure

只能通过 HTTPS 传输。

# httponly

限制 Cookie 仅在 HTTP 传输过程中被读取,一定程度上防御 XSS 攻击。

# SameSite

SameSite 支持 Strict / Lax / None 三种值。Strict 最为严格,完全禁止第三方 Cookie,跨站点时,任何情况下都不会发送 Cookie。Lax 允许部分第三方请求携带 Cookie,主要是链接、预加载、GET 表单三种情况。Cookie 的 SameSite 属性为 None ,且设置了 Secure 时,无论是否跨站都会发送 Cookie。

# WebDAV

# 简介

WebDAV (Web-based Distributed Authoring and Versioning) 一种基于 HTTP 1.1 协议的通信协议。它扩展了 HTTP 1.1,在 GET、POST、HEAD 等几个 HTTP 标准方法以外添加了一些新的方法,使应用程序可对 Web Server 直接读写,并支持写文件锁定、解锁,以及版本控制等功能。

支持的方法具体为:

  • OPTIONS
    • 获取服务器的支持
  • GET / PUT / POST / DELETE
    • 资源操作
  • TRACE
    • 跟踪服务器
  • HEAD
  • MKCOL
    • 创建集合
  • PROPFIND / PROPPATCH
  • COPY / MOVE
  • LOCK / UNLOCK

# 相关 CVE

  • CVE-2015-1833
    • Apache Jacrabbit WebDav XXE
    • http://www.securityfocus.com/archive/1/535582
  • CVE-2015-7326
    • Milton WebDav XXE
    • http://www.securityfocus.com/archive/1/536813

# 参考链接

# RFC

  • RFC 3253 Versioning Extensions to WebDAV (Web Distributed Authoring and Versioning)
  • RFC 3648 Web Distributed Authoring and Versioning (WebDAV) Ordered Collections Protocol
  • RFC 3744 Web Distributed Authoring and Versioning (WebDAV) Access Control Protocol
  • RFC 4437 Web Distributed Authoring and Versioning (WebDAV) Redirect Reference Resources
  • RFC 4918 HTTP Extensions for Web Distributed Authoring and Versioning (WebDAV)
  • RFC 5323 Web Distributed Authoring and Versioning (WebDAV) SEARCH
  • RFC 5842 Binding Extensions to Web Distributed Authoring and Versioning (WebDAV)
  • The WebSocket Protocol
  • Clarifying Registry Procedures for the WebSocket Subprotocol Name Registry

# Blog

  • What should a hacker know about WebDav
  • Cookie 的 SameSite 属性
  • HTTP 协议入门