Requests库常用方法及参数介绍 / 四六文摘

Requests库中定义了七个常用的请求方法，这些方法各自有着不同的作用，在这些请求方法中requests.get()与requests.post()方法最为常用。请求方法如下所示：

常用请求方法

方法	说明
requests.request()	构造一个请求对象，该方法是实现以下各个方法的基础。
requests.get()	获取HTML网页的主要方法，对应于 HTTP 的 GET 方法。
requests.head()	获取HTML网页头信息的方法，对应于 HTTP 的 HEAD 方法。
requests.post()	获取 HTML 网页提交 POST请求方法，对应于 HTTP 的 POST。
requests.put()	获取HTML网页提交PUT请求方法，对应于 HTTP 的 PUT。
requests.patch()	获取HTML网页提交局部修改请求，对应于 HTTP 的 PATCH。
requests.delete()	获取HTML页面提交删除请求，对应于 HTTP 的 DELETE。

上述方法都提供了相同的参数，其中某些参数已经使用过，比如headers和params，前者用来构造请求头，后者用来构建查询字符串。这些参数对于编写爬虫程序有着至关重要的作用。本节对其他常用参数做重点介绍。

SSL认证-verify参数

SSL证书是数字证书的一种，类似于驾驶证、护照和营业执照。因为配置在服务器上，也称为SSL服务器证书。SSL证书遵守SSL协议，由受信任的数字证书颁发机构CA（电子认证服务）颁发。SSL具有服务器身份验证和数据传输加密功能。

verify参数的作用是检查SSL证书认证，参数的默认值为True，如果设置为False则表示不检查SSL证书，此参数适用于没有经过CA机构认证的HTTPS类型的网站。其使用格式如下：

response = requests.get(
  url=url,
  params=params,
  headers=headers,
  verify=False)123456复制代码类型：[python]

代理IP-proxies参数

一些网站为了限制爬虫从而设置了很多反爬策略，其中一项就是针对IP地址设置的。比如，访问网站超过规定次数导致流量异常，或者某个时间段内频繁地更换浏览器访问，存在上述行为的IP极有可能被网站封杀掉。

代理IP就是解决上述问题的，它突破了IP地址的访问限制，隐藏了本地网络的真实IP，而使用第三方IP代替自己去访问网站。

1)代理IP池

通过构建代理IP池可以让你编写的爬虫程序更加稳定，从IP池中随机选择一个IP去访问网站，而不使用固定的真实IP。总之将爬虫程序伪装的越像人，它就越不容易被网站封杀。当然代理IP也不是完全不能被察觉，通过端口探测技等术识仍然可以辨别。其实爬虫与反爬虫永远相互斗争的，就看谁的技术更加厉害。

2)proxies参数

Requests提供了一个代理IP参数proxies，该参数的语法结构如下：

proxies = {   '协议类型(http/https)':'协议类型://IP地址:端口号'
 }123复制代码类型：[python]

下面构建了两个协议版本的代理IP，示例如下：

proxies = {   'http':'http://IP:端口号',   'https':'https://IP:端口号'}1234复制代码类型：[python]

3)代理IP使用

下面通过简单演示如何使用proxies参数，示例如下：

import requests

url = 'http://httpbin.org/get'headers = { 'User-Agent':'Mozilla/5.0'}# 网上找的免费代理ipproxies = { 'http':'http://191.231.62.142:8000', 'https':'https://191.231.62.142:8000'}
html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
print(html)12345678910111213复制代码类型：[python]

输出结果：

{  "args": {},  "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Cache-Control": "max-age=259200", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0", "X-Amzn-Trace-Id": "Root=1-605073b0-4f54db1b2d2cfc0c074a1193"
  },  # 注意此处显示两个IP，第一个是你自己的真实IP，另外一个是对外展示的IP
  "origin": "121.17.25.194, 191.235.72.144",
  "url": "http://httpbin.org/get"}123456789101112131415复制代码类型：[python]

由于上述示例使用的是免费代理IP，因此其质量、稳定性较差，可能会随时失效。如果想构建一个稳定的代理IP池，就需要花费成本。

4)付费代理IP

网上有许多提供代理IP服务的网站，比如快代理、代理精灵、齐云代理等。这些网站也提供了相关文档说明，以及API接口，爬虫程序通过访问API接口，就可以构建自己的代理IP池。

付费代理IP按照资源类型可划分为：开发代理、私密代理、隧道代理、独享代理，其中最常使用的是开放代理与私密代理。

开放代理：开放代理是从公网收集的代理服务器，具有IP数量大，使用成本低的特点，全年超过80%的时间都能有3000个以上的代理IP可供提取使用。

私密代理：私密代理是基于云主机构建的高品质代理服务器，为您提供高速、可信赖的网络代理服务。私密代理每天可用IP数量超过20万个，可用率在95%以上，1次可提取IP数量超过700个，可以为爬虫业务提供强大的助力。

付费代理的收费标准根据IP使用的时间长短，以及IP的质量高低，从几元到几百元不等。89免费代理（http://www.89ip.cn/）是一个专门提供免费代理IP的网站，不过想找到一个质量较高的免费代理好比大海捞针。

用户认证-auth参数

Requests提供了一个auth参数，该参数的支持用户认证功能，也就是适合那些需要验证用户名、密码的网站。auth的参数形式是一个元组，其格式如下：

auth = ('username','password')

Requests库常用方法及参数介绍

代理IP-proxies参数

用户认证-auth参数

相关推荐