爬虫入门教程 —— 2

requests

Request 自称是 HTTP for Humans  ,非常的方便。

Request 其实底层就是封装的urllib3,它的文档非常的完备,完全可以支持现在的网络需要,可以在python3完运行

Request中文文档 API : 点击打开链接

安装

pip  install requests

liunx

基本GET请求(headers参数 和 parmas参数)

1. 最基本的GET请求可以直接用get方法

  1. response = requests.get('http://www.baidu.com/')
  2. # 也可以这么写
  3. # response = requests.request('get', 'http://www.baidu.com/')

2. 添加 headers 和 查询参数

如果想添加 headers,可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递,可以利用 params 参数

  1. import requests
  2. kw = {'wd':'北京'}
  3. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
  4. # params 接收一个字典或者字符串的查询参数,字典类型自动转换为url编码,
  5. response = requests.get('http://www.baidu.com/?', params = kw, headers = headers)
  6. # 查看响应内容,response.text 返回的是Unicode格式的数据
  7. print (response.text)
  8. # 查看响应内容,response.content返回的字节流数据
  9. # print (respones.content)
  10. # 查看完整url地址
  11. print(response.url)
  12. # 查看响应头部字符编码
  13. print(response.encoding)
  14. # 查看响应码
  15. print(response.status_code)

第一行代码使我们引入这个类库,你可能会问 kw 和headers 是什么?为什么叫这个? 它是我们访问服务器需要携带的一些参数,就像你向一个朋友发消息问问题。你带着你的问题,说明你是谁,让你朋友知道你想要干什么的。所以我们将这些参数放到我们的请求参数里面去,requests.get()就是指的我们发送的是get请求 。外边的名字,至于名字你爱叫什么叫什么,不过是传参数到requests.get(params=xx, header=xx)里面去的时候,你要按照规则来。至于返回时候response.text  和response.content  有什么区别,简单说,取文本可以用text 取图片视频等我们用content字节流数据

运行结果:

  1. ......
  2. ......
  3. 'http://www.baidu.com/s?wd=%E9%95%BF%E5%9F%8E'
  4. 'utf-8'
  5. 200

基本POST请求(data参数)

2. 传入data数据

对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

  1. import requests
  2. formdata = {
  3. 'type':'AUTO',
  4. 'i':'i love python',
  5. 'doctype':'json',
  6. 'xmlVersion':'1.8',
  7. 'keyfrom':'fanyi.web',
  8. 'ue':'UTF-8',
  9. 'action':'FY_BY_ENTER',
  10. 'typoResult':'true'
  11. }
  12. url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null'
  13. headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}
  14. response = requests.post(url, data = formdata, headers = headers)
  15. print (response.text)

是不是非常的简单。

代理(proxies参数)

如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求:

  1. import requests
  2. # 根据协议类型,选择不同的代理
  3. proxies = {'http': 'http://xx.xx.xx.xx:1234'}
  4. response = requests.get('http://www.baidu.com', proxies = proxies)
  5. print (response.text)

你可能又要问了,代理ip有什么用?爬虫是一般是网站最烦的东西了,凭什么你可以随便拿我的数据,对我的服务器增加负载,爬取次数过于频繁的话 对服务器正常运转早成影响。啧啧 这就涉及到了反爬虫,,网站管理人员可能就封你的id禁止你的访问权限,爬取的数据量上升到几万甚至百万甚至更多的的时候,你可能就用代理IP池。有关于反爬虫的一些常见的反爬虫措施 我们后边的课程中会给大家讲解。 莫妖惊慌。。

私密代理验证

私密代理的使用方法(携带用户名字和密码 )

  1. import requests
  2. # 如果代理需要使用HTTP Basic Auth,可以使用下面这种格式:
  3. proxy = { 'http': 'user:passwd@124.88.67.81:80' }
  4. response = requests.get('http://www.baidu.com', proxies = proxy)
  5. print (response.text)

Cookies 和 Session

关于cookies 和session 我建议大家去了解一下, 我们只讲解我们能遇到的

cookie是我们访问服务器的时候, 服务器暂时存在我们浏览器的小数据,他可以记录我们的登录状态,请求是否来自于同一个浏览器等

如果一个请求中包含了cookies的话 我们可以这样拿到

import requests
  1. response = requests.get('http://www.baidu.com/')
  2. # 7. 返回CookieJar对象:
  3. cookiejar = response.cookies
  4. # 8. 将CookieJar转为字典:
  5. cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
  6. print (cookiejar)
  7. print (cookiedic)

在 requests 里,session对象是一个非常常用的对象,这个对象代表一次用户会话:从客户端浏览器连接服务器开始,到客户端浏览器与服务器断开。会话能让我们在跨请求时候保持某些参数,比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

  1. import requests
  2. # 1. 创建session对象,可以保存Cookie值
  3. ssion = requests.session()
  4. # 2. 处理 headers
  5. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
  6. # 3. 需要登录的用户名和密码
  7. data = {'email':'xxxx@xxx.com', 'password':'xxxx'}
  8. # 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
  9. ssion.post('http://www.renren.com/PLogin.do', data = data)
  10. # 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
  11. response = ssion.get('http://www.renren.com/410043129/profile')
  12. # 6. 打印响应内容
  13. print (response.text)

处理HTTPS请求 SSL证书验证

Requests也可以为HTTPS请求验证SSL证书

  1. import requests
  2. response = requests.get('https://www.baidu.com/', verify=True)
  3. # 也可以省略不写
  4. # response = requests.get('https://www.baidu.com/')
  5. print (r.text)

如果SSL证书验证不通过,或者不信任服务器的安全证书,则会报出SSLError

我们来测试一下

  1. import requests
  2. response = requests.get('https://www.12306.cn/mormhweb/')
  3. print (response.text)
SSLError: ('bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)',)

如果我们想跳过 12306 的证书验证,把 verify 设置为 False 就可以正常请求了

r = requests.get('https://www.12306.cn/mormhweb/', verify = False)
(0)

相关推荐

  • 第 56 天:Python 爬虫之 urllib 包基本使用

    urllib 是一个 python 内置包,不需要额外安装即可使用,包里面包含了以下几个用来处理 url 的模块: urllib.request,用来打开和读取 url,意思就是可以用它来模拟发送请求 ...

  • 一起学爬虫(Python) — 02

    一起学爬虫(Python) - 19 年轻人,进来学自动化 今天要学会爬 requests模块 什么是requests模块 如何安装requests模块 怎么用requests模块 实战! reque ...

  • requests模块的入门使用

    requests模块的入门使用 dongge-destiny 2018-07-11 00:10:18  137  收藏 分类专栏: python-爬虫 文章标签: requests模块的入门使用 版权 ...

  • 用 50 行代码写个听小说的爬虫

    来源:Python 技术「ID: pythonall」 在路上发现好多人都喜欢用耳机听小说,同事居然可以一整天的带着一只耳机听小说.小编表示非常的震惊.今天就用 Python 下载听小说 tingch ...

  • Python爬虫学习笔记(三)

    Cookies: 以抓取https://www.yaozh.com/为例 Test1(不使用cookies): 代码: import urllib.request# 1.添加URLurl = &quo ...

  • 教你自己搭建一个ip池(绝对超好用!!!!)

    随着我们爬虫的速度越来越快,很多时候,有人发现,数据爬不了啦,打印出来一看. 不返回数据,而且还甩一句话 是不是很熟悉啊? 要想想看,人是怎么访问网站的? 发请求,对,那么就会带有 request.h ...

  • Python爬虫入门教程(十四):爬取有声小说网站数据

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

  • Python爬虫入门教程:豆瓣Top电影爬取

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理.   基本开发环境 Python 3.6 Pycharm 相关模块的使用 requests p ...

  • Python爬虫入门教程02:笔趣阁小说爬取

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 前文 01.python爬虫入门教程01:豆瓣Top电影爬取 基本开发环境 Python 3 ...

  • Python爬虫入门教程01:豆瓣Top电影爬取

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...

  • Python爬虫入门教程!手把手教会你爬取网页数据

    什么是爬虫? 爬虫就是自动获取网页内容的程序,例如搜索引擎,Google,Baidu 等,每天都运行着庞大的爬虫系统,从全世界的网站中爬虫数据,供用户检索时使用. 爬虫流程 其实把网络爬虫抽象开来看, ...

  • 爬虫入门教程 —— 3

    常用的数据提取工具: 1  xpath   2  BeautifulSoup  3 正则表达式   . 当然了 还有一些 像jsonpath,pyquery等 为什么要用这些解析工具? 怎么使用?(下 ...

  • 爬虫入门教程 —— 1

    爬虫入门教程 -1 很想做一些爬虫的基础性的教程,来与大家共同分享我的一些小经验, 我将以我认为的方式为大家讲解网络爬虫,如果你没有编程基础,对网络爬虫有兴趣,开始可能稍微有一些小难度,不过我希望能给 ...

  • Python爬虫入门教程:超级简单的Python爬虫教程

    这是一篇详细介绍 Python 爬虫入门的教程,从实战出发,适合初学者.读者只需在阅读过程紧跟文章思路,理清相应的实现代码,30 分钟即可学会编写简单的 Python 爬虫. 这篇 Python 爬虫 ...

  • 易车网实战 【保姆级】:Feapder爬虫框架入门教程

    大家好,我是辰哥! 今天辰哥带大家来看看一个爬虫框架:Feapder,看完本文之后,别再说你不会Feapder了.本文辰哥将带你了解什么是Feapder?.如何去创建一个Feapder入门项目(实战: ...