超越selenium的爬虫神器Pyppeteer

在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到的就是selenium,但很多时候其实selenium使用起来是不太方便的,例如环境配置,要安装浏览器、下载对应的驱动、安装对应的Python selenium库,而且各个工具的版本还要匹配,大规模部署时就比较麻烦。

下面我们介绍另一个工具-pyppeteer

Pyppeteer简介

pyppeteer是puppeteer的Python版本,而puppeteer是什么呢?puppeteer是Google基于Node.js开发的一个工具,它可以使我们通过JavaScript来控制Chrome浏览器执行一些操作,拥有丰富的API,功能非常强大,因此也可以用于网络爬虫。pyppeteer是一位日本的程序员根据Puppeteer开发的非官方Python版本。

在Pyppeteer中,它操作的是一个类似Chrome的Chromium浏览器,Chromium是相当于Chrome的开发版,是完全开源的,Chrome的所有新功能都会先在Chromium上实现,稳定后才会移植到Chrome上,因此Chromium会包含很多新功能。Pyppeteer就是依赖于Chromium来运行的,当我们第一次运行Pyppeteer的时候,如果Chromium没有安装,那么程序会自动帮我们安装和配置,省去了环境配置这一步。

下面我们详细了解一下Pyppeteer的用法。

安装

因为Pyppeteer采用了async机制,所以必须使用Python 3.5及以上版本。

使用pip安装非常简单:

pip install pyppeteer

使用时直接导入:

import pyppeteer

使用

接下来我们使用豆瓣电影排行榜https://movie.douban.com/chart来作为测试

下面我们用Pyppeteer来试一下,代码如下:

import asynciofrom pyppeteer import launchfrom lxml import etreeasync def main(): browser = await launch() page = await browser.newPage() await page.goto('https://movie.douban.com/chart') await page.waitForXPath('//table//a[@title]') doc = etree.HTML(await page.content()) names = [element.attrib['title'] for element in doc.xpath('//table//a[@title]')] print('Names: ', names) await browser.close()asyncio.get_event_loop().run_until_complete(main())

运行结果:

Names:  ['誓血五人组', '给我翅膀', '黑帮大佬和我的365日', '爱情人偶', '忠贞', '鲁邦三世 The First', '大饿', '火口的两人', '知晓天空之蓝的人啊', '野性的呼唤']

代码的大体意思是访问网站,然后等待//table//a[@title]的节点加载出来,再通过xpath从网页源码中解析出电影名并输出,最后关闭Pyppeteer。具体过程如下:

  • launch 方法新建一个Browser对象,赋值给browser变量,这一步就相当于启动了浏览器
  • 然后browser调用newPage方法相当于新建一个选项卡,并且返回一个Page对象,这一步还是一个空白的页面,并未访问任何页面
  • 然后Page调用goto方法,就相当于访问此页面
  • Page对象调用waitForXpath方法,那么页面就会等待选择器所对应的节点信息加载出来,如果加载出来就立即返回,否则就会持续等待直到超时。这里就比selenium的等待元素加载完毕要清晰的多了。
  • 页面加载完成后再调用content方法,获取渲染出来的页面源代码
  • 最后从页面源码中提取出电影名称

另外当中还用到了asyncio的相关知识,因为Pyppeteer是基于asyncio实现的异步,所以这块知识需要先了解一下。

通过上面这个示例,我们看到Pyppeteer比Selenium要简洁的多,而且环境配置也方便,直接自动帮我们实现了环境配置。接下来我们再尝试设定浏览器窗口大小,并进行网页截图,然后执行一段自定义的JavaScript脚本,代码如下:

import asynciofrom pyppeteer import launchasync def main(): width, height = 1366, 768 browser = await launch() page = await browser.newPage() await page.setViewport({'width': width, 'height': height}) await page.goto('https://movie.douban.com/chart') await page.waitForXPath('//table//a[@title]') await asyncio.sleep(2) await page.screenshot(path='example.png') dimensions = await page.evaluate('''() => { return { width: document.documentElement.clientWidth, height: document.documentElement.clientHeight, deviceScaleFactor: window.devicePixelRatio, } }''') print(dimensions) await browser.close()asyncio.get_event_loop().run_until_complete(main())

执行结果:

{'width': 1366, 'height': 768, 'deviceScaleFactor': 1}

这里我们完成了页面窗口大小的设置、网页截图保存、执行了JavaScript并返回了对应的数据。图片如下:

我们这里是全屏截图,screenshot方法还可以指定保存格式、清晰度、是否全屏、裁剪等。从截图我们可以看到和我们在浏览器中看到的一样,并且在evaluate方法中执行的JavaScript返回了网页的宽高、像素大小比率的值。

今天我们简单介绍Pyppeteer的使用,更加详细的介绍可以在Pyppeteer的官方文档https://miyakogi.github.io/pyppeteer/reference.html中进行查找,不必死记硬背。下一篇我们介绍一些常用的Pyppeteer对象和使用模式。

Python训练营
圈主:Python集结号
134成员
进入圈子
(0)

相关推荐

  • 如何用pyppeteer获取数据,模拟登陆?

    本指南适合0基础的读者一步步练习,从而上手python,有基础的可以快速浏览,了解整个思路即可.   01 安装环境 本指南使用的是python开发环境,先用pip安装pyppeteer库 pytho ...

  • 第102天: Python异步之aiohttp

    什么是 aiohttp?一个异步的 HTTP 客户端\服务端框架,基于 asyncio 的异步模块.可用于实现异步爬虫,更快于 requests 的同步爬虫. 安装 pip install aioht ...

  • 爬虫神器 Pyppeteer 介绍及爬取某商城实战

    重磅干货,第一时间送达 作者:叶庭云,来自读者投稿 编辑:Lemon 出品:Python数据之道 提起 selenium 想必大家都不陌生,作为一款知名的 Web 自动化测试框架,selenium 支 ...

  • 入门爬虫?一文搞定!

    为了感谢大家对"Python客栈"的关注与支持,我们每天会在留言中随机抽取三位粉丝发放6.6元小红包.快来参与吧! 文章分三个个部分 两个爬虫库requests和selenium如 ...

  • Python爬虫入门,快速抓取大规模数据(第四部分)

    如果没有读过前两部份的读者,建议先看前面几部份: 当前大部分网站都使用JS动态的加载内容,浏览器执行JS并生成网页内容.因为Python的requests库不会像浏览器一样执行JS,所以抓取到的内容并 ...

  • pyppeteer对于iframe中的滑块

    import asyncioimport timeimport numpy, randomimport pyppeteerasync def main(): ip = "xxxxxx&quo ...

  • selenium 反爬虫之跳过淘宝滑块验证(2020/8)

    在处理问题的之前,给大家个第一个锦囊! 你需要将chorme更新到最新版版本84,下载对应的chorme驱动 链接:http://chromedriver.storage.googleapis.com ...

  • 爬虫神器PyQuery的使用方法

    苟日新,日日新 对于Python,每天不学新的就觉得这一天没啥意思.如果不温故一下,过几天就又忘了,白学了是一件很没劲的事情.要学新东西,也要温故旧日所学,才能不断进步.很久之前就知道PyQuery库 ...

  • Python网络爬虫神器PyQuery的使用方法

    https://www.jianshu.com/p/770c0cdef481 前言 pyquery库是jQuery的Python实现,能够以jQuery的语法来操作解析 HTML 文档,易用性和解析速 ...

  • 超越YOLOv5!1.3M超轻量,又好又快!目标检测神器来了

    不论你需要通用目标检测.实例分割.旋转框检测,还是行人检测.人脸检测.车辆检测等垂类算法: 不论是精度效果超强,还是超轻量适合在边缘部署的算法: 不论你是学术科研工作者,还是产业开发者: 不论你是刚入 ...

  • 【编程课堂】selenium 祖传爬虫利器

    一些网页,比如微博,只有在登录状态才能进行页面的访问,或者对数据有比较复杂的验证和保护,直接通过网络请求进行登录并获取数据就会比较麻烦.这种时候,就该本篇的主角 selenium 上场了. Selen ...

  • 梦幻西游: 12年前的一件130级神器,灵力属性至今仍无人能超越!

    梦幻西游自从2003年公测开服到现在,几乎每一年都在进行系统优化更新与游戏玩法调整.目前虽然游戏里面被鉴定出来的极品装备越来越多,数量或许比十年前翻了几番,但当年的某些装备至今仍无人能超越,属性面板依 ...

  • 在R里面配置selenium爬虫环境

    普通的爬虫,其实什么编程语言都差不多,因为都是网页的html源代码字符串的解析而已,但是很多网页是具有防止爬虫的功能,就是无法直接获取html源代码字符串,需要通过JavaScript来互动.比如: ...

  • selenium爬虫操作网页(实战篇)

    前面我们遇到了一个爬虫难题:爬虫最怕遇到JavaScript依赖性的动态网页,选择了[在R里面配置selenium爬虫环境](),仅仅是安装和配置好了在R里面使用selenium爬虫,打开一个Java ...