Python Selenium的下载和安装

Selenium是一个用于测试Web应用程序的自动化测试工具,它直接运行在浏览器中,实现了对浏览器的自动化操作,它支持所有主流的浏览器,包括IE,Firefox,Safari,Chrome等。

Selenium支持所有主流平台(如,Windows、Linux、IOS、Android、Edge、Opera等),同时,它也实现了诸多自动化功能,比如软件自动化测试,检测软件与浏览器兼容性,自动录制、生成不同语言的测试脚本,以及自动化爬虫等。本节及后续两节主要围绕自动化爬虫展开讲解。

Selenium提供了一个工具集,包括SeleniumWebDriver(浏览器驱动)、SeleniumIDE(录制测试脚本)、SeleniumGrid(执行测试脚本)。后面两个主要用于测试脚本的录制、执行,因此不做介绍。我们只对SeleniumWebDriver做重点讲解。

关于SeleniumIDE/Grid的相关知识可参考官网文档https://www.selenium.dev/。

Selenium下载安装

Selenium安装非常简单,Linux、Mac用户执行以下命令即可:

sudo pip install Selenium1复制代码类型:[python]

Windows用户执行以下命令即可实现安装:

python -m pip install selenium1复制代码类型:[python]

除了使用上述命令安装外,您也可以通过官方网站下载SeleniumWebDriver安装包。

安装浏览器驱动

若想使Selenium能够调用浏览器,那么必须通过webdriver驱动来实现。不同的浏览器需要使用不同驱动程序,下面列出了不同浏览器驱动程序的下载地址:

谷歌浏览器chromedrive:http://chromedriver.storage.googleapis.com/index.html

火狐浏览器geckodriver:https://github.com/mozilla/geckodriver/releases

IE浏览器IEDriver:http://selenium-release.storage.googleapis.com/index.html

各种浏览器的驱动安装规程基本一致。不过需要注意:安装Chrome、Firefox驱动时,需要下载与浏览器版本相匹配的驱动程序,否则不能驱动浏览器。而IE较为特殊,您需要下载与Selenium版本相匹配的驱动文件,如下所示:

下面以Windows10平台Chrome浏览器为例讲解。首先检查浏览器版本号,并下载相应驱动文件,然后解压文件,将Chromedriver.exe文件拷贝到Python安装目录的Scripts目录下,最后将其添加到系统环境变量中。使用如下命令可查看Python安装路径:

where python1复制代码类型:[python]

您需要根据自己安装路径进行配置,我的环境变量配置如下:

上述操作完成后,在CMD命令行启动驱动程序,如下所示:

开启成功后,驱动程序会在后台运行。

自动访问百度

编写如下代码,实现自动化访问百度。

# 导入seleinum webdriver接口from selenium import webdriverimport time# 创建Chrome浏览器对象browser = webdriver.Chrome()#访问百度网站browser.get('http://www.baidu.com/')#阻塞3秒time.sleep(3)# 自动退出浏览器browser.quit()1234567891011复制代码类型:[python]

截取了运行中的显示结果,如下所示:

经过上述代测试,说明我们安装的浏览器驱动可以正常工作。SeleniumWebDriver实现了许多操作浏览器功能。比如实现自动点击、自动输入、自动搜索、自动登录等等。

毫不夸张的说,Selenium自动化爬虫是一种万能的爬虫程序,它可以仿照人的样子去打开网站,并拿到你想要的数据,因此你无须在意反爬措施。不过它最致命的缺点就是效率很低,因为每次点击、输入等操作都需要花费一定的时间,因此它仅适用于小批量的数据抓取。

(0)

相关推荐

  • 学透这10个Python爬虫框架,轻松获取一切数据

    就像超市里有卖半成品的菜一样,Python爬虫工具也有半成品,就是Python爬虫框架.就是把一些常见的爬虫功能的代码先写好,然后留下一些借口.当我们在做不同的爬虫项目时,根据项目的实际情况,稍微变动 ...

  • Python之selenium:selenium库的简介、安装、使用方法之详细攻略

    Python之selenium:selenium库的简介.安装.使用方法之详细攻略selenium库的简介Selenium WebDriver的Python语言绑定.selenium包用于从Pytho ...

  • Python实现数据技术|爬虫便可获取免费百度文库付费文档

    相信大家在百度文档中看到了比较合适的文档之后就有了想下载学习一下的想法,但是有些时候文章更多的需要付费下载,针对于文档中能发现语句是分为一个一个的标签中的文本进行输出的.如果你有耐心和任劳任怨的想法, ...

  • 第68天:Selenium 环境配置

    如果你做过 Web 测试的工作,那么你应该明白 Web 测试中最重要的一部分工作就是自动化测试.自动化测试,顾名思义就是让浏览器自动运行,而无需手动操作.这和我们爬虫工作原理有些相似,我们爬虫也需要让 ...

  • Python爬虫入门,快速抓取大规模数据(第四部分)

    如果没有读过前两部份的读者,建议先看前面几部份: 当前大部分网站都使用JS动态的加载内容,浏览器执行JS并生成网页内容.因为Python的requests库不会像浏览器一样执行JS,所以抓取到的内容并 ...

  • 用Python实现小人趣味举牌告白

    是时候找对象了,今天来分享下我觉得很有意思的一个专属告白神器,可以把你想说的话做成各种小人举牌的方式来对你喜欢的那个人告白. 一.安装selenium库 pip install selenium 结果 ...

  • 使用selenium自动化操作浏览器

    selenium借助驱动程序webdriver来驱动相应的浏览器,以最常用的谷歌和火狐浏览器为例,对应的驱动程序如下 1. chromdriver, 谷歌浏览器的驱动程序 2. geckodriver ...

  • selenium+python自动化85-Chrome静默模式(headless)

    前言 selenium+phantomjs可以打开无界面的浏览器,实现静默模式启动浏览器完成自动化测试,这个模式是极好的,不需要占用电脑的屏幕. but...,phantomjs这个坑还是比较多的,并 ...

  • 超越selenium的爬虫神器Pyppeteer

    在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到的就是selenium,但 ...

  • Python编程利器!运行环境:PyCharm下载与安装

    Python编程利器!运行环境:PyCharm下载与安装 原创Python实战0072021-03-01 17:00:00 PyCharm可以跨平台,在Windows.Macos和Linux中都可使用 ...

  • IDM高效率万能多线程下载详细安装教程和使用方法

    使用了IDM插件和脚本之后,真的很香这大大提高了我们电脑的使用效率 但我还没有介绍另一个下载工件.我觉得如果我不写,不知道的人会怀念它.它是著名的互联网下载管理器Internet Download M ...

  • AWCC下载及安装操作方法

    Alienware Command Center(智控中心,后简称AWCC)是外星人和G系列机器所带的一款功能性软件,除了软件自带的各种灯效视觉盛宴之外,还能调节控制Alienware设备的功能. 本 ...

  • Word下载、安装方法

    word是我们最常用的办公软件之一,当然也是微软公司最重要的产品之一,因而Word系列软件的更新升级非常快,现在Word最高版本已经到了2013.不过,笔者是个懒得改变的人,目前使用的Word的版本还 ...

  • 最新版CAD2022软件下载及安装教程

    CAD2022最新版安装包3大优势 一.官方完整版:官方中文完整版,绿色纯净,无任何捆绑插件: 二.激活破解:已提供官方破解激活器,无需你再单独激活破解了,安装破解即可以永久免费使用: 三.一键装机: ...

  • 【PyCharm中文教程 02】PyCharm 社区版下载与安装

    【PyCharm中文教程 02】PyCharm 社区版下载与安装

  • Power BI Desktop的下载、安装

    前段时间有很多朋友说下载Power BI Desktop发现是英文版的,目前这个问题貌似已经改善了,但是,如果要下载32位的,链接还是有点儿问题,故撰此文特以说明.不想看文章而直接下载的,可直接复制以 ...

  • 玩转Wps之下载与安装

    欢迎来到[飘云科技] 分享内容:wps Office 2019的下载与安装 Wps大家应该比较熟悉了,1989来到这个世上,是中国的第一套办公软件,到今年已经31岁了,正是而立之年.下面小编来和您共同 ...

  • spleetergui2.9汉化版|spleetergui2.9中文版下载 附安装教程

    对于玩音乐的小伙伴来说,经常会需要用到伴奏和人声分离,面对复杂的乐器分离软件,需要一定的专业知识才能着手使用,也让小白用户就束手无策了.为此小编带来了spleetergui,这是一款开源的AI人声伴奏 ...