使用selenium进行抓取网页的时候,通过 .text() 获取不到文本内容解决办法

原创

楚岚

python3+selenium

2020/12/14 11:26

阅读数 773

本文被收录于专区

软件测试

进入专区参与更多专题讨论

selenium 获取不了标签文本的解决方法,通过driver.find_element_by_xxx().text 为空的解决办法

<a href="http://www.baidu.com">百度</a>

假设当前通过 .text 获取不到文本,那么当前定位的元素可能被隐藏了。

1.判断是否被隐藏:driver.find_element_by_xx().is_displayed()

print(driver.find_element_by_xx().is_displayed() )
  • 打印结果,如果得到 false 或者空白的结果. 那就说明被隐藏了

怎么解决?

is_displayed() 为false的元素,依然可以通过“getAttribute()”方法获取元素的属性.

由于webdriver spec的定义,Selenium WebDriver 只会与可见元素交互,所以获取隐藏元素的文本总是会返回空字符串。

可是,在某些情况下,我们需要获取隐藏元素的文本。这些内容可以使用deiver.find_element_by_xx()..get_attribute('attributeName')来获取。

get_attribute('textContent') 获取元素标签的内容get_attribute('innerHTML') 获取元素内的全部HTMLget_attribute('outerHTML')  获取包含选中元素的HTML
(0)

相关推荐

  • 这样教都不会?还得我亲自出马!

    来源:Python 技术「ID: pythonall」 上次说到了还有别的方法能找到搜索框吗?答案是当然有了.而且为了满足大部分场景,有很多方法可以定位元素.今天就来继续跟大家一起学习下 Python ...

  • selenium基础:元素定位的8种方法

    元素定位一共有8种方法id唯一的name元素的名称class name元素的类名tag name标签,不推荐,重复率太高link text文本链接partial link text对文本链接的一种补充 ...

  • Appium+python自动化28-name定位

    前言 appium1.5以下老的版本是可以通过name定位的,新版本从1.5以后都不支持name定位了 一. name定位报错 1.最新版appium V1.7用name定位,报错: > sel ...

  • python3 selenium 抓取网页多个表格数据,并导入execl中

    python3 selenium 抓取网页多个表格数据,并导入execl中

  • 如何零编程抓取网页数据

    市面上有很多的爬虫软件,如今有很多的爬虫软件,在我尝试之后,我觉得八爪鱼采集器是比较简单的对于我来说, 我给大家操作下 1.首先下载安装 2.安装好后,打开软件,新建任务(填写任务名称 然后下一步) ...

  • Python 抓取网页乱码原因分析

    在用 python2 抓取网页的时候,经常会遇到抓下来的内容显示出来是乱码. 发生这种情况的最大可能性就是编码问题:运行环境的字符编码和网页的字符编码不一致. 比如,在 windows 的控制台(gb ...

  • 集算器 SPL 抓取网页数据

    网站上的数据源是我们进行统计分析的重要信息源.当我们浏览网页,看到自己感兴趣数据内容时,希望能够快速抓取网页上的数据,这对于数据分析相关工作来说极其重要,也是必备的技能之一.但是网络数据抓取大多需要复 ...

  • 怎么用Python写爬虫抓取网页数据

    机器学习首先面临的一个问题就是准备数据,数据的来源大概有这么几种:公司积累数据,购买,交换,政府机构及企业公开的数据,通过爬虫从网上抓取.本篇介绍怎么写一个爬虫从网上抓取公开的数据. 很多语言都可以写 ...

  • 如何利用Matlab抓取网页数据

    %朋友需要做金融方面的分析,要求从网站上下载大量的数据,一个一个复制粘贴太费事.我写了一个简单的网络爬虫,主要用到正则表达式,可以自动下载网页源文件里面的数据. clc; clear; warning ...

  • 如何让Python爬虫一天抓取100万张网页,爬虫抓取网页数据

    前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 王平 源自:猿人学Python PS:如有需要Python学习资料的 ...

  • 怎么抓取网页数据 爬虫技术可以爬取什么数据?

    简而言之,爬虫是一种探测机器.它的基本操作是模拟人类行为,在各种网站上漫步,点击按钮,查看数据,或者背诵你看到的信息.就像一只不知疲倦地在建筑物周围爬行的虫子. 因此,爬虫系统有两个功能: 爬虫数据. ...

  • 如何用Power Query抓取POST请求类网页数据?

    这篇文章我不建议你收藏,因为你不会打开收藏夹.我建议你现在花上5分钟读完这篇文章,用这5分钟,真正掌握一个知识点. 最近才发现,原来抓取BDI和BHSI指数的网站2021年以后没有更新了: 没办法,只 ...