动态网页常用的两种数据加载方式ajax和js动态请求

对于静态网页,我们只需要访问对应的URL就可以获得全部的数据了,动态网页则没有这么简单。比如以下网站

http://q.10jqka.com.cn/zjhhy/detail/code/M/

在浏览器中打开,我们可以看到对应的表格数据

在浏览器中,通过翻页按钮,可以查看不同页面的内容

但是你会发现,在翻页的过程中,页面的url并没有发生变化,这说明这个表格中的数据是动态加载的。目前,常用的动态加载技术有以下两种

1. ajax

2. js

通过构建ajax或者js请求,来获得对应的数据。对于这些动态加载的数据,我们就不能只请求网页的url了,而是需要找到上述两种请求的链接,一些简单的动态加载链接,可以通过浏览器的调试工具来快速查找

1. ajax

ajax请求通过network选项中的xhr请求来查找,在上述网站进行翻页,可以看到如下如下所示的ajax请求链接

直接用爬虫或者ajax链接,就可以返回对应的数据了。

2. js动态加载

js请求通过network选项中的js请求来进行查找,在下列网站中,其翻页的数据就是通过js请求来动态加载的

https://finance.sina.com.cn/stock/reportch/jinqilin.shtml

js请求的示例如下

通过分析请求的url规律,可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求,通过浏览器调试工具,可以快速的获取数据。

·end·
(0)

相关推荐

  •  用python爬取东方财富网网页信息

    自学Python已有3个月之多,浏览无数大神的佳作,收获颇丰.当初自学python就是为了学习爬虫,爬取网站上好看妹子的图片--[流口水][流口水] 言归正传,近期学习量化交易知识,发现东方财富网(e ...

  • Python爬虫入门,快速抓取大规模数据(第四部分)

    如果没有读过前两部份的读者,建议先看前面几部份: 当前大部分网站都使用JS动态的加载内容,浏览器执行JS并生成网页内容.因为Python的requests库不会像浏览器一样执行JS,所以抓取到的内容并 ...

  • 静态网页和动态网页

    本节我们了解一下静态网页和动态网页的相关概念.如果您熟悉前端语言的话,那么您可以快速地了解本节知识. 当我们在编写一个爬虫程序前,首先要明确待爬取的页面是静态的,还是动态的,只有确定了页面类型,才方便 ...

  • TF之RNN:TF的RNN中的常用的两种定义scope的方式get_variable和Variable

    TF之RNN:TF的RNN中的常用的两种定义scope的方式get_variable和Variable 输出结果 代码设计 # tensorflow中的两种定义scope(命名变量)的方式tf.get ...

  • 变频器控制电机运行最常用的两种方式

    当变频器主电路接好电源线之后,要控制电动机的运行,还需要给有关端子接上外围接控制电路,并且将变频器的启动方式参数设为外部操作模式. 变频器控制电动机运转,常见的有两种方式,分别是开关控制方式和继电器控 ...

  • “姐”字常用的两种写法你注意过吗?小学语文硬笔书法课详细讲解

    “姐”字常用的两种写法你注意过吗?小学语文硬笔书法课详细讲解

  • 【妙!鼻炎常用的两种中成药,好用又实惠】...

    [妙!鼻炎常用的两种中成药,好用又实惠]   1.风寒袭肺型鼻炎  症状表现:鼻塞流涕,涕多清水,鼻痒打喷嚏或感觉嗅觉失灵,局部检查,鼻甲肥大红肿,黏膜充血,呈急性鼻炎现象.或有上呼吸道症状,发热恶寒 ...

  • (暖通空调)地下车库常用的两种通风排烟系统对比

    目前,地下车库项目的特点主要是密闭性高和建筑面积普遍较大,在施工要求与消防设计越来越严格的情况下,如何能减小汽车尾气中的有害气体的浓度,并减少车库设备运行和建造成本费用,同时还要满足设计规定的消防排烟 ...

  • 妙!鼻炎常用的两种中成药

    现在鼻炎的人啊越来越多,鼻炎虽然不是什么大病,但也挺烦人的. 很多有鼻炎的人,早晨起床第一件事不是去卫生间,而是找卫生纸擤鼻涕,有时一个早上半捆纸都不够用.出门在外,袋子里一定要塞满纸巾,否则一旦鼻炎 ...

  • 冬天,常用这两种食材煮汤,滋阴润燥,养颜排毒,清爽又好喝

    大骨汤是极传统的美味靓汤.苦瓜的加入,对于不爱苦瓜的朋友来说,可能会有些难以接受,但是尝一口之后,你就能知道它与你想象的不一样.苦瓜不仅没有使汤变苦,还赋予了汤排毒养颜的功效.苦瓜清凉,有清热解毒的功 ...

  • 地下车库常用的两种通风排烟系统对比210611

    目前,地下车库项目的特点主要是密闭性高和建筑面积普遍较大,在施工要求与消防设计越来越严格的情况下,如何能减小汽车尾气中的有害气体的浓度,并减少车库设备运行和建造成本费用,同时还要满足设计规定的消防排烟 ...

  • 爱出汗竟与糖毒损络有关? 两种药膳加两宝,通经达络,防糖毒!

    糖尿病 有糖尿病和高血压病史的刘叔叔因为急性心梗倒地死亡了,但是奇怪的是:心梗常见的胸痛.背痛.牙痛等症状并没有出现在刘叔叔身上,他竟然感觉不到任何疼痛,那么为什么就算是发生心梗,刘叔叔也毫无感觉呢? ...