动态网页常用的两种数据加载方式ajax和js动态请求
对于静态网页,我们只需要访问对应的URL就可以获得全部的数据了,动态网页则没有这么简单。比如以下网站
http://q.10jqka.com.cn/zjhhy/detail/code/M/
在浏览器中打开,我们可以看到对应的表格数据
在浏览器中,通过翻页按钮,可以查看不同页面的内容
但是你会发现,在翻页的过程中,页面的url并没有发生变化,这说明这个表格中的数据是动态加载的。目前,常用的动态加载技术有以下两种
1. ajax
2. js
通过构建ajax或者js请求,来获得对应的数据。对于这些动态加载的数据,我们就不能只请求网页的url了,而是需要找到上述两种请求的链接,一些简单的动态加载链接,可以通过浏览器的调试工具来快速查找
1. ajax
ajax请求通过network选项中的xhr请求来查找,在上述网站进行翻页,可以看到如下如下所示的ajax请求链接
直接用爬虫或者ajax链接,就可以返回对应的数据了。
2. js动态加载
js请求通过network选项中的js请求来进行查找,在下列网站中,其翻页的数据就是通过js请求来动态加载的
https://finance.sina.com.cn/stock/reportch/jinqilin.shtml
js请求的示例如下
通过分析请求的url规律,可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求,通过浏览器调试工具,可以快速的获取数据。
赞 (0)