爬虫必备网页解析库——BeautifulSoup详解汇总（含Python代码举例讲解 爬虫实战）

大家好，我是辰哥

本文带大家学习网页解析库BeautifulSoup，

并通过python代码举例讲解常用的BeautifulSoup用法

最后实战爬取小说网页：重点在于爬取的网页通过BeautifulSoup进行解析。

BeautifulSoup库的安装

在使用BeautifulSoup解析库之前，先简单介绍一下BeautifulSoup库并讲解如何安装BeautifulSoup库。

BeautifulSoup的基础概念

BeautifulSoup支持Python标准库中的Html解析器，还支持一些第三方解析器。利用它可以不用编写正则表达式即可方便地实现网页信息的提取。

安装BeautifulSoup

BeautifulSoup的安装其实很简单，下面介绍两种不同的安装方式（适用不同的操作系统）。

    #方式一：pip安装pip install BeautifulSoup4
    #方式二：wheel安装#下载对应系统版本的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibspip install beautifulsoup4-4.9.3-py3-none-any.whl

    方式一，通过pip install BeautifulSoup4命令就可以直接安装；

    方式二，需要通过下载whl文件，再去安装。

    其下载链接为：http://www.lfd.uci.edu/~gohlke/pythonlibs。访问链接后下载beautifulsoup4-4.9.3-py3-none-any.whl。

    BeautifulSoup基本元素

    上述内容讲解了获取到一个BeautifulSoup 对象后，一般通过BeautifulSoup类的基本元素来提取html中的内容。下表中列举了BeautifulSoup的基本元素：

    基本元素见表所示：

    基本元素

    说明

    Tag

    标签，用<>和</>标明开头和结尾

    Name

    标签的名字

    Attributes

    标签的属性

    NavigableString

    标签内非属性字符串

    Comment

    标签内字符串的注释部分

    BeautifulSoup的使用

    通过一个小例子，学习BeautifulSoup 库如何去解析网页并提取数据。首先构造一个html网页数据，再将其解析为BeautifulSoup 对象。

    完整代码如下：

    from bs4 import BeautifulSouptest_html = '''<html>  <body>    <h4>学号</h4>    <ul>       <li>2112001</li>       <li>2112002</li>       <li class='blank'>2112003</li>       <li>2112004</li>    </ul>    <h4>姓名</h4>    <ul class='ul' style='color:red'>        <li>张三</li>        <li>李四</li>        <li>王五</li>        <li>老六</li>    </ul>  </body></html>'''# 把网页解析为BeautifulSoup对象soup = BeautifulSoup(test_html, 'html.parser')
    首先是导入BeautifulSoup库，然后构造一段html源码，最后解析为BeautifulSoup对象。下面通过几个例子进行讲解提取数据。

    提取数据

    #提取首个h4元素
    item = soup.find('h4')
    print(item)
    #提取所有的h4元素
    items = soup.find_all('h4')
    print(items)

    '''
    结果：
    <h4>学号</h4>
    [<h4>学号</h4>, <h4>姓名</h4>]
    '''

    区别：

    （1）find()只提取首个满足要求的数据

    （2）find_all()提取出的是所有满足要求的数据

    精确定位提取数据

    # 查询class为blank的li标签print(soup.find('li',class_='blank'))# ul标签print(soup.ul)# 获取ul标签名字print(soup.ul.name)# ul标签的父标签(上一级标签)的名字print(soup.ul.parent.name)# ul标签的父标签的父标签的名字print(soup.ul.parent.parent.name)'''结果：<li class='blank'>2112003</li>

<ul><li>2112001</li><li>2112002</li><li class='blank'>2112003</li><li>2112004</li></ul>

ulbodyhtml'''
    BeautifulSoup可以通过标签的class、id等属性去定位网页标签，此外还可以通过父级、子级关系去定位。

    实战:抓取不同类型小说

    内容：抓取不同类型小说的书名和链接

    思路：爬虫抓取不同类型的小说网页，并通过BeautifulSoup去解析网页源码，提取出数据

    链接：http://book.chenlove.cn/all/id/18.html

    在浏览器中访问链接其页面如下：

    这里的链接对应的是“奇幻玄幻”类型的小说，点击不同的分类小说，就可以获取到对应的链接。这里以“奇幻玄幻”为例，进行讲解如何去爬取该类别的小说，并通过BeautifulSoup去解析页面。以此类推，只需要更换不同的类型链接，就可以达到抓取不同类型的小说的效果。

    首先分析一下网页源码：

    通过网页源代码可以清楚的知道页面的所有小说都在class为listboxw的div标签里，而每一本小说都在dl标签中，我们需要抓取的小说书名和链接在dl标签下的dd标签中的第一个a标签里面。

    完整代码如下：

    from bs4 import BeautifulSoup
    import requests
    # 设置代理服务器
    headers = {
        'User_Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'}
    #请求连接
    url = 'http://book.chenlove.cn/all/id/18.html'
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        # 转化为utf-8格式，不加这条语句，输出爬取的信息为乱码
        response.encoding = 'utf8'
        # 把网页解析为BeautifulSoup对象
        soup = BeautifulSoup(response.text, 'html.parser')
        for element in soup.find_all(['dl', ['dd']]):
            a = element.find('a')
            if a.string!=None:
                print(a.string)
                print(a.get('href'))
    代码整体思路：先requests请求目标链接，获取到网页源码，然后通过BeautifulSoup去解析源码，最后提取出小说书名和小说链接。因为小说书名和小说链接都在a标签中，所以可以通过a.string去提取书名、a.get('href’)提取小说链接，最后输出结果。

    结果：

    智行斗罗/novel/235.html历劫我是认真的/novel/234.html开局奖励七张人物卡/novel/233.html被召唤到异界的丧尸/novel/232.html........

    最后

    本文汇总BeautifulSoup常用的基本语法，并结合Python进行举例演示

    最后实战讲解BeautifulSoup在爬虫中的应用。

    赞 (0)

    相关推荐