BeautifulSoup 基础

前言

上一章，咱们用 find() 和切片，从网页里抠出了一个书名。办法是能用，可是费劲，网页稍微一改，代码就得跟着改。

有没有更省事的办法呢？这一章就请出专门解析 HTML 的工具：BeautifulSoup。它能把一大段 HTML 变成一棵可以随意翻找的树。你只要告诉它「找 class="price" 的标签」，它就把价格交到你手上。而且上一章学的 CSS 选择器，在这里直接就能用。

顺便说一句，BeautifulSoup 这个名字，来自《爱丽丝漫游奇境》里的一首歌。它不是 Python 自带的，在自己电脑上要装 beautifulsoup4 这个包，怎么装第 10 章会讲；在网页里，它已经准备好了。

BeautifulSoup 的方法不少，学的时候别想着一口气全记住。常用的其实就那么几个：find() 、find_all() 、select() 、select_one() 、get_text() 。先把这几个用熟，其他的遇到了再查。

学这一章之前，需要先学完 爬虫课第 3 章 ，认识 HTML 的标签、属性和 CSS 选择器。

目录

这一章会学到：

• 一、把网页交给 BeautifulSoup——第一碗汤
• 二、find() 和 find_all() ——按标签名和属性找
• 三、select() 和 select_one() ——用 CSS 选择器找
• 四、拿到标签以后——取文字、取属性、顺着树找
• 五、常见坑
• 六、自己查一次文档——get_text() 还能怎么用
• 七、小结与回看

学完这一章，你能用 BeautifulSoup 从一个网页里准确地取出想要的文字和链接。

一、把网页交给 BeautifulSoup

BeautifulSoup 到底有多省事？咱们拿上一章硬抠过的那个书名来比一比，用 BeautifulSoup 再取一次：

import requests
from bs4 import BeautifulSoup

html = requests.get('https://learn-py.org/lab/bookstore/books/12/').text
soup = BeautifulSoup(html, 'html.parser')
print(soup.title.get_text())
print(soup.h2.get_text())

输出的结果：

色彩的力量 · 两点书店
色彩的力量

上一章切了好几刀才拿到的书名，这里一行就取出来了。代码里有几样新东西，咱们一行一行地看：

• from bs4 import BeautifulSoup ：包的名字叫 beautifulsoup4 ，导入的时候写 bs4 。
• BeautifulSoup(html, 'html.parser') ：把 HTML 字符串交给它，第二个参数说明用哪个解析器。html.parser 是 Python 自带的，不用另外安装。得到的对象，大家习惯叫它 soup 。
• soup.title ：网页里第一个 <title> 标签。soup.h2 也是同样的道理，是第一个 <h2> 。
• .get_text() ：取出标签里的文字。

soup.标签名 这种写法很方便，可它有两个毛病：一是只能找到第一个，页面上有好几个同名的标签时，后面的就拿不到了；二是没法指定 class。

那么，要找得准，该怎么办呢？这就要用下面几节的方法了。