回到自己电脑：本地环境与练习网站

前言

各位童鞋，前 9 章的代码都是在网页里运行的，抓的也都是本站的两点书店。在网页里运行很方便，什么都不用装。可它也有限制：只能抓 learn-py.org 上的网页，不能自己设 User-Agent，而且每次运行最多 5 秒。

所以从这一章开始，咱们回到自己电脑上。在自己电脑上，这些限制就都没有了：requests 能去请求任何网站，能带上自己的请求头，想跑多久就跑多久。不过，本事大了，第 1 章立下的那些规矩，也就更要紧了。

那抓什么网站来练手呢？咱们换成一个专门给初学者练手的公开网站：toscrape。它的首页写得明明白白，自己就是一个给人练习抓取的沙箱。抓它，既能遇到真实网站上的各种情况，又不用担心给谁添麻烦。

还要提前说一句：第一次在自己电脑上装包、配环境，难免会遇到各种报错，比如命令找不到、包装到了别的地方、网络连不上。碰到了别着急，按实战 3 的办法，先看报错的最后一行，再一步一步地排查。环境只要配好一次，以后就都顺了。

学这一章之前，需要先学完 爬虫课第 9 章 ，并且已经按 基础课第 1 章 的说明，在自己电脑上装好了 Python 3.10 或更新的版本。

目录

这一章会学到：

• 一、准备环境——虚拟环境和 pip install
• 二、在自己电脑上跑书店爬虫——同样的代码，原样能跑
• 三、抓一个真实的练习网站——books.toscrape.com
• 四、说明自己是谁——User-Agent
• 五、常见坑
• 六、自己查一次文档——requests 是怎么决定编码的
• 七、小结与回看

学完这一章，你能在自己电脑上配好爬虫的环境，礼貌地抓取一个真实的网站，并处理好编码这类网页里遇不到的问题。

一、准备环境

在自己电脑上写爬虫，第一件事是把环境准备好。先看看电脑上的 Python 版本够不够新。打开终端（Windows 上是「命令提示符」或 PowerShell），输入：

python3 --version

Windows 上一般用 python --version 。只要看到 Python 3.10 或者更高的版本号，就可以了。

版本没问题，接下来给爬虫建一个单独的文件夹，在里面建一个虚拟环境。虚拟环境是什么呢？简单说，就是专门给这个项目准备的一套 Python 包，和电脑上别的项目互不干扰。用下面这三条命令建好它：

mkdir my-crawler
cd my-crawler
python3 -m venv .venv

前两条命令建好文件夹，再进到里面。最后一条 python3 -m venv .venv ，意思是在当前文件夹里，建一个名叫 .venv 的虚拟环境。建好了还不能直接用，接着还得激活它：

source .venv/bin/activate

Windows 上要换成 .venv\Scripts\activate 。激活以后，命令行的前面会多出 (.venv) 这几个字，说明现在用的，就是这个虚拟环境里的 Python 了。

虚拟环境准备好了，最后装上这门课用到的两个包：

python -m pip install requests beautifulsoup4

装好以后，试一试能不能导入：

python -c "import requests, bs4; print(requests.__version__, bs4.__version__)"

能打印出两个版本号，环境就准备好了。

这几步里，有几个地方要说明一下：

• 包的名字叫 beautifulsoup4 ，可导入的时候要写 bs4 ，第 4 章说过。
• 装包用的是 python -m pip ，而不是直接敲 pip 。这样能保证，包装进的就是当前这个 Python。为什么要这样，第五节「常见坑」会讲。
• 每次重新打开终端，都要先 cd 到这个文件夹，再激活一次虚拟环境。
• 基础课第 23 章会讲一个更新的工具 uv ，用它管理环境和包更省事。现在先用 Python 自带的 venv 和 pip 。

环境配好了，先拿上一章写好的书店爬虫来试一试。

二、在自己电脑上跑书店爬虫

在网页里写的爬虫，搬到自己电脑上，还能不能跑？试一试就知道了。

把第 9 章「六、完整的爬虫」里的那段代码，原样存成 bookstore.py ，放在 my-crawler 文件夹里。然后在激活了虚拟环境的终端里，运行它：

python bookstore.py

在自己电脑上运行，输出是这样的：

接口：取到 120 本
校验：第 1 页 20 本全部对得上
已存成 my_bookstore.csv

和在网页里运行的结果一模一样。再看看文件夹，里面多了一个 my_bookstore.csv ，用记事本或者 Excel 都能打开。这回，它是真的存在你的硬盘上了，不会刷新一下页面就没了。

可见，在网页里写的爬虫，几乎不用改，就能在自己电脑上跑。不过，有两个地方，到了自己电脑上应该改一改：

• 停顿时间：fetch() 里的 pause=0.2 设得这么短，是因为网页里每次运行最多只有 5 秒。在自己电脑上没有这个限制，就改成 pause=1 或者更长。
• 说明自己是谁：网页里改不了 User-Agent，在自己电脑上就可以带上了。怎么带，第四节就讲。

顺便说一句：books.csv 也可以不用自己抓，从本站的 练习靶场 直接下载。以后数据分析课在自己电脑上运行时，需要的数据文件也都在那里。

自己写的爬虫，在自己电脑上能跑了。下一节，咱们就去抓一个真正的、别人的网站。