Windows下Python3环境安装Scrapy框架详细步骤与报错解决

Windows

Scrapy依赖库手动安装步骤

•安装lxml

推荐的最佳安装方式是通过wheel文件进行安装。您可以访问 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 网站，在该页面查找lxml对应的文件。例如，若您的系统为Python3.5版本且运行在Windows 64位环境下，请找到lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl 文件并下载，随后通过pip命令进行安装。

下载完成后，执行以下命令完成安装：

pip3 install wheel
pip3 install lxml‑3.7.2‑cp35‑cp35m‑win_amd64.whl

上述操作即可完成lxml的安装，其他依赖库只需替换对应的文件名即可执行相同操作。

•安装zope.interface

请前往官方网站 https://pypi.python.org/pypi/zope.interface#downloads 下载对应版本的wheel文件，然后使用pip进行安装。例如，针对Python 3.5版本及Windows 64位系统，应下载zope.interface-4.3.3-cp35-cp35m-win_amd64.whl。

随后安装该wheel文件，具体命令如下：

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

对于其他版本，只需替换文件名即可。

•安装pyOpenSSL

从官方网站下载wheel文件，地址为 https://pypi.python.org/pypi/pyOpenSSL#downloads。假设当前最新版本名称为pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后直接安装即可。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

•安装Twisted

同理，请访问 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载wheel文件，并利用pip进行安装。

例如，若使用Python 3.5版本且为Windows 64位系统，请下载

Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl，然后通过pip进行安装。

pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

•安装pywin32

从官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本的安装包并完成安装。

•安装Scrapy

最后一步是安装Scrapy本身，同样使用pip，命令如下：

pip3 install Scrapy


Python 3.6版本常见报错解决方案

ps：下面看下Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录

在安装scrapy时遇到报错，这通常是一个间接错误，由其依赖项引起。

如果您是Python2.X

sudo apt-get install python-dev

如果是python3.6 以下的

sudo apt-get install python3-dev

如果是Python3.6的

sudo apt-get install python3.6-dev

最后一种情况较为特殊，我一直在更新自己的Python3-dev但一直报错，最后猜测竟然真的有Python3.6-dev...心累.

总结

以上所述是小编给大家介绍的Python3环境安装Scrapy爬虫框架过程及常见错误,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对本站网站的支持！ 如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！