CentOS 7 下 Python 3.5.3 及 Scrapy 依赖环境配置指南
发布时间：2026-10-13 |
3人浏览过
本文记录在 CentOS 系统中从源码编译安装 Python 3.5.3 并配置 Scrapy 爬虫框架依赖包的完整过程。重点解决系统缺失 sqlite3 导致的 Python 编译失败问题，通过手动编译 sqlite3 源码并修改 setup.py 指定路径，成功构建支持数据库操作的 Python 环境，最后列出 fake-useragent、pymysql 等关键依赖包的安装命令。
本地虚拟环境开发完成后，在上线部署阶段需要逐一安装所需的依赖包，现将相关配置步骤记录如下：
在 CentOS 系统中编译安装 Python 3.5.3
wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install
完成 Python 3.5.3 的安装后，为避免影响系统自带的 Python 2.x 版本，需要创建相应的软链接：
#做python3软链 ln -s /usr/local/python353/bin/python3 /usr/local/bin/ #pip3软链 ln -s /usr/local/python353/bin/pip3 /usr/local/bin/
上传项目程序，并开始安装 Scrapy 及其相关依赖包：
#user agent包 pip3 install fake-useragent -i https://pypi.douban.com/simple/ #pymysql包 pip3 install pymysql -i https://pypi.douban.com/simple/ #PooledDB依赖包 pip3 install DBUtils -i https://pypi.douban.com/simple/ #PIL模块依赖包 pip3 install Image -i https://pypi.douban.com/simple/
在 CentOS 系统安装过程中，常遇到一个较为棘手的问题：系统未预装 sqlite3，导致编译或运行时报错。解决该问题的方法是手动下载并安装 sqlite3：
sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
执行编译安装命令：
tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300 ./configure --prefix=/usr/local/sqlite3 make && make install
重新编译 Python，定位到 Python 3.5.3 的源码安装目录，编辑 setup.py 脚本，搜索关键字“sqlite3”：
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', ]
在配置列表的最后一行添加 sqlite3 编译安装的路径，具体配置如下：
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', '/usr/local/sqlite3', ]
重新执行 Python 3.5.3 的编译与安装流程：
./configure --prefix=/usr/local/python353 make && make install
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
