Python数据持久化存储实战：MongoDB与MySQL操作详解
本文详细介绍Python中两种主流数据持久化存储方案：MongoDB与MySQL。通过具体代码示例，讲解如何创建连接对象、建立数据库与集合/表，并执行数据插入操作。同时涵盖使用mysql-Front可视化工具进行建库、建表及字段配置的完整流程，为Python开发者提供实用的数据存储实现参考。
Python数据持久化存储概述
本文详细介绍Python中实现数据持久化存储的具体方法，旨在为读者提供清晰的实践指导。
MongoDB数据存储实现
1、pymongo的使用
主要包含创建连接对象、数据库及集合的前三个步骤。
- 第一步是创建连接对象。
conn = pymongo.MongoClient('IP地址'，27017)- 第二步是创建数据库实例。
db = conn['库名']- 第三步是创建数据集合（表）。
myset = db['集合名']
- 第四步是将具体数据插入到数据库中。
myset.inset.one({})
#!/usr/bin/python
# -*- coding: utf-8 -*-
# @Time : 2019/6/26 8:56
# @Author : #####
# @Site :
# @File : 猫眼电影_mongo存储.py
# @Software: PyCharm
from urllib import request
import re
import time
import pymongo
class MaoyanSpider(object):
def __init__(self):
self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5221.400 QQBrowser/10.0.1125.400'}
#用来计数
self.page=1
#连接对象
self.coon =pymongo.MongoClient('locslhost',27017)
#创建库对象
self.db=self.coon['maoyaodb']
#集合对象
self.myset=self.db['top100']
def get_page(self,url):
req = request.Request(url,headers=self.headers)
res = request.urlopen(req)
html = res.read().decode('utf-8')
self.parse_page(html)
def parse_page(self,html):
p = re.compile( '<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S)
r_list = p.findall(html)
self.write_mongo(r_list)
def write_mongo(self,r_list):
for r_t in r_list:
d={
'电影名称：':r_t[0].strip(),
'电影主演：':r_t[1].strip(),
'上映时间：':r_t[2].strip()
}
#插入数据库
self.myset.inset.one(d)
def work_on(self):
for pn in range(0,41,10):
url = 'https://maoyan.com/board/4?offset=%s' % str(pn)
self.get_page(url)
print('第%d页爬取成功' % self.page)
self.page += 1
time.sleep(4)
if __name__ == '__main__':
begin = time.time()
spider = MaoyanSpider()
spider.work_on()
end = time.time()
print("执行时间%.2f" % (end - begin)) #注不完美，仍然需修改
MySQL数据库操作指南
2、mysql的使用
推荐使用Mysql-front可视化工具来辅助完成建库、建表及添加字段的操作。
1、创建连接对象：db = pymysql.connet
2、创建游标对象：cursor = db.sursor
3、执行SQL命令：cursor.execute()
4、将操作提交至数据库执行。
5、最后关闭连接：cursor.close
mysql-Front可视化工具使用流程
mysql-Front使用流程如下：
1、创建数据库：
操作流程为：localhost--数据库--新建---数据库
将数据库名修改为maoyan（对应项目mysql库名），字符集设置为utf8，点击确定。
2、创建表：
操作流程为：选中maoyan数据库 --选中数据 ----新建 ----出现添加菜单 ---名称改为top100 ---创建成功
3、往表格中添加字段：
操作流程为：选中top100表单 --- 数据库 ----新建 ----字段 ---出现添加界面 ----名称改为name ---默认varchar ---- 长度50 --确定
采用相同的方法创建字段star和time。
ID字段通常设置为int类型，具体长度需视实际情况而定。
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python常见数据库操作技巧汇总》、《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
