Python 连接 MongoDB 实战：PyMongo 与 MongoEngine 详解

本文将介绍如何在 Python 应用中连接当前主流的 MongoDB（版本 V3.4.0）。主要演示使用 PyMongo（版本 v3.4.0）和 MongoEngine（版本 V0.10.7）进行数据库交互的方法，并对比 SQL 与 NoSQL 数据库的区别。

英文原文:https://realpython.com/blog/python/introduction-to-mongodb-and-python

1、SQL 与 NoSQL 对比

如果您对 NoSQL 概念尚不熟悉，MongoDB 便属于此类数据库。近年来，它在业界越来越受欢迎。NoSQL 数据库提供了与关系型数据库截然不同的数据检索方式和存储功能。

在 NoSQL 出现的几十年间，SQL 数据库曾是开发者构建大型、可扩展系统的唯一选择之一。然而，随着对存储复杂数据结构需求的增加，NoSQL 数据库应运而生，允许开发者存储异构和无结构的数据。

在选择数据库方案时，许多人会问：“SQL 还是 NoSQL？”两者各有优劣，您应根据应用需求选择最适合的一种。以下是两者之间的一些主要区别：

SQL

• 模型基于关系型；

• 数据存储在表中；

• 适用于每条记录类型相同且属性一致的情况；

• 存储规范需预定义结构；

• 添加新属性意味着必须更改整体架构；

• 支持 ACID 事务；

NoSQL

• 模型是非关系型的；

• 可存储 JSON、键值对等（取决于具体的 NoSQL 数据库类型）；

• 并非每条记录都需要具有相同的结构；

• 添加带有新属性的数据时，不会影响其他数据；

• 支持 ACID 事务，具体取决于所使用的 NoSQL 数据库；

• 一致性级别可配置；

• 支持横向扩展；

两种数据库类型之间还有许多其他区别，但上述几点更为重要。根据您的具体情况，SQL 数据库可能是首选，而在其他场景下，NoSQL 则是更明显的选择。选择数据库时，应谨慎权衡各自的优劣势。

NoSQL 的一个优势是存在多种不同类型的数据库，每种都有特定的用例：

• 键值存储：DynamoDB

• 文档存储：CouchDB，MongoDB，RethinkDB

• 列存储：Cassandra

• 数据结构：Redis，SSDB

还有很多其他类型，但以上是较为常见的。近年来，SQL 和 NoSQL 数据库甚至开始融合。例如，PostgreSQL 现在支持存储和查询 JSON 数据，类似于 MongoDB。虽然可以用 Postgres 实现 MongoDB 的部分功能，但仍缺乏 MongoDB 的其他优势（如横向扩容和简洁的界面等）。

2、MongoDB 详解

现在，让我们将视线转移到本文的重点，阐明 MongoDB 的具体情况。

MongoDB 是一个面向文档的开源数据库程序，平台无关。与其他一些 NoSQL 数据库（并非全部！）一样，MongoDB 使用 JSON 结构的文档来存储数据。这使得数据非常灵活，无需预定义 Schema。

一些重要特点包括：

• 支持多种标准查询类型，如匹配()、比较(,)或正则表达式；

• 可存储几乎任何类型的数据，无论是结构化、部分结构化还是多态；

• 要扩展和处理更多查询，只需添加更多机器；

• 高度灵活和敏捷，让您能够快速开发应用程序；

• 作为基于文档的数据库，您可以在单个文档中存储有关模型的所有信息；

• 您可以随时更改数据库的 Schema；

• 许多关系型数据库的功能也可以在 MongoDB 中使用（如索引）。

在运行方面，MongoDB 拥有其他数据库中相当少见的功能：

• 无论您需要独立服务器还是完整的独立服务器集群，MongoDB 都可以根据需要进行扩展；

• MongoDB 还通过在各个分片上自动移动数据来提供负载均衡支持；

• 它具有自动故障转移支持，如果主服务器宕机，新的主服务器将自动启动并运行；

• MongoDB 的管理服务（MMS）可用于监控和备份 MongoDB 的基础设施服务；

• 不同于关系数据库，由于使用内存映射文件，您将节省相当多的 RAM。

虽然起初 MongoDB 似乎是解决我们许多问题的数据库，但它并非没有缺点。MongoDB 的一个常见缺点是缺少对 ACID 事务的支持，尽管 MongoDB 在特定场景下支持 ACID 事务，但并非在所有情况下都支持。在单文档级别，支持 ACID 事务（这是大多数事务发生的地方）。但是，由于 MongoDB 的分布式性质，不支持处理多个文档的事务。

MongoDB 还缺少对自然 join 查询的支持。在 MongoDB 看来：文档意在包罗万象，这意味着，一般来说，它们不需要参考其他文档。在现实世界中，这并不总是有效的，因为我们使用的数据是关系性的。因此，许多人认为 MongoDB 应该被用作一个 SQL 数据库的补充数据库，但是当你使用 MongoDB 时，你会发现这是错误的。

3、PyMongo 使用指南

现在我们已经描述了 MongoDB 是什么，让我们来看看如何在 Python 中实际使用它。由 MongoDB 开发者发布的官方驱动程序 PyMongo，这里通过一些例子介绍，但您也应该查看完整的文档，因为我们无法面面俱到。

当然第一件事就是安装，最简单的方式就是 pip：

pip install pymongo==3.4.0

注:有关更全面的指南，请查看文档的安装/升级页面，并按照其中的步骤进行设置

完成设置后，启动 Python 控制台并运行以下命令：

>>> import pymongo

如果没有提出任何异常就说明安装成功了

建立连接

使用 MongoClient 对象建立连接：

from pymongo import MongoClient
client = MongoClient()

使用上面的代码片段，将建立连接到默认主机（localhost）和端口（27017）。您还可以指定主机和/或使用端口：

client = MongoClient('localhost', 27017)

或者使用 MongoURl 格式：

client = MongoClient('mongodb://localhost:27017')

访问数据库

一旦你有一个连接的 MongoClient 实例，你可以在 Mongo 服务器中访问任何数据库。如果要访问一个数据库，你可以当作属性一样访问：

db = client.pymongo_test

或者你也可以使用字典形式的访问：

db = client['pymongo_test']

如果您的指定数据库已创建，实际上并不重要。通过指定此数据库名称并将数据保存到其中，您将自动创建数据库。

插入文档

在数据库中存储数据，就如同调用只是两行代码一样容易。第一行指定你将使用哪个集合。在 MongoDB 中术语中，一个集合是在数据库中存储在一起的一组文档(相当于 SQL 的表)。集合和文档类似于 SQL 表和行。第二行是使用集合插入数据 insert_one() 的方法：

posts = db.posts
post_data = {
  'title': 'Python and MongoDB',
  'content': 'PyMongo is fun, you guys',
  'author': 'Scott'
}
result = posts.insert_one(post_data)
print('One post: {0}'.format(result.inserted_id))

我们甚至可以使用 insert_one() 同时插入很多文档，如果你有很多的文档添加到数据库中，可以使用方法 insert_many()。此方法接受一个 list 参数：

post_1 = {
  'title': 'Python and MongoDB',
  'content': 'PyMongo is fun, you guys',
  'author': 'Scott'
}
post_2 = {
  'title': 'Virtual Environments',
  'content': 'Use virtual environments, you guys',
  'author': 'Scott'
}
post_3 = {
  'title': 'Learning Python',
  'content': 'Learn Python, it is easy',
  'author': 'Bill'
}
new_result = posts.insert_many([post_1, post_2, post_3])
print('Multiple posts: {0}'.format(new_result.inserted_ids))

你应该看到类似输出：

One post: 584d947dea542a13e9ec7ae6
Multiple posts: [
  ObjectId('584d947dea542a13e9ec7ae7'),
  ObjectId('584d947dea542a13e9ec7ae8'),
  ObjectId('584d947dea542a13e9ec7ae9')
]

注意: 不要担心，你和上面显示不一样。它们是在插入数据时，由 Unix 的纪元，机器标识符和其他唯一数据组成的动态标识。

检索文档

检索文档可以使用 find_one() 方法，比如要找到 author 为 Bill 的记录:

bills_post = posts.find_one({'author': 'Bill'})
print(bills_post)

运行结果:
{
  'author': 'Bill',
  'title': 'Learning Python',
  'content': 'Learn Python, it is easy',
  '_id': ObjectId('584c4afdea542a766d254241')
}

您可能已经注意到，这篇文章的 ObjectId 是设置的_id，这是以后可以使用唯一标识。如果需要查询多条记录可以使用 find() 方法：

scotts_posts = posts.find({'author': 'Scott'})
print(scotts_posts)

结果:
<pymongo.cursor.Cursor object at 0x109852f98>

他的主要区别在于文档数据不是作为数组直接返回给我们。相反，我们得到一个游标对象的实例。这 Cursor 是一个包含相当多的辅助方法，以帮助您处理数据的迭代对象。要获得每个文档，只需遍历结果：

for post in scotts_posts:
  print(post)

4、MongoEngine

虽然 PyMongo 是非常容易使用，总体上是一个伟大的轮子，但是许多项目使用它都可能太低水平。简而言之，你必须编写很多自己的代码来持续地保存，检索和删除对象。PyMongo 之上提供了一个更高的抽象一个库是 MongoEngine。MongoEngine 是一个对象文档映射器（ODM），它大致相当于一个基于 SQL 的对象关系映射器（ORM）。MongoEngine 提供的抽象是基于类的，所以你创建的所有模型都是类。虽然有相当多的 Python 的库可以帮助您使用 MongoDB，MongoEngine 是一个更好的，因为它有一个很好的组合的功能，灵活性和社区支持。

使用 pip 安装:

pip install mongoengine==0.10.7

连接:

from mongoengine import *
connect('mongoengine_test', host='localhost', port=27017)

和 pymongo 不同。MongoEngine 需要制定数据库名称。

定义文档

建立文档之前，需要定义文档中要存放数据的字段。与许多其他 ORM 类似，我们将通过继承 Document 类，并提供我们想要的数据类型来做到这一点：

import datetime

class Post(Document):
  title = StringField(required=True, max_length=200)
  content = StringField(required=True)
  author = StringField(required=True, max_length=50)
  published = DateTimeField(default=datetime.datetime.now)

在这个简单的模型中，我们已经告诉 MongoEngine，我们的 Post 实例有 title、content、author、published。现在 Document 对象可以使用该信息来验证我们提供它的数据。

因此，如果我们试图保存 Post 的中没有 title 那么它会抛出一个 Exception，让我们知道。我们甚至可以进一步利用这个并添加更多的限制：

• required：设置必须；

• default：如果没有其他值给出使用指定的默认值

• unique：确保集合中没有其他 document 有此字段的值相同

• choices：确保该字段的值等于数组中的给定值之一

保存文档

将文档保存到数据库中，我们将使用 save() 的方法。如果文档中的数据库已经存在，则所有的更改将在原子水平上对现有的文档进行。如果它不存在，但是，那么它会被创建。

这里是创建和保存一个文档的例子：

post_1 = Post(
  title='Sample Post',
  content='Some engaging content',
  author='Scott'
)
post_1.save()    # This will perform an insert
print(post_1.title)
post_1.title = 'A Better Post Title'
post_1.save()    # This will perform an atomic edit on "title"
print(post_1.title)

调用 save() 的时候需要注意几点:

• PyMongo 将在您调用.save（）时执行验证，这意味着它将根据您在类中声明的模式检查要保存的数据，如果违反模式（或约束），则抛出异常并且不保存数据；

• 由于 Mongo 不支持真正的事务，因此没有办法像在 SQL 数据库中那样“回滚”.save（）调用。

当你保存的数据没有 title 时:

post_2 = Post(content='Content goes here', author='Michael')
post_2.save()

raise ValidationError(message, errors=errors)
mongoengine.errors.ValidationError:
ValidationError (Post:None) (Field is required: ['title'])

向对象的特性

使用 MongoEngine 是面向对象的，你也可以添加方法到你的子类文档。例如下面的示例，其中函数用于修改默认查询集（返回集合的所有对象）。通过使用它，我们可以对类应用默认过滤器，并只获取所需的对象

class Post(Document):
  title = StringField()
  published = BooleanField()

  @queryset_manager
  def live_posts(clazz, queryset):
    return queryset.filter(published=True)

关联其他文档

您还可以使用 ReferenceField 对象来创建从一个文档到另一个文档的引用。MongoEngine 在访问时自动惰性处理引用。

class Author(Document):
  name = StringField()

class Post(Document):
  author = ReferenceField(Author)

Post.objects.first().author.name

在上面的代码中，使用文档”外键”，我们可以很容易地找到第一篇文章的作者。其实还有比这里介绍的更多的字段类（和参数），所以一定要查看文档字段更多信息。 从所有这些示例中，您应该能够看到，MongoEngine 非常适合管理几乎任何类型的应用程序的数据库对象。这些功能使得创建一个高效可扩展程序变得非常容易。如果你正在寻找更多关于 MongoEngine 的帮助，请务必查阅他们的用户指南。