Python处理JSON与Redis Hash的常见陷阱及优化指南

Python处理JSON与Redis Hash的常见陷阱及优化指南

首先，在使用MySQLdb从数据库读取数据时，返回的字符串通常是Unicode格式。如果直接将这种数据写入Redis的Hash结构中，会生成如下形式的字符串：

"{u'eth0_outFlow': 2.5, u'eth1_inFlow': 3.44}"

Unicode与字符串转换问题

这种格式无法直接被json.loads解析，因此在写入前必须将Unicode字符串转换为标准的Python字符串（str）。

str(eth0_outFlow)

JSON格式规范性处理

其次，单引号包裹的键值对不符合标准JSON规范，例如：

"{'eth0_outFlow': 2.5, 'eth1_inFlow': 3.44}"

为了使用json.loads()正确解析，需要将其转换为双引号包裹的标准JSON格式。

replace('\'', '"') => '{"eth0_outFlow": 2.5, "eth1_inFlow': 3.44}'

None值与键类型转换

第三，当数据中包含None值时，直接写入Redis Hash会将其转换为字符串'None'，这同样无法被json.loads正确解析为JSON null。

"{'eth0_outFlow': None, 'eth1_inFlow': None}"

replace('\'', '"').replace("None", "null") => '{"eth0_outFlow": null, "eth1_inFlow": null}'

第四，json.loads()解析后，所有的键（key）都会从字符串类型转换为Unicode类型。如果再次写入Redis，会呈现如下状态：

"{u'eth0_outFlow': None, u'eth1_inFlow': None}"

因此，在写入Redis之前，需要确保所有的键都转换回标准的字符串类型。

value = json.loads(cache)
items = value.iteritems()
value = {k.encode('utf8'): v for k, v in items}
redisCli.hmset(key, value)

保持字典顺序与中文编码

第五，如果需要保持字典的插入顺序，可以使用collections模块中的OrderedDict。

from collections import OrderedDict

json.loads(data, object_pairs_hook=OrderedDict)

第六，关于json.dumps输出中文时出现乱码（如\uXXXX）的问题，可以通过设置ensure_ascii=False来解决。

>>> js = json.loads('{"haha": "哈哈"}') 
>>> print json.dumps(js)
{"haha": "\u54c8\u54c8"}
>>> print json.dumps(js, ensure_ascii=False) 
{"haha": "哈哈"}

解码错误处理

7、解码出错，使用json.loads会报错 'utf8' codec can't decode byte ...则使用忽略错误的方法

json.loads(unicode( str, errors='ignore'))

Redis Hash特性与内存优化

第八，需要注意的是，Redis Hash在存储后，所有的键（key）都会自动转换为字符串类型。

第九，在使用Redis时，应尽量减少网络IO操作。在某些场景下，使用Hash结构代替多个Key-Value字符串操作，可以显著提升性能。

第十，当Redis的最大内存（maxmemory）达到设定上限时，Redis会随机删除设置了过期时间（expire）的Key。这一机制曾在调试过程中导致数据意外丢失，耗时良久才排查出来。

Redis Hash与String的性能对比

补充知识：Redis的Hash与String区别

Redis Hash是一个string类型的field和value的映射表。它的添加、删除操作都是 0(1)（平均操作）。

hash 特别 适合用于存储对象。相较于将对象的每个字段存成单个 string 类型（string 类型可以存储对象序列化）。

将一个对象存储在 hash 类型中会占用更少的内存，并且可以更方便的存取整个对象。

（省内存的原因是新建一个 hash 对象时开始是用 zipmap（又称为 small hash）来存储的。

这个 zipmap 其实并不是 hash table，但是 zipmap 相比正常的 hash 实现可以节省不少 hash 本身需要的一些元数据存储开销。

对比软件：Beyond Compare 3

以上这篇浅谈python处理json和redis hash的坑就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持本站。