数据清洗：使用Python unicodedata模块一行代码去除文本特殊符号

前言

在收集大量文本语料后，通常需要进行漫长且不断迭代的数据清洗工作。

1. 问题描述

部分文本数据中混入了特殊符号。

这些符号可能源于从富文本编辑器直接粘贴至网页的内容。

若要清除这些特殊符号，需借助专门的处理工具。

2. 相关知识

Unicode标准将符号划分为四大类别，具体包括：

通常情况下，需要清理的是So类型的符号，但具体策略仍需根据实际数据情况而定。

3. 解决方案

数据清洗中可能遇到的符号类型包括：杂项符号、几何形状、箭头、心形、星形、表情Emoji以及货币符号等。

若需删除上述所有类型的符号，可使用以下Python代码。

text = "".join(ch for ch in text if unicodedata.category(ch)[0]!= 'S')

若需单独去除某一类符号，或希望查询特定符号所属的具体类别，可访问以下网站：

https://www.unicode.org/charts/charindex.html

用于查找对应符号的类型信息。

以箭头符号为例进行说明。

首先在该网页搜索“Arrow”，找到纯箭头项“Arrows”，其对应的文档链接为：https://www.unicode.org/charts/PDF/U2190.pdf

找到所需的箭头符号，并查看其名称。

例如：箭头

RIGHTWARDS ARROW，随后利用python提供的unicodedata标准库，查询该符号的类别。

unicodedata.lookup('RIGHTWARDS ARROW')
'→'
unicodedata.category('→')
'Sm'

由此可知，该箭头符号属于Sm类别（数学符号）。

示例：黑色方块

BLACK SQUARE ■ U+25A0

unicodedata.lookup('BLACK SQUARE')
'■'
unicodedata.category('■')
'So'

示例：黑色心形

unicodedata.lookup('BLACK HEART SUIT')
'♥'
unicodedata.category('♥')
'So'

示例：黑色星形

unicodedata.lookup('BLACK FOUR POINTED STAR')
'✦'
unicodedata.category('✦')
'So'

若仅需去除杂项符号，可使用以下Python代码。

text = "".join(ch for ch in text if unicodedata.category(ch) != 'So')

另一个有用的参考网址：

https://www.fileformat.info/info/unicode/category/index.htm

总结

至此，关于数据清洗中如何使用一行Python代码去除文本中各种符号的介绍已完毕。更多Python去除文本符号的相关内容，欢迎搜索本站往期文章或继续浏览后续文章，感谢大家的支持！