Python读取文本并生成词云:数据清洗与去停用词全流程

今天早睡
今天早睡
发布时间:2026-11-17 | 6人浏览过
原创

详细讲解使用Python读取文本并生成词云的完整流程,涵盖文本编码处理、正则数据清洗、jieba精准分词、停用词表构建过滤与WordCloud中文词云渲染配置。

生成高质量中文词云的核心在于“输入文本的纯净度”而非单纯调用绘图库。本文将以模块化方式拆解完整落地路径:从文本读取与字符编码排坑开始,经过正则表达式去除噪声字符、jieba精准中文分词、加载停用词集合过滤虚词,到最后使用 WordCloud 配合中文字体完成可视化输出。通过全流程代码与细节对比,帮助读者掌握从原始杂乱文本到专业词云的规范处理方法。

一、全流程步骤拆解与准备工作

很多初学者在制作词云时,习惯直接把抓取到的网页文本或文档整段丢给 wordcloud 库。这样生成的结果通常充斥着“的”、“了”、“在”、“是”等无意义虚词,或者夹杂大量网页标签、标点符号和单字,导致真正反映主题的核心关键词被淹没。因此,正规的文本词云处理必须包含“读取-清洗-切词-过滤-渲染”五个连贯环节。

Python读取文本并生成词云:数据清洗与去停用词全流程
图 1:Python 文本读取到词云渲染的五步流水线

在开始编码前,需要确保安装了所需的 Python 第三方库。运行以下命令安装:

pip install jieba wordcloud matplotlib

其中,jieba 负责中文分词;wordcloud 负责词云布局与图像生成算法;matplotlib 用于显示或辅助导出高质量图表。

二、文本读取与字符编码避坑

文本读取是所有处理的源头。但在实际操作中,读者最常遇到的第一个绊脚石就是 UnicodeDecodeError。这通常是因为操作系统默认编码与待读取文件的实际编码不匹配造成的。

Windows 系统的默认编码通常是 GBK 或 CP936,而从现代网络、API 或编辑器中导出的文本大多采用 UTF-8。在调用 Python 内置的 open() 函数时,若未显式指定 encoding 参数,程序就会使用系统默认编码尝试解析,从而引发解码崩溃。

def load_text(file_path: str) -> str:
    """安全读取外部文本文件并返回纯文本字符串"""
    try:
        with open(file_path, "r", encoding="utf-8") as f:
            return f.read()
    except UnicodeDecodeError:
        # 兼容处理旧版 Windows 下可能保存为 GBK/GB18030 的文本文件
        with open(file_path, "r", encoding="gb18030", errors="ignore") as f:
            return f.read()
    except FileNotFoundError:
        raise FileNotFoundError(f"未找到目标文件: {file_path}")

在上述实现中,优先采用通用的 utf-8 尝试读取;若捕获到编码异常,则优雅退化为兼容性更广的 gb18030,并配合 errors="ignore" 忽略极少数无法识别的损坏字节。这种做法能保障读取环节平稳运行,避免因几个非标字节直接中断整个分析流水线。

三、数据清洗的关键:从脏文本到纯净词元

获取到原始文本后,千万不要直接调用分词。许多人误以为“分词器会自动忽略无用符号”,这是一个普遍认知误区。分词器的职责是按照词典和统计模型切断词语,它并不会主动替你判定标点、特殊符号、换行符或超链接是否具备分析价值。

未经清洗的文本中通常夹杂着网址(如 http://...)、HTML 实体标签(如  )、多余的标点符号、纯数字以及特殊控制字符。这些噪音会直接混入词元流,不仅浪费计算资源,还会在词云中占据显眼位置。

Python读取文本并生成词云:数据清洗与去停用词全流程
图 2:数据清洗与停用词过滤前后的词云信息纯度对比

实现数据预清洗,最直接有效的方式是结合 Python 的 re(正则表达式)模块。通过正则模式,可以一站式剥离链接、标签及非中文/英文/数字的特殊符号:

import re

def clean_raw_text(text: str) -> str:
    """使用正则表达式清洗原始杂乱文本"""
    # 1. 剔除 URL 链接
    text = re.sub(r"https?://\S+|www\.\S+", "", text)
    # 2. 剔除 HTML 实体或标签
    text = re.sub(r"<.*?>|&[a-zA-Z]+;", "", text)
    # 3. 仅保留汉字、英文字母及空格,其余符号替换为空格
    # 如需保留数字,可改为 [^\u4e00-\u9fa5a-zA-Z0-9]
    text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z]", " ", text)
    # 4. 压缩连续的空白字符为单个空格
    text = re.sub(r"\s+", " ", text).strip()
    return text

四、中文分词与停用词过滤机制

英文文本天然以空格作为单词分隔符,而中文书写是连续不断的字串。要统计中文词频并生成词云,必须通过分词引擎把连续字流精确切分为独立词元。

1. jieba 分词模式选择与自定义词典

jieba 提供了三种常用分词模式:

  • 精确模式(jieba.lcut(text)):试图将句子最精确地切开,适合文本分析与词云绘制,词语无重复重叠。
  • 全模式(jieba.lcut(text, cut_all=True)):把句子中所有可以成词的词语都扫描出来,速度快但冗余度极高,会导致词频虚高,不适合直接做词云。
  • 搜索引擎模式(jieba.lcut_for_search(text)):在精确模式的基础上对长词进一步切分,适合搜索索引,同样不推荐作为词云首选。

如果文本涉及特定行业或专业术语(例如“数据清洗”、“停用词”、“知识图谱”),默认词典可能会把它们切碎成“数据 / 清洗”、“停用 / 词”。为了防止专业术语被肢解,可以在切词前动态添加专有词或载入词典:

import jieba

# 动态添加专有名词,保证其不被拆分
jieba.add_word("数据清洗")
jieba.add_word("停用词")
jieba.add_word("词云图")

2. 停用词表构建与高效过滤

所谓停用词(Stop Words),是指在语言组织中频繁出现、负责语法连接但在表达具体内容上贡献极低的词汇。常见的停用词包括介词、连词、叹词、代词等(如“以及”、“由于”、“然而”、“我们”、“他们”)。此外,分析特定业务文本时,“根据”、“指出”、“表示”、“文章”等通用套话也应归入业务自定义停用词。

Python读取文本并生成词云:数据清洗与去停用词全流程
图 3:中文分词与停用词双重过滤流水线架构

为了达到最佳过滤性能,停用词必须加载至 Python 的 set(集合)数据结构中。如果在 list(列表)中执行 word in stop_words_list,时间复杂度为 \(O(N)\);当文本词元量达到数万或几十万时,查询会变得极其缓慢。而 set 基于哈希表实现,检索复杂度为 \(O(1)\),可实现瞬间过滤。

def load_stopwords(stopwords_path: str = None) -> set:
    """加载停用词集合,支持传入自定义停用词文件路径"""
    # 基础内置停用词表(涵盖常见虚词、副词、标点)
    default_stopwords = {
        "的", "了", "和", "是", "就", "都", "而", "及", "与", "着",
        "或", "一个", "没有", "我们", "你们", "他们", "其", "在", "对",
        "有", "等", "被", "从", "中", "上", "下", "说", "到", "为",
        "也", "把", "让", "给", "但", "去", "又", "得", "这", "那",
        "此", "这些", "那些", "因", "因此", "所以", "如果", "进行"
    }
    
    if stopwords_path:
        try:
            with open(stopwords_path, "r", encoding="utf-8") as f:
                file_words = {line.strip() for line in f if line.strip()}
                default_stopwords.update(file_words)
        except Exception as e:
            print(f"提示:读取自定义停用词文件失败,使用默认停用词集合 ({e})")
            
    return default_stopwords

def segment_and_filter(text: str, stopwords: set) -> list:
    """执行 jieba 精确分词,并过滤停用词与单字碎片"""
    words = jieba.lcut(text, cut_all=False)
    
    clean_words = []
    for w in words:
        w = w.strip()
        # 过滤条件:非空、长度大于1(过滤单个汉字)、且不在停用词表中
        if len(w) > 1 and w not in stopwords:
            clean_words.append(w)
            
    return clean_words
为什么必须显式过滤单个汉字(len(w) > 1)?

汉语中绝大多数具备明确具体语义的名词、动词或专业术语都是双字或多字词组。单个字(如“做”、“看”、“好”、“大”、“新”)往往随语境多变,缺乏独立指示意义。若保留单字,它们的高频出现会抢占大量视觉空间,导致“词”云沦为“字”云。因此,除非进行古汉语或特定韵文分析,现代中文词云中过滤单字是通用且有效的降噪策略。

五、词频统计与词云图生成配置

完成分词与去停用词后,清洗流程已圆满结束。接下来是利用 wordcloud.WordCloud 将纯净的词元列表转化为视觉图像。

1. 中文字体路径配置(彻底解决方块乱码)

这是 Python 绘制中文词云时读者遭遇率第二高的典型故障:生成的词云图上没有任何文字,全是一排排矩形方框(“豆腐块”)。

出现方框的根本原因是:WordCloud 底层默认使用的是无中文字符集的英文字体(DroidSansMono)。在遇到中文字符时,字体库找不到对应的字形轮廓(Glyph),只能降级渲染为缺失字符方块。解决办法非常直接——通过 font_path 参数显式指定系统中的中文字体文件绝对路径:

操作系统 常用系统自带中文字体路径 字体名称
Windows C:/Windows/Fonts/msyh.ttc 或 simhei.ttf 微软雅黑 / 黑体
macOS /System/Library/Fonts/PingFang.ttc 或 /System/Library/Fonts/STHeiti Light.ttc 苹方 / 华文黑体
Linux / Ubuntu /usr/share/fonts/truetype/wqy/wqy-microhei.ttc 文泉驿微米黑

2. 词云核心参数详解与渲染代码

WordCloud 类提供了丰富的参数来调控画布质量与词汇分布:

from collections import Counter
from wordcloud import WordCloud
import matplotlib.pyplot as plt

def generate_wordcloud(word_list: list, output_image_path: str, font_path: str):
    """根据清洗后的词元列表生成高清词云图并保存"""
    # 统计词频(WordCloud 接收以空格拼接的字符串或词频字典均可)
    word_counts = Counter(word_list)
    
    # 实例化 WordCloud 配置对象
    wc = WordCloud(
        font_path=font_path,          # 必须指定中文字体路径,防止方块乱码
        width=1200,                   # 输出图像宽度(像素)
        height=800,                   # 输出图像高度(像素)
        background_color="white",     # 画布背景颜色(如 white, #F7F4ED 等)
        max_words=150,                # 词云呈现的最大词汇数量,避免过密
        max_font_size=160,            # 最大字体大小
        min_font_size=14,             # 最小字体大小
        random_state=42,              # 固定随机种子,确保每次运行排版一致
        colormap="viridis",           # 配色方案,如 viridis, plasma, bone 等
        collocations=False            # 禁用双词搭配统计,防止词汇意外重复
    )
    
    # 基于词频字典拟合词云布局
    wc.generate_from_frequencies(word_counts)
    
    # 保存高清结果图像至磁盘
    wc.to_file(output_image_path)
    print(f"词云图已成功导出至: {output_image_path}")

六、关键步骤排坑与全流程自检清单

为了让读者在实际操作中快速定位问题,我们将全流程中的关键配置要点、易错原因及对应的自检措施总结归纳如下:

Python读取文本并生成词云:数据清洗与去停用词全流程
图 4:词云生成全流程四大核心环节排坑核查清单

七、完整可运行端到端代码

将上述所有模块组合起来,即可得到一份开箱即用、具备高度鲁棒性的完整 Python 脚本。读者只需将脚本保存并在本地准备一个测试文本即可直接运行:

import re
from collections import Counter
import jieba
from wordcloud import WordCloud

def load_text(file_path: str) -> str:
    """第一步:安全读取文本文件"""
    try:
        with open(file_path, "r", encoding="utf-8") as f:
            return f.read()
    except UnicodeDecodeError:
        with open(file_path, "r", encoding="gb18030", errors="ignore") as f:
            return f.read()

def clean_text(raw_text: str) -> str:
    """第二步:正则表达式清洗杂质"""
    text = re.sub(r"https?://\S+|www\.\S+", "", raw_text)
    text = re.sub(r"<.*?>|&[a-zA-Z]+;", "", text)
    text = re.sub(r"[^\u4e00-\u9fa5a-zA-Z]", " ", text)
    text = re.sub(r"\s+", " ", text).strip()
    return text

def segment_and_filter(cleaned_text: str, custom_stopwords: set = None) -> list:
    """第三步与第四步:中文分词与去停用词"""
    # 基础内置停用词
    stopwords = {
        "的", "了", "和", "是", "就", "都", "而", "及", "与", "着",
        "或", "一个", "没有", "我们", "你们", "他们", "其", "在", "对",
        "有", "等", "被", "从", "中", "上", "下", "说", "到", "为",
        "也", "把", "让", "给", "但", "去", "又", "得", "这", "那",
        "此", "这些", "那些", "因", "因此", "所以", "如果", "进行"
    }
    if custom_stopwords:
        stopwords.update(custom_stopwords)

    # 动态添加业务保护词汇,防止被误切
    jieba.add_word("数据清洗")
    jieba.add_word("去停用词")
    jieba.add_word("词云图")

    # 精确切词
    tokens = jieba.lcut(cleaned_text, cut_all=False)

    # 过滤单字与停用词
    filtered_words = [
        w.strip() for w in tokens
        if len(w.strip()) > 1 and w.strip() not in stopwords
    ]
    return filtered_words

def render_wordcloud(words: list, output_path: str, font_path: str):
    """第五步:词频汇总与词云渲染保存"""
    word_counts = Counter(words)
    if not word_counts:
        print("警告:清洗过滤后无有效词汇,无法生成词云。")
        return

    wc = WordCloud(
        font_path=font_path,
        width=1200,
        height=800,
        background_color="white",
        max_words=120,
        max_font_size=150,
        random_state=42,
        colormap="viridis",
        collocations=False
    )
    wc.generate_from_frequencies(word_counts)
    wc.to_file(output_path)
    print(f"处理完成!词云已成功保存至: {output_path}")

# ================= 业务调用示例 =================
if __name__ == "__main__":
    # 配置路径
    INPUT_TXT = "sample_data.txt"
    OUTPUT_PNG = "clean_wordcloud.png"
    
    # 根据读者自己的操作系统选择对应字体路径
    # Windows 示例: "C:/Windows/Fonts/msyh.ttc"
    # macOS 示例: "/System/Library/Fonts/PingFang.ttc"
    # Linux 示例: "/usr/share/fonts/truetype/wqy/wqy-microhei.ttc"
    SYSTEM_FONT = "/System/Library/Fonts/PingFang.ttc"

    # 执行全流程
    print("1. 正在读取文件...")
    raw_content = load_text(INPUT_TXT)

    print("2. 正在进行正则数据清洗...")
    pure_content = clean_text(raw_content)

    print("3. 正在进行中文分词与停用词过滤...")
    clean_word_tokens = segment_and_filter(pure_content)

    print("4. 正在生成并保存词云...")
    render_wordcloud(clean_word_tokens, OUTPUT_PNG, SYSTEM_FONT)

遵循上述标准流程,无论是处理爬虫采集的几百页网页数据,还是对上千条用户评论进行主题提取,都能高效剔除冗余干扰,精准提炼出最具信息密度的核心关键词云图。

相关专题:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表