Python jieba分词安装与中文显示异常排查指南

本文介绍Python中jieba中文分词工具在实际应用时可能遇到的常见问题及其对应的解决策略，供读者参考借鉴。

jieba是Python生态中表现优异的分词库，具备分词、词性标注、关键词提取及用户自定义词典等功能。在近期对该工具的研究与部署过程中，笔者遭遇了一些安装与运行层面的障碍，现将相关处理经验整理分享。

项目官方仓库地址：https://github.com/fxsjy/jieba

1、安装步骤。

根据官方文档指引，存在三种主要的安装路径：

第一种为全自动安装：执行easy_install jieba或pip install jieba命令。然而在实际操作中，并未发现该方式能提供有效的安装程序支持。

第二种为半自动安装：首先从http://pypi.python.org/pypi/jieba/ 下载源码包，解压后在cmd命令行中执行python setup.py install。此处需特别注意，系统默认可能无法直接识别python命令，必须将该Python解释器的路径添加至环境变量path中方可执行。经测试此方法可行，但安装完成后，jieba功能仅在Python自带的IDLE环境中可用。若在集成PyDEV插件的MyEclipse环境中尝试import jieba，则会执行失败，因此需继续探索第三种方案。

第三种为手动安装：将jieba目录放置于当前项目目录或site-packages目录下。具体操作是将下载的jieba-0.30.zip解压，获取其中的jieba文件夹（注：原文提及jibba疑似笔误，此处指代jieba目录），将其复制至与Python脚本相同的位置。完成此操作后，程序中即可成功执行import jieba导入语句。

2、分词功能实现细节。

官方文档提供了基础的分词用法示例：

#encoding=utf-8
import jieba
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print "Full Mode:", "/ ".join(seg_list) # 全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print "Default Mode:", "/ ".join(seg_list) # 精确模式
seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
print ", ".join(seg_list)
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式
print ", ".join(seg_list)

代码虽然可以执行，但在MyEclipse环境中输出的中文结果表现为Unicode编码格式，这不符合常规预期。

然而，继续执行另一段涉及词性标注的示例代码时，输出结果却完全正常：

import jieba.posseg as pseg
words = pseg.cut("我爱北京天安门")
for w in words:
  print w.word, w.flag

基于此差异，笔者深入分析了jieba的源代码。发现在jieba/__init__.py文件（负责分词逻辑）的第209行（cut函数内部）存在一段用于检查字符编码的代码块：

if not isinstance(sentence, unicode):
  try:
   sentence = sentence.decode('utf-8')
  except UnicodeDecodeError:
   sentence = sentence.decode('gbk','ignore')

而在jieba/posseg/__init__.py文件（负责词性标注逻辑）的第158行（cut函数）中，并未发现类似的编码检查代码。据此推测，前者的编码检查逻辑可能导致了乱码现象，而后者因无此检查所以显示正常。笔者尝试注释前者的编码检查代码，结果程序运行报错；随后恢复原始源码，中文显示随即恢复正常。

具体运行效果如下图所示：

上述案例仅针对固定的中文字符串变量进行了分词和词性标注测试。在后续文章中，笔者计划进一步尝试从外部文件读取中文文本并进行相应的分词与词性标注操作。

如需了解更多Python相关知识，建议查阅本站系列教程：《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程》。

希望本文所述的排查思路与解决方案能对从事Python程序设计的读者有所帮助。