Python利用Unicode编码范围识别语言类型与字符分类

Dylan
Dylan
发布时间:2026-10-13 | 1人浏览过
原创

本文提供Python实现根据Unicode编码范围判断字符语言类型的完整代码。通过定义汉字、数字、英文字母及非汉字字符的判断函数,结合全角半角转换与字符串格式化功能,实现将输入字符串按中文、字母和数字进行分离处理,适用于多语言文本的基础分类场景。

本文主要介绍如何使用Python基于Unicode编码范围来识别和判断字符的语言类型,具体实现方案如下。

相关实例代码如下所示:

def is_chinese(uchar): 
"""判断一个unicode是否是汉字""" 
  if uchar >= u'\u4e00' and uchar<=u'\u9fa5': 
    return True 
  else: 
    return False 
 
def is_number(uchar): 
"""判断一个unicode是否是数字""" 
  if uchar >= u'\u0030' and uchar<=u'\u0039': 
    return True 
  else: 
    return False 
 
def is_alphabet(uchar): 
"""判断一个unicode是否是英文字母""" 
  if (uchar >= u'\u0041' and uchar<=u'\u005a') or (uchar >= u'\u0061' and uchar<=u'\u007a'): 
    return True 
  else: 
    return False 
 
def is_other(uchar): 
"""判断是否非汉字,数字和英文字符""" 
  if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)): 
    return True 
  else: 
    return False 
 
def B2Q(uchar): 
"""半角转全角""" 
  inside_code=ord(uchar) 
  if inside_code<0x0020 or inside_code>0x7e: #不是半角字符就返回原来的字符 
    return uchar 
  if inside_code==0x0020: #除了空格其他的全角半角的公式为:半角=全角-0xfee0 
    inside_code=0x3000 
  else: 
    inside_code+=0xfee0 
  return unichr(inside_code) 
 
def Q2B(uchar): 
"""全角转半角""" 
  inside_code=ord(uchar) 
  if inside_code==0x3000: 
    inside_code=0x0020 
  else: 
    inside_code-=0xfee0 
  if inside_code<0x0020 or inside_code>0x7e: #转完之后不是半角字符返回原来的字符 
    return uchar 
  return unichr(inside_code) 
 
def stringQ2B(ustring): 
"""把字符串全角转半角""" 
  return "".join([Q2B(uchar) for uchar in ustring]) 
 
def uniform(ustring): 
"""格式化字符串,完成全角转半角,大写转小写的工作""" 
  return stringQ2B(ustring).lower() 
 
def string2List(ustring): 
"""将ustring按照中文,字母,数字分开""" 
retList=[] 
utmp=[] 
for uchar in ustring: 
if is_other(uchar): 
if len(utmp)==0: 
continue 
else: 
retList.append("".join(utmp)) 
utmp=[] 
else: 
utmp.append(uchar) 
if len(utmp)!=0: 
retList.append("".join(utmp)) 
return retList 

代码总结

上述内容即为本文关于利用Python根据Unicode判断语言类型的完整代码示例,希望能为读者提供实际帮助。若需了解更多相关技术专题,欢迎继续查阅本站其他文章;如有任何疑问或建议,欢迎在评论区留言指正。感谢大家的支持!

相关标签:

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表