C# 自动检测文本文件编码的方法与示例

实现原理与核心逻辑

不同编码的文件在头部通常包含特定的“签名”字节序列（Signature），也称为 BOM（Byte Order Mark）。通过读取文件的前几个字节，并将其与已知编码的特征码进行比对，即可快速确定编码类型。对于没有 BOM 的 UTF-8 文件，则需进一步分析字节的合法性。

第1步：定义基础编码检测类

目的： 创建一个可复用的辅助类 TxtFileEncoder，提供针对文件路径和文件流的多种重载方法，以简化调用。

操作： 创建静态类，包含获取文件编码的核心方法。

public class TxtFileEncoder
{
    public TxtFileEncoder()
    {
    }

    /// <summary>
    /// 取得一个文本文件的编码方式。如果无法在文件头部找到有效的前导符，Encoding.Default将被返回。
    /// </summary>
    public static Encoding GetEncoding(string fileName)
    {
        return GetEncoding(fileName, Encoding.Default);
    }

    /// <summary>
    /// 取得一个文本文件流的编码方式。
    /// </summary>
    public static Encoding GetEncoding(FileStream stream)
    {
        return GetEncoding(stream, Encoding.Default);
    }
}

第2步：检测带 BOM 的标准编码

目的： 读取文件流前4个字节，匹配常见的 BOM 标记以区分 UTF-8、Unicode LE 和 Unicode BE。

参数说明：

• byte1 - byte4：文件起始的四个字节数据。
• 0xEF, 0xBB, 0xBF：UTF-8 的 BOM 标识。
• 0xFF, 0xFE：Unicode (Little Endian) 的 BOM 标识。
• 0xFE, 0xFF：Unicode (Big Endian) 的 BOM 标识。

/// <summary>
/// 取得一个文本文件的编码方式。
/// </summary>
public static Encoding GetEncoding(string fileName, Encoding defaultEncoding)
{
    FileStream fs = new FileStream(fileName, FileMode.Open);
    Encoding targetEncoding = GetEncoding(fs, defaultEncoding);
    fs.Close();
    return targetEncoding;
}

public static Encoding GetEncoding(FileStream stream, Encoding defaultEncoding)
{
    Encoding targetEncoding = defaultEncoding;
    if (stream != null && stream.Length >= 2)
    {
        byte byte1 = 0, byte2 = 0, byte3 = 0, byte4 = 0;
        long origPos = stream.Seek(0, SeekOrigin.Begin);
        
        int nByte = stream.ReadByte();
        byte1 = Convert.ToByte(nByte);
        byte2 = Convert.ToByte(stream.ReadByte());
        if (stream.Length >= 3) byte3 = Convert.ToByte(stream.ReadByte());
        if (stream.Length >= 4) byte4 = Convert.ToByte(stream.ReadByte());

        // 判断 Unicode BE
        if (byte1 == 0xFE && byte2 == 0xFF)
            targetEncoding = Encoding.BigEndianUnicode;
        // 判断 Unicode LE (且排除 UTF-8 的情况)
        else if (byte1 == 0xFF && byte2 == 0xFE && byte3 != 0xFF)
            targetEncoding = Encoding.Unicode;
        // 判断 UTF-8
        else if (byte1 == 0xEF && byte2 == 0xBB && byte3 == 0xBF)
            targetEncoding = Encoding.UTF8;

        // 恢复指针位置，方便后续读取
        stream.Seek(origPos, SeekOrigin.Begin);
    }
    return targetEncoding;
}

第3步：增强对无 BOM 的 UTF-8 的支持

目的： 许多现代编辑器保存的 UTF-8 文件不带 BOM。通过校验字节序列是否符合 UTF-8 的多字节编码规则（首字节高位为1，后续字节均为10xxxxxx），可以准确识别此类文件。

重要参数： IsUTF8Bytes 方法用于验证字节数组是否符合 UTF-8 规范。

/// <summary>
/// 通过给定的文件流，判断文件的编码类型（兼容无BOM UTF-8）
/// </summary>
public static System.Text.Encoding GetEncoding(Stream fs)
{
    byte[] Unicode = new byte[] { 0xFF, 0xFE, 0x41 };
    byte[] UnicodeBIG = new byte[] { 0xFE, 0xFF, 0x00 };
    byte[] UTF8 = new byte[] { 0xEF, 0xBB, 0xBF }; 
    Encoding reVal = Encoding.Default;

    BinaryReader r = new BinaryReader(fs, System.Text.Encoding.Default);
    byte[] ss = r.ReadBytes(4); // 读取前4个字节

    if (ss[0] == 0xFE && ss[1] == 0xFF && ss[2] == 0x00)
        reVal = Encoding.BigEndianUnicode;
    else if (ss[0] == 0xFF && ss[1] == 0xFE && ss[2] == 0x41)
        reVal = Encoding.Unicode;
    else
    {
        if (ss[0] == 0xEF && ss[1] == 0xBB && ss[2] == 0xBF)
            reVal = Encoding.UTF8;
        else
        {
            // 尝试检测无BOM的UTF-8
            int length = (int)fs.Length;
            byte[] data = r.ReadBytes(length); // 读取剩余所有内容进行检测
            if (IsUTF8Bytes(data))
                reVal = Encoding.UTF8;
        }
    }
    r.Close();
    return reVal;
}

private static bool IsUTF8Bytes(byte[] data)
{
    int charByteCounter = 1; 
    byte curByte;
    for (int i = 0; i < data.Length; i++)
    {
        curByte = data[i];
        if (charByteCounter == 1)
        {
            if (curByte >= 0x80)
            {
                // 计算当前字符占据的字节数
                while (((curByte <<= 1) & 0x80) != 0)
                {
                    charByteCounter++;
                }
                // 首位若为非0，则至少以2个1开始
                if (charByteCounter == 1 || charByteCounter > 6)
                    return false;
            }
        }
        else
        {
            // UTF-8 续字节第一位必须为 10
            if ((curByte & 0xC0) != 0x80)
                return false;
            charByteCounter--;
        }
    }
    if (charByteCounter > 1)
        throw new Exception("非预期的byte格式!");
    return true;
}

使用场景与注意事项

应用场景： 该方案特别适用于批量导入外部 CSV、TXT 数据文件（如微信支付后台导出报表），这些文件往往由不同系统生成，编码可能为 ANSI (GB2312)、UTF-8 甚至 Excel 默认的 Unicode。
结果判断： 调用 GetEncoding(