c++ linux utf-8 编码 中文汉字分割(超简单代码)

UTF-8 编码对于英文字母,占用一个字节;
UTF-8 编码对于中文字母,占用多个字节,最大占用6个字节,其中第一个字节二进制的最高位连续1的个数来表示占用字节的个数,例如;
汉字“中”占3个字节

“中” : ‭11100100  10111000  10101101‬ // 最高位连续3个1
“国” : ‭11100101  10011011  10111101‬  // 最高位连续3个1

实现汉字的分割代码:

vector<string> list;
int strSize = str.size();
int i = 0;

while (i < strSize) {
    int len = 1;
    for (int j = 0; j < 6 && (str[i] & (0x80 >> j)); j++) {
        len = j+1;
    }
    list.push_back(str.substr(i, len));
    i += len;
}

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注