Qt编写区位码gb2312、机内码、国标码————附带详细介绍和编码实现

0 背景

因为需要对发送的汉字数据进行区位码编码，于是查询了如何进行编码。下文是查询笔记和实现总结。

1 了解编码

编码前，首先要了解四个码：ASCII码、机内码、国标码、区位码。

1.1 ASCII码

键盘上数字、字母和符号的单个为字符，组合起来成为字符串。

键盘上所能表示的字符有128个，刚好是2⁷，在7位的最前面补一个0，变成8位（bit），即一个字节（Byte）。每个字符都对应一个8位的二进制编码。

上表为10进制表示的ASCII码表，例如字母A对应的10进制数为65，表示的16进制为41H，即二进制编码：0100,0001。

ASCII码中字符被分成三类：可印刷字符、控制字符、通信字符
  1，可印刷字符：32~126都是可印刷字符。可以打印出来给人看的。
  2，控制字符：127是控制字符，DEL就是键盘上的delete，用于删除。
  3，通信字符：0~32，比如6，ACK，在两个电脑通信时，会一方接到另一方传来的数据时，就会回一个ACK包。

1.2 机内码、国标码、区位码

机内码、国标码、区位码的三者转换关系为：

读取数据编码时：
机内码—>国标码---->区位码
1，把数据按字符串读取，就可以得到机内码；
2，机内码减去8080H(将最高位变为0),就是国标码；
3，国标码再减去32(2020H),就是区位码；

接收数据解码时：
区位码---->国标码—>机内码
1，把区位码加上2020H（区分ASCII码中的通信字符），得到国标码（GB2312-80）；
2，把国标码加上8080H（区分ASCII码中的全部字符），得到 汉字机内码(GB2312)。

1.2.1 区位码

因为ASCII码只能表示英文字母，想表示中文，就需要额外的编码。这里使用的就是区位码（区域位置码）。

区位码中,汉字被分成了94个区域，每个区域有94个位置。就像是坐标一样，区是横坐标，位是纵坐标。

如下面区位码表中，啊的区位码为1601H，即16H是区，01H是位。

关于GB2312字符集的编集如下：
  1，01~09区(682个)：特殊符号、数字、英文字符、制表符等，包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母等在内的682个全角字符；
  2，10~15区：空区，留待扩展；
  3，16~55区(3755个)：常用汉字(也称一级汉字)，按拼音排序；
  4，56~87区(3008个)：非常用汉字(也称二级汉字)，按部首/笔画排序；
  5，88~94区：空区，留待扩展。

1.2.2 国标码（GB 2312-80）

在网络传输过程中：A要给B传输一个数据，如果A传去的数据是用GB2312-80编的，而B读取地方式是用ASCII方式的，GB 2312-80将区位码传过去，当B收到时会先读到区码，因为区码和位码的范围用十进制表示都是0~93，如果此时的区码的十进制是6，那么ASCII对应的6则是ACK，会发现ACK是回包的指示。那么就会出现问题。

为了解决这一问题，将区位码的区码和位码都+32，区码和位码的范围就变成了32-125，而ASCII的通信字符是0到32，就避开了与ASCII中通信字符与控制字符的相同的情况，提高了ASCII和区位码的兼容性。

而这种32~125的区位码就是：国标码（GB2312 -80）

但是国标码是用十六进制表示的，实际上是在区位码的区码和位码分别加上20H(十进制：32)，也就是加上2020H，最后得到了GB 2312-80

1.2.3 汉字机内码（GB 2312）

国标码是为了防止与ASCII的控制字符和通信字符冲突，但是还是会和打印字符发送冲突，因此为了彻底让国标码和ASCII兼容。就再GB 2312-80（国标码）的基础上分别在加上8080H,也就是在区码和位码上再加上128(80H)。最后得到了：汉字机内码，GB 2312就是汉字机内码。

由于ASCII的范围是再0-127，而GB 2312在(128+32=160)160~253(93+160)，因此GB2312与ASCII就不会发生冲突了，使得中国汉字与外国英文兼容了。

最后在计算机内部，使用的就是汉字机内码（GB 2312）。

1.3 GBK和GB2312的区别

收录不同：GB2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；GBK共收入21886个汉字和图形符号。

表示不同：GB2312对任意一个图形字符都采用两个字节表示，并对所收汉字进行了“分区”处理，每区含有94个汉字／符号，分别对应第一字节和第二字节。GBK是采用单双字节变长编码，英文使用单字节编码，完全兼容ASCII字符编码，中文部分采用双字节编码。

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBK大。

2 编码实现

编码后，使用如下工具进行查询和比对：
1，汉字区位码查询网站;
2，在线转换查询网站；
3，在线查询软件；

2.1 QString数据转QByteArray类型

2.1.1 使用QTextCodec

该类的官方使用文档。

注意：QTextcodec在QT6中已经被弃用，取而代之的是QTextCodec（注意大小写）。

头文件：

#include <QTextCodec>
#include <qDebug>
#include <QByteArray>

    QByteArray content = "啊阿埃挨";QByteArray resData = QTextCodec::codecForName("GB2312")->fromUnicode(content);qDebug()<<resData.toHex().toUpper();

输出：

B0A1B0A2B0A3B0A4

2.1.2 使用toLocal8Bit（推荐）

     QString str("啊");QByteArray data = str.toLocal8Bit();//转为本地8bit编码格式,对于windows系统，本地编码格式为GBK，linux系统为UTF-8。qDebug()<<"resData:"<<data.toHex().toUpper();

输出：

B0A1

2.2 QByteArray数据转QString类型

QByteArray content = "啊阿埃挨";
QByteArray resData = QTextCodec::codecForName("GB2312")->fromUnicode(content);
QString strUnicode= QTextCodec::codecForName("GB2312")->toUnicode(resData.data());
qDebug()<<strUnicode;

2.3 测试区位码gb2312

2.3.1 测试代码1（推荐）

     QString str("啊");QByteArray data = str.toLocal8Bit();//获取机内码 ：转为本地8bit编码格式,对于windows系统，本地编码格式为GBK，linux系统为UTF-8。QByteArray resData;char first = data.data()[0] - 0xa0;char second  = data.data()[1] - 0xa0;resData += first;resData += second;QString hexStringHigh = resData.mid(0,1).toHex();QString hexStringLow = resData.mid(1,1).toHex();bool ok;uint decimalHigh = hexStringHigh.toUInt(&ok, 16);uint decimalLow = hexStringLow.toUInt(&ok, 16);qDebug()<<"汉字机内码:"<<data.toHex().toUpper();qDebug()<<"16进制的区位码gb2312:"<<resData.toHex().toUpper();qDebug()<<"10进制的区位码gb2312:"<<decimalHigh<<decimalLow;

输出：

汉字机内码: "B0A1"
16进制的区位码gb2312: "1001"
10进制的区位码gb2312: 16 1

2.3.2 测试代码2

    QString text_str("啊");const char *hanzi=qPrintable(text_str);QByteArray ba(hanzi);char *data = ba.data();char s[3];s[0]='0';s[1]='0';s[2]='0';sprintf(s, "%x", data[0]);QString qstr1 = QString::fromStdString(s);sprintf(s, "%x", data[1]);QString qstr2 = QString::fromStdString(s);QString s1=qstr1.right(2);QString s2=qstr2.right(2);bool ok;int quwei=(s1.toUpper()+s2.toUpper()).toInt(&ok,16)-0xA0A0;QString qstr3=QString::number(quwei,16);qDebug()<<"汉字内码高位:"<<s1;qDebug()<<"汉字内码低位:"<<s2;qDebug()<<"16进制区位码:"<<qstr3;

参考

srhqwe：编码格式说明

涛··:Qt之GB2312\GBK字符与QString转换

wkm956:Qt获取汉字区位码

丁老师的技术随笔:Qt 汉字内码及区位码 提取