字符编码与重定向 — 从 ASCII 到 UTF-8,以及 > 的魔法Copy Anchor Link

这一章讲什么: 两件看似不搭界的事。 第一件:让日文上屏。 字符编码有过一段乱世(日文就有 JIS、Shift-JIS、EUC-JP 三套), Unicode 用一个码点系统统一了字符,UTF-8 用「ASCII 兼容、没有字节序问题」赢下编码方案之争; 但会解码不等于能显示——还得请 FreeType 把 TrueType 矢量字体栅格成点阵。 第二件:重定向。 echo hoge > file 的秘密简单得可爱: 把 stdout 的 fd 换成文件的 fd——第 26 章「一切皆文件」的又一次分红。

1. 先看现象:一行日文、一个大于号Copy Anchor Link

主线例子:

  cat jpn.txt
    → 终端按 UTF-8 逐字节解码出码点 → WriteUnicode(码点)
    → FreeType 从 nihongo.ttf 找字形 → 栅格化成位图 → 日文上屏(不再是 ??)
  echo hoge > piyo
    → 终端解析命令行发现 '>' → open(piyo)(没有就创建空文件)
    → files_[1](stdout)换成文件 fd → printf 照常写,落进了文件
    → 命令结束还原 files_[1];files_[2](stderr)保留给错误信息

2. 顶层全景Copy Anchor Link

  28.1 编码:ASCII 7 位;日文三码并立;Unicode = 码点映射 + 编码方案(UTF-8/16/32);
       UTF-8 的两张王牌;WriteString 内置 UTF-8 解码器
  28.2 字体:TrueType 矢量字体 + FreeType(初始化 → 载入内存字体 → 码点→字形编号
       → 载字形 → 栅格位图 → 画);任务栈 4KiB 被 FreeType 撑爆 → 加大
  28.3 重定向:> 的解析;files_[1] 换 fd;文件存在即截断式使用;
       files_[2] 留给 stderr;用完还原(否则污染下一条命令)

  图说:编码与字体是「理解字形」的两半;重定向是「fd 可替换」的一行兑现。

3. 核心原理Copy Anchor Link

3.1 编码:一张对照表 + 一把写法的钥匙Copy Anchor Link

字符编码 = 两件事:字符↔数值的映射(Unicode 里这个数值叫码点, 如 ♪ = U+266A),以及数值↔字节串的转换方法(编码方案)¹。 ASCII 只到 127;日文曾经 JIS、Shift-JIS、EUC-JP 三分天下,连「切换英文/日文模式」 这种咒语都存在(JIS 的切换标记)——「光是想想我们就头疼」²。 Unicode 用一个系统装下全世界字符;UTF-32(一字符 32 位,简单但 4 倍膨胀)、 UTF-16(16 位 + 代理对,作者直评「难用」)、UTF-8(1–4 字节变长)三选一。 UTF-8 的两张王牌:ASCII 字符编码后与 ASCII 完全相同(旧程序能读、英文不涨体积), 以及没有字节序问题(多字节字符的字节顺序由规范定死)³。 「UTF-8 已成为事实上的全球标准」——MikanOS 跟随⁴。 Terminal::Print/cat 因此重写:WriteString 内嵌一个 UTF-8 解码器(把字节翻译回字符的程序), 逐字符解出码点,交给 WriteUnicode 画——不过当时还没有 0x7F 以上的字体,先解不先画⁵。

3.2 字体:FreeType 把矢量轮廓变成点阵Copy Anchor Link

8×16 点阵只装得下 ASCII;日文上万字符,必须上 TrueType 矢量字体 + FreeType 库⁶。 流程五步:FT_Init_FreeType 初始化 → FT_New_Memory_Face 从内存里的 nihongo.ttf 打开字体 → 经字符映射表把码点翻成字形编号 → FT_Load_Glyph 载字形 → face->glyph->bitmap 里的位图画上屏⁷。 一个真实的坑:FreeType 吃栈太凶,把任务栈 4 KiB 撑爆、系统重启—— 栈大小因此加大⁸。——「库链接进来就能用」的边界,被栈尺寸上了一课。

3.3 重定向:换一个 fdCopy Anchor Link

重定向 = 把标准输出接到终端以外的设备⁹。实现的关键句: 「将 files_[1] 复制为文件描述符,应用将自动输出到该文件」¹⁰。 流程:解析命令行发现 > → 取目标路径,open(不存在则 CreateFile) → files_[1] = 文件 fd → 应用该干嘛干嘛 → 命令结束还原 files_[1] (不还原,重定向会被下一条命令继承)¹¹。 files_2保持指向终端——错误信息不该混进重定向文件; 将来 stderr 也能重定向,错误落文件、正常输出上屏¹²。

4. 作者的判断与证据Copy Anchor Link

判断:跟随事实标准(UTF-8),不自造轮子。 编码之争的评判标准写得具体可核: ASCII 兼容、无字节序、体积不膨胀——三条都指向 UTF-8。

判断:库能链就用,但替库付账。 FreeType 链进来一行没改库代码, 代价是栈溢出——库的隐藏成本(栈、堆、ABI)要付,付完才是「能用」。

证据: cat jpn.txt 出日文(图 28.3);echo/rpn 重定向进文件再 cat 验尸(图 28.4)。

5. 边界与局限Copy Anchor Link

• 只读不写日文:输入侧(键盘→日文)未做;UTF-8 解码器只管显示;
• 字体只有一张 nihongo.ttf,缺字就是方框;
• 重定向只有 >(输出覆盖),追加重定向 >>、输入重定向 < 是习题;
• FreeType 链进内核(不是应用侧)——内核体积与栈成本的权衡选了省事。

6. 可带走的Copy Anchor Link

本章主线例子,一行写完: UTF-8 解码 → WriteUnicode → FreeType 栅格 TrueType → 日文上屏;> 解析 → files_[1] 换文件 fd → 用完还原,stderr 不动。

1. 编码 = 映射(码点) + 方案(字节序/变长);分开谈才不会混;
2. UTF-8 赢在ASCII 兼容 + 无字节序,这是「事实标准」的判据示范;
3. 矢量字体 = 轮廓 + 栅格化;FreeType 管全流程;
4. 库有隐藏成本(栈/堆),链进来之前想想它的资源胃口;
5. 重定向 = fd 替换;stdout 可换、stderr 保留、用完还原;
6. 「一切皆文件」每兑现一次(fd 读键盘、fd 写文件),shell 就少一条特殊规则。

7. 原文地图Copy Anchor Link