String.prototype.length 是如何定义的？

length 属性表示 16bit 单元的个数

为什么有些字符占用 16bit

而有些字符占用 32bit

UTF-16 编码与代理对

Unicode 目前共定义了 0x10FFFF 个码点。其中 0x0000 - 0xFFFF 收录了各国语言中最常用的文字和符号，称为基本多语种平面。

0x010000 - 0x10FFFF 称为扩展平面，用来收录使用频率较低的字符。

UTF-16 是一种变长编码。对于基本多语种平面内的码点使用 16 位表示，而对于扩展平面内的码点则需要通过代理对技术使用 32 位来表示。

代理对技术是使用基本多文种平面中预留的 2048 个码位（0xD800 - 0xDFFF），通过 2 个 16bit 位置来表示一个位于扩展平面中字符的技术。

2048 个码位中 0xD800 - 0xDBFF 表示代理对高位，0xDC00 - 0xDFFF 表示代理对低位

转换规则

          // 码点转代理对
          高位 = Math.floor((码点 - 0x010000) / 1024) + 0xD800
          低位 = (码点 - 0x010000) % 1024 + 0xDC00
        

          // 代理对转码点
          码点 = (高位 - 0xD800) * 1024 + (低位 - 0xDC00) + 0x010000
        

JavaScript 中获得字符串的 Unicode 字符数

          function countUnicodeCharacters (str) {
            let result = 0;
            for (let i = 0; i < str.length; i++) {
              const charCode = str.charCodeAt(i);
              if (charCode < 0xDC00 || charCode > 0xDFFF) {
                result ++
              }
            }
            return result;
          }
        

太麻烦？

ECMAScript 2015 String.prototype[@@iterator]()

一个可见字符就对应一个码点吗？

vs.

两个不同的 Unicode 序列表达了相同的含义，我们就说它们是等价的。

Unicode 正规化

将彼此等价的序列转成同一列序的操作被称为 Unicode 正规化（Unicode Normalize）。

正规化得到的序列在 Unicode 标准中称作正规形式。

ES 2015+ 中可以使用 String.prototype.normalize() 方法。

正规形式

• NFD：标准等价分解模式：用尽可能多的字节（byte）来代表字符。
• NFC：标准等价组合模式：用尽可能少的字节（byte）来代表字符。

DEMO

序列 café 的正规形式

🤦‍♂️

其实都是 JavaScript 的锅

Python

          len("🤣")
          // 1

          len("👨‍👩‍👦")
          // 5
        

Swift

          "🤣".count
          // 1

          "👨‍👩‍👦".count
          // 1