2024-12-23 約 1200 字預計閱讀 6 分鐘

Unicode 與 UTF 編碼的關係詳解

前言

在程式設計中，我們經常會遇到 Unicode、UTF-8、UTF-16、UTF-32 這些術語。很多人會混淆它們的概念，甚至認為 Unicode 就是 UTF-8。今天，讓我們徹底理解它們之間的關係。

核心概念

Unicode：字符的身份證系統

Unicode 是一個字符集標準（Character Set），它的核心任務是為世界上每個字符分配一個唯一的編號。

# Unicode 定義了字符與編號的對應關係
print(f"'A' 的 Unicode 編號: U+{ord('A'):04X}")      # U+0041
print(f"'中' 的 Unicode 編號: U+{ord('中'):04X}")    # U+4E2D
print(f"'🌍' 的 Unicode 編號: U+{ord('🌍'):04X}")    # U+1F30D

把 Unicode 想像成一個巨大的表格：

字符	Unicode 編號	十進制值
A	U+0041	65
中	U+4E2D	20013
🌍	U+1F30D	127757

UTF：編號的儲存方案

UTF（Unicode Transformation Format）是編碼方案，定義如何將 Unicode 編號轉換成位元組來儲存。

# 同一個 Unicode 字符，不同的儲存方案
char = '中'  # Unicode: U+4E2D (20013)

utf8_bytes = char.encode('utf-8')      # [228, 184, 173]
utf16_bytes = char.encode('utf-16-be') # [78, 45]
utf32_bytes = char.encode('utf-32-be') # [0, 0, 78, 45]

print(f"Unicode 編號: {ord(char)}")
print(f"UTF-8 儲存: {list(utf8_bytes)}")
print(f"UTF-16 儲存: {list(utf16_bytes)}")
print(f"UTF-32 儲存: {list(utf32_bytes)}")

關係圖解

                    Unicode 標準
                         |
                   定義字符編號
                         |
    ┌────────────────────┴────────────────────┐
    |            需要實際儲存時               |
    |                                        |
    ↓                ↓                      ↓
UTF-8 編碼      UTF-16 編碼            UTF-32 編碼
(1-4 bytes)     (2-4 bytes)            (4 bytes)

詳細對比：以「Hello 世界🌍」為例

讓我們通過一個具體的例子來理解它們的關係：

text = "Hello 世界🌍"

# 第一步：查看每個字符的 Unicode 編號
print("=== Unicode 編號 ===")
for char in text:
    print(f"'{char}': U+{ord(char):05X} (十進制: {ord(char):6d})")

# 第二步：查看不同編碼方案的結果
print("\n=== 編碼結果 ===")
encodings = ['utf-8', 'utf-16-be', 'utf-32-be']
for encoding in encodings:
    encoded = text.encode(encoding)
    print(f"{encoding:10s}: {len(encoded):2d} bytes - {encoded.hex()}")

輸出結果：

=== Unicode 編號 ===
'H': U+00048 (十進制:     72)
'e': U+00065 (十進制:    101)
'l': U+0006C (十進制:    108)
'l': U+0006C (十進制:    108)
'o': U+0006F (十進制:    111)
' ': U+00020 (十進制:     32)
'世': U+04E16 (十進制:  19990)
'界': U+0754C (十進制:  30028)
'🌍': U+1F30D (十進制: 127757)

=== 編碼結果 ===
utf-8     : 16 bytes - 48656c6c6f20e4b896e7958cf09f8c8d
utf-16-be : 18 bytes - 00480065006c006c006f00204e16754cd83cdf0d
utf-32-be : 36 bytes - 0000004800000065000000...0001f30d

UTF-8 編碼詳解

編碼規則

UTF-8 使用 1-4 個位元組來表示不同範圍的 Unicode 編號：

def utf8_encoding_demo():
    # UTF-8 編碼規則
    rules = [
        ("U+0000-U+007F",   "0xxxxxxx",                              "1 byte"),
        ("U+0080-U+07FF",   "110xxxxx 10xxxxxx",                     "2 bytes"),
        ("U+0800-U+FFFF",   "1110xxxx 10xxxxxx 10xxxxxx",           "3 bytes"),
        ("U+10000-U+10FFFF", "11110xxx 10xxxxxx 10xxxxxx 10xxxxxx", "4 bytes")
    ]
    
    print("UTF-8 編碼規則表：")
    for range_, pattern, length in rules:
        print(f"{range_:18s} → {pattern:40s} ({length})")
    
    # 實際編碼示例
    examples = ['A', 'é', '中', '🌍']
    print("\n實際編碼示例：")
    for char in examples:
        code_point = ord(char)
        utf8_bytes = char.encode('utf-8')
        binary = ' '.join(f'{b:08b}' for b in utf8_bytes)
        print(f"'{char}' (U+{code_point:05X}) → {list(utf8_bytes):15s} → {binary}")

utf8_encoding_demo()

UTF-8 的特點

變長編碼：根據字符使用 1-4 個位元組
ASCII 相容：ASCII 字符編碼完全相同
自同步：可以從任意位置識別字符邊界

# 自同步特性演示
def utf8_self_sync_demo():
    text = "Hi中文"
    utf8_data = text.encode('utf-8')
    
    print("UTF-8 自同步特性演示：")
    for i, byte in enumerate(utf8_data):
        if byte < 0x80:
            print(f"位置 {i}: {byte:3d} (0x{byte:02X}) - ASCII 字符起始")
        elif (byte & 0xE0) == 0xC0:
            print(f"位置 {i}: {byte:3d} (0x{byte:02X}) - 2 位元組序列起始")
        elif (byte & 0xF0) == 0xE0:
            print(f"位置 {i}: {byte:3d} (0x{byte:02X}) - 3 位元組序列起始")
        elif (byte & 0xF8) == 0xF0:
            print(f"位置 {i}: {byte:3d} (0x{byte:02X}) - 4 位元組序列起始")
        elif (byte & 0xC0) == 0x80:
            print(f"位置 {i}: {byte:3d} (0x{byte:02X}) - 延續位元組")

utf8_self_sync_demo()

UTF-16 編碼詳解

編碼規則

UTF-16 使用 2 或 4 個位元組：

def utf16_encoding_demo():
    print("UTF-16 編碼規則：")
    print("1. U+0000-U+FFFF：直接使用 2 位元組")
    print("2. U+10000-U+10FFFF：使用代理對（4 位元組）")
    
    # 基本多語言平面（BMP）字符
    char1 = '中'
    utf16_bytes = char1.encode('utf-16-be')
    print(f"\n'{char1}' (U+{ord(char1):04X}):")
    print(f"  UTF-16: {list(utf16_bytes)} = 0x{utf16_bytes.hex()}")
    
    # 輔助平面字符（需要代理對）
    char2 = '🌍'
    utf16_bytes = char2.encode('utf-16-be')
    print(f"\n'{char2}' (U+{ord(char2):05X}):")
    print(f"  UTF-16: {list(utf16_bytes)} = 0x{utf16_bytes.hex()}")
    
    # 解釋代理對
    code_point = ord(char2)
    code_point -= 0x10000
    high_surrogate = 0xD800 + (code_point >> 10)
    low_surrogate = 0xDC00 + (code_point & 0x3FF)
    print(f"  高代理: 0x{high_surrogate:04X}")
    print(f"  低代理: 0x{low_surrogate:04X}")

utf16_encoding_demo()

UTF-16 的特點

對 BMP 字符效率高：常用字符只需 2 位元組
有位元組序問題：需要區分大端序和小端序
不相容 ASCII：ASCII 字符也佔用 2 位元組

# 位元組序問題演示
def byte_order_demo():
    char = '中'
    
    # 不同的位元組序
    utf16_le = char.encode('utf-16-le')  # Little Endian
    utf16_be = char.encode('utf-16-be')  # Big Endian
    utf16_bom = char.encode('utf-16')    # 帶 BOM
    
    print(f"字符 '{char}' (U+{ord(char):04X}) 的 UTF-16 編碼：")
    print(f"Little Endian: {list(utf16_le)} = {utf16_le.hex()}")
    print(f"Big Endian:    {list(utf16_be)} = {utf16_be.hex()}")
    print(f"With BOM:      {list(utf16_bom)} = {utf16_bom.hex()}")
    print(f"BOM 標記: {list(utf16_bom[:2])} (0xFFFE = Little Endian)")

byte_order_demo()

UTF-32 編碼詳解

編碼規則

UTF-32 最簡單：每個字符固定使用 4 位元組。

def utf32_encoding_demo():
    text = "A中🌍"
    
    print("UTF-32 編碼（固定 4 位元組）：")
    for char in text:
        code_point = ord(char)
        utf32_be = char.encode('utf-32-be')
        
        print(f"'{char}' (U+{code_point:05X}):")
        print(f"  二進制: {code_point:032b}")
        print(f"  UTF-32: {list(utf32_be)} = 0x{utf32_be.hex()}")

utf32_encoding_demo()

UTF-32 的特點

固定長度：處理簡單，可直接索引
空間浪費：每個 ASCII 字符也要 4 位元組
少用於儲存：主要用於內部處理

實際應用比較

空間效率比較

def space_efficiency_comparison():
    test_cases = [
        "Hello World",          # 純英文
        "你好世界",              # 純中文
        "Hello 世界",           # 中英混合
        "👨‍👩‍👧‍👦",               # 組合表情符號
        "🇹🇼🇺🇸🇯🇵",           # 國旗表情
    ]
    
    print("不同文本類型的編碼效率比較：")
    print(f"{'文本內容':20s} {'字符數':>6s} {'UTF-8':>8s} {'UTF-16':>8s} {'UTF-32':>8s}")
    print("-" * 60)
    
    for text in test_cases:
        char_count = len(text)
        utf8_size = len(text.encode('utf-8'))
        utf16_size = len(text.encode('utf-16-le'))
        utf32_size = len(text.encode('utf-32-le'))
        
        print(f"{text:20s} {char_count:6d} {utf8_size:8d} {utf16_size:8d} {utf32_size:8d}")

space_efficiency_comparison()

使用場景建議

編碼	適用場景	優點	缺點
UTF-8	網頁、檔案儲存、網路傳輸	ASCII 相容、無位元組序問題	中文佔 3 位元組
UTF-16	Windows API、Java/C# 內部	BMP 字符效率高	不相容 ASCII
UTF-32	需要固定寬度處理的場合	簡單、可直接索引	空間浪費嚴重

程式設計實踐

Python 中的處理

# Python 3 的字串處理
def python_unicode_demo():
    # Python 3 中，str 類型內部使用 Unicode
    text = "Hello 世界🌍"
    
    print(f"Python str 類型：{type(text)}")
    print(f"字串長度：{len(text)} 個字符")
    
    # 編碼成不同格式
    print("\n編碼成位元組：")
    for encoding in ['utf-8', 'utf-16', 'utf-32']:
        encoded = text.encode(encoding)
        print(f"{encoding:8s}: {type(encoded)} 長度 {len(encoded)} bytes")
    
    # 解碼示範
    utf8_bytes = text.encode('utf-8')
    decoded = utf8_bytes.decode('utf-8')
    print(f"\n往返測試：{text == decoded}")

python_unicode_demo()

處理編碼問題

def handle_encoding_errors():
    print("常見編碼問題處理：")
    
    # 1. 編碼錯誤
    try:
        "世界".encode('ascii')
    except UnicodeEncodeError as e:
        print(f"1. 編碼錯誤：{e}")
    
    # 處理方法
    text = "Hello 世界"
    print(f"   ignore: {text.encode('ascii', errors='ignore')}")
    print(f"   replace: {text.encode('ascii', errors='replace')}")
    print(f"   xmlcharrefreplace: {text.encode('ascii', errors='xmlcharrefreplace')}")
    
    # 2. 解碼錯誤
    try:
        b'\xe4\xb8\x96\xe7\x95\x8c'.decode('ascii')
    except UnicodeDecodeError as e:
        print(f"\n2. 解碼錯誤：{e}")
    
    # 正確解碼
    print(f"   正確解碼：{b'\xe4\xb8\x96\xe7\x95\x8c'.decode('utf-8')}")
    
    # 3. 混合編碼問題
    mixed_bytes = "Hello".encode('utf-8') + "世界".encode('gbk')
    print(f"\n3. 混合編碼：{mixed_bytes}")
    try:
        mixed_bytes.decode('utf-8')
    except UnicodeDecodeError:
        print("   UTF-8 解碼失敗")
        print(f"   部分解碼：{mixed_bytes[:5].decode('utf-8')} + {mixed_bytes[5:].decode('gbk')}")

handle_encoding_errors()

檔案編碼處理

def file_encoding_demo():
    import tempfile
    import os
    
    # 建立測試檔案
    test_content = "Hello 世界🌍\n編碼測試"
    
    # 寫入不同編碼的檔案
    encodings = ['utf-8', 'utf-16', 'gbk']
    
    for encoding in encodings:
        try:
            filename = f"test_{encoding}.txt"
            with open(filename, 'w', encoding=encoding) as f:
                f.write(test_content)
            
            # 讀取並顯示檔案大小
            size = os.path.getsize(filename)
            print(f"{encoding:8s} 檔案大小：{size} bytes")
            
            # 清理
            os.remove(filename)
        except UnicodeEncodeError:
            print(f"{encoding:8s} 無法編碼某些字符")

file_encoding_demo()

深入理解：為什麼是這樣設計？

1. 為什麼 UTF-8 要用這麼複雜的編碼規則？

def why_utf8_design():
    print("UTF-8 設計原理：")
    
    # 1. ASCII 相容性
    ascii_char = 'A'
    print(f"\n1. ASCII 相容：")
    print(f"   '{ascii_char}' ASCII: {ord(ascii_char):3d} = {ord(ascii_char):08b}")
    print(f"   '{ascii_char}' UTF-8: {ord(ascii_char):3d} = {ord(ascii_char):08b}")
    
    # 2. 自同步特性
    print(f"\n2. 自同步特性：")
    print("   單位元組：0xxxxxxx")
    print("   首位元組：11xxxxxx")
    print("   續位元組：10xxxxxx")
    print("   → 從任意位置都能識別字符邊界")
    
    # 3. 錯誤檢測
    print(f"\n3. 錯誤檢測能力：")
    valid_utf8 = b'\xe4\xb8\x96'  # 世
    invalid_utf8 = b'\xe4\x40\x96'  # 中間位元組錯誤
    
    try:
        valid_utf8.decode('utf-8')
        print(f"   有效序列：{list(valid_utf8)} ✓")
    except: pass
    
    try:
        invalid_utf8.decode('utf-8')
    except UnicodeDecodeError:
        print(f"   無效序列：{list(invalid_utf8)} ✗ (中間位元組不是 10xxxxxx)")

why_utf8_design()

2. 為什麼需要多種編碼方式？

def why_multiple_encodings():
    scenarios = [
        {
            "name": "Web 應用",
            "content": "Hello World! Welcome to 世界",
            "best": "UTF-8",
            "reason": "英文內容為主，UTF-8 最省空間"
        },
        {
            "name": "中文文件處理",
            "content": "這是一份純中文的文件內容...",
            "best": "UTF-16",
            "reason": "中文為主，UTF-16 每字符 2 bytes"
        },
        {
            "name": "字符串索引操作",
            "content": "需要頻繁按索引訪問字符",
            "best": "UTF-32",
            "reason": "固定寬度，O(1) 索引訪問"
        }
    ]
    
    print("不同場景的最佳編碼選擇：\n")
    for scenario in scenarios:
        print(f"場景：{scenario['name']}")
        print(f"內容：{scenario['content'][:30]}...")
        print(f"推薦：{scenario['best']}")
        print(f"原因：{scenario['reason']}")
        print()

why_multiple_encodings()

實戰：編碼檢測與轉換

def encoding_detection_and_conversion():
    # 模擬不同編碼的資料
    samples = [
        ("UTF-8", "Hello 世界".encode('utf-8')),
        ("GBK", "你好世界".encode('gbk')),
        ("UTF-16LE", "Hello".encode('utf-16-le')),
    ]
    
    print("編碼檢測示例：")
    for name, data in samples:
        print(f"\n原始編碼：{name}")
        print(f"位元組：{data[:20]}...")
        
        # 嘗試不同的解碼
        for try_encoding in ['utf-8', 'gbk', 'utf-16-le']:
            try:
                result = data.decode(try_encoding)
                print(f"  {try_encoding:10s}: ✓ {result[:20]}")
            except:
                print(f"  {try_encoding:10s}: ✗ 解碼失敗")

encoding_detection_and_conversion()

最佳實踐總結

1. 選擇編碼的原則

def encoding_selection_guide():
    print("編碼選擇決策樹：")
    print("""
    需要網路傳輸或檔案儲存？
    └─是→ 使用 UTF-8
       └─需要與舊系統相容？
          └─是→ 考慮該系統的編碼（如 GBK）
          └─否→ 堅持使用 UTF-8
    
    內部處理需要固定寬度？
    └─是→ 考慮 UTF-32
    └─否→ 作業系統是 Windows？
           └─是→ 可能需要 UTF-16
           └─否→ 使用 UTF-8
    """)

encoding_selection_guide()

2. 避免常見錯誤

def common_mistakes():
    print("常見錯誤及解決方案：")
    
    # 錯誤 1：混淆 Unicode 和 UTF-8
    print("\n❌ 錯誤：認為 Unicode == UTF-8")
    print("✓ 正確：Unicode 是字符集，UTF-8 是編碼方式")
    
    # 錯誤 2：忽略編碼聲明
    print("\n❌ 錯誤：")
    print("   with open('file.txt', 'r') as f:")
    print("✓ 正確：")
    print("   with open('file.txt', 'r', encoding='utf-8') as f:")
    
    # 錯誤 3：字符串和位元組混淆
    print("\n❌ 錯誤：")
    print("   'Hello' + b'World'")
    print("✓ 正確：")
    print("   'Hello' + b'World'.decode('utf-8')")

common_mistakes()

結語

理解 Unicode 與 UTF 編碼的關係，是現代程式設計的基礎知識：

Unicode 定義了「什麼」—— 每個字符的唯一編號
UTF-8/16/32 定義了「如何」—— 如何儲存這些編號

在 2024 年的今天，UTF-8 已經成為事實上的標準：

網頁：97.9% 使用 UTF-8
程式語言：大多數預設 UTF-8
版本控制：Git 預設 UTF-8

記住這個簡單的原則：當你需要處理文字時，優先選擇 UTF-8，除非有特殊理由選擇其他編碼。

延伸閱讀

希望這篇文章能幫助你徹底理解字符編碼的世界！

UTF-8 UTF-16 UTF-32

Unicode 與 UTF 編碼的關係詳解

前言

核心概念

Unicode：字符的身份證系統

UTF：編號的儲存方案

關係圖解

詳細對比：以「Hello 世界🌍」為例

UTF-8 編碼詳解

編碼規則

UTF-8 的特點

UTF-16 編碼詳解

編碼規則

UTF-16 的特點

UTF-32 編碼詳解

編碼規則

UTF-32 的特點

實際應用比較

空間效率比較

使用場景建議

程式設計實踐

Python 中的處理

處理編碼問題

檔案編碼處理

深入理解：為什麼是這樣設計？

1. 為什麼 UTF-8 要用這麼複雜的編碼規則？

2. 為什麼需要多種編碼方式？

實戰：編碼檢測與轉換

最佳實踐總結

1. 選擇編碼的原則

2. 避免常見錯誤

結語

延伸閱讀