Yoru Karu Studio
Yoru Karu Studio

Neural Encoder 完全解析：文字如何變成 AI 能理解的向量

從 Word2Vec 到 BERT，深入理解神經網路如何將語言轉換成數學

luk 收錄於 Artificial-Intelligence
 約 1200 字 預計閱讀 6 分鐘 

Neural Encoder：AI 的「翻譯機」

想像你要跟外星人溝通，但他們只懂數學，不懂人類語言。你需要一個翻譯機，能把「我愛你」翻譯成外星人能理解的數字序列。

Neural Encoder（神經編碼器） 就是這個翻譯機：

  • 輸入：人類語言（「Django 是網頁框架」）
  • 輸出：數字向量（[0.23, -0.45, 0.67, ...]）
  • 關鍵：這些數字不是隨機的，而是捕捉了文字的意義

本文將帶你深入理解：

  • Neural Encoder 如何「學會」理解語言？
  • 為什麼不需要自己訓練就能使用？
  • 如何選擇最適合的編碼模型？

🧬 Neural Encoder 的演進史

第一代：Word2Vec（2013）

革命性突破：詞也能做數學運算！

# 著名的例子
vector("國王") - vector("男人") + vector("女人") ≈ vector("皇后")

# 實際數字
[0.8, 0.2, ...] - [0.5, 0.1, ...] + [0.3, 0.9, ...] ≈ [0.6, 1.0, ...]

訓練方式：上下文預測 

訓練資料：
"我 喜歡 吃 蘋果 和 香蕉"

訓練目標：
給定中心詞 "吃"，預測上下文 ["喜歡", "蘋果"]
給定上下文 ["喜歡", "蘋果"]，預測中心詞 "吃"

經過數百萬句子的訓練，模型學到：

  • 「吃」常出現在「蘋果」、「香蕉」、「飯」附近
  • → 這些詞的向量會彼此接近

局限性 

# Word2Vec 的問題
sentence1 = "I love Python"
sentence2 = "I hate Python"

# Word2Vec 做法：直接平均
vector(sentence1) = (vector("I") + vector("love") + vector("Python")) / 3
vector(sentence2) = (vector("I") + vector("hate") + vector("Python")) / 3

# 問題：忽略了詞序！
# "love Python" 和 "hate Python" 意思完全相反
# 但向量卻很相似（因為只是平均）

第二代：BERT（2018）

突破點：理解上下文！

# BERT 能理解同一個詞在不同句子中的不同意思

sentence1 = "我去銀行存錢"
sentence2 = "河邊的銀行長滿青苔"

# BERT 的處理
vector("銀行", sentence1) → [0.7, 0.2, 0.9, ...]  # 金融機構
vector("銀行", sentence2) → [0.1, 0.8, 0.3, ...]  # 河岸

# 同一個詞，不同向量！

BERT 的核心：Transformer

BERT 使用 Transformer 架構，能讓每個詞「看到」句子中所有其他詞：

句子："Django 是 Python 的 網頁 框架"

傳統方法：
Django → 只看前後幾個詞

BERT：
Django → 同時關注 "Python"、"網頁"、"框架"
       → 理解 "Django" 是一個與 Python 相關的網頁框架

BERT 的訓練任務

1. 遮蔽語言模型（Masked Language Model）

原句："Django 是 Python 的網頁框架"
遮蔽："Django 是 [MASK] 的網頁框架"

訓練目標：預測 [MASK] 是 "Python"

2. 下一句預測（Next Sentence Prediction）

句子 A："Django 是網頁框架"
句子 B："它使用 MVT 架構"

訓練目標：判斷 B 是否是 A 的下一句（是）

通過這兩個任務，BERT 學會了：

  • 理解詞在上下文中的意義
  • 理解句子之間的關係

第三代：Sentence-BERT（2019）

專為語義搜尋優化

# BERT 的問題
# 要比對 1000 個句子，需要：
# 1000 × 999 / 2 = 499,500 次比對（每次都要重新計算）

# Sentence-BERT 的解決方案
# 預先把 1000 個句子都轉成向量（1000 次計算）
# 比對只需計算向量相似度（極快）

訓練方式：對比學習 

# 訓練資料：句子對
正例（相似）:
  "狗很可愛" ↔ "貓很可愛"
  
負例（不相似）:
  "狗很可愛" ↔ "汽車很快"

# 訓練目標
讓正例對的向量距離 → 縮小
讓負例對的向量距離 → 拉大

視覺化：

訓練前:
狗很可愛 ●          ● 貓很可愛
              
         ● 汽車很快

訓練後:
狗很可愛 ● ● 貓很可愛 (拉近！)


                     ● 汽車很快 (推遠！)

🎯 主流 Neural Encoder 對比

1. OpenAI Embeddings 

import openai

response = openai.Embedding.create(
    model="text-embedding-3-small",
    input="Django 是網頁框架"
)

vector = response['data'][0]['embedding']
# 輸出：1536 維向量

優勢：

  • ✅ 品質最頂尖（OpenAI 持續優化）
  • ✅ 支援多語言（100+ 語言）
  • ✅ 簡單易用（API 調用）
  • ✅ 不斷更新（無需自己維護）

劣勢：

  • ❌ 需付費（$0.0001 / 1K tokens）
  • ❌ 資料傳到雲端（隱私考量）
  • ❌ 需要網路連線
  • ❌ 受 API 速率限制

適用場景：

  • 商業應用（預算充足）
  • 要求最佳品質
  • 不在意資料隱私

效能數據：

MTEB 排行榜（多語言檢索基準）:
- text-embedding-3-large: 64.6 分（第 3 名）
- text-embedding-3-small: 62.3 分（第 7 名）

2. Sentence-BERT 

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
vector = model.encode("Django 是網頁框架")
# 輸出：384 維向量

優勢：

  • ✅ 完全免費開源
  • ✅ 本地運行（隱私保護）
  • ✅ 速度快（CPU 即可）
  • ✅ 多種模型選擇（50+ 模型）
  • ✅ 支援 100+ 語言

劣勢：

  • ❌ 品質略遜於 OpenAI（但差距不大）
  • ❌ 需要自己管理模型檔案
  • ❌ 首次載入較慢（需下載模型）

適用場景：

  • 個人專案
  • 預算有限
  • 注重隱私
  • 需要離線運行

熱門模型：

多語言模型 

# 最推薦：支援中文效果好
'paraphrase-multilingual-MiniLM-L12-v2'  # 384 維，速度快
'paraphrase-multilingual-mpnet-base-v2'  # 768 維，效果更好

# 中文特化
'DMetaSoul/sbert-chinese-qmc-domain-v1'  # 專為中文優化

英文模型 

'all-MiniLM-L6-v2'       # 384 維，速度最快
'all-mpnet-base-v2'      # 768 維，效果最好（英文）

效能數據：

編碼速度（1000 個句子）：
- MiniLM (CPU): 2 秒
- MPNet (CPU): 5 秒
- OpenAI API: 10 秒

檢索準確率：
- OpenAI: 92%
- Sentence-BERT (MPNet): 87%
- Sentence-BERT (MiniLM): 85%

3. Cohere Embeddings 

import cohere

co = cohere.Client('your-api-key')
response = co.embed(
    texts=["Django 是網頁框架"],
    model="embed-multilingual-v3.0"
)

vector = response.embeddings[0]
# 輸出：1024 維向量

優勢：

  • ✅ 多語言能力強大（100+ 語言）
  • ✅ 專為檢索優化
  • ✅ 提供壓縮版本（節省空間）

劣勢：

  • ❌ 需付費
  • ❌ 生態系統較小

適用場景：

  • 多語言應用
  • 需要高品質檢索

4. BGE（Beijing Academy of AI） 

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('BAAI/bge-large-zh-v1.5')
vector = model.encode("Django 是網頁框架")
# 輸出：1024 維向量

優勢：

  • ✅ 中文效果極佳
  • ✅ 開源免費
  • ✅ 在中文檢索基準上領先

劣勢：

  • ❌ 英文效果一般
  • ❌ 模型檔案較大

適用場景：

  • 主要處理中文
  • 企業級中文應用

效能數據：

C-MTEB（中文檢索基準）:
- bge-large-zh-v1.5: 66.49 分（第 1 名）
- text-embedding-3-large: 64.88 分
- paraphrase-multilingual: 59.32 分

🔬 Neural Encoder 的內部運作

從文字到向量的完整流程 

# 以 Sentence-BERT 為例
input_text = "Django 是網頁框架"

# 步驟 1: Tokenization（分詞）
tokens = ["[CLS]", "Django", "是", "網", "##頁", "框", "##架", "[SEP]"]
#         ↑ 特殊標記                              WordPiece 分詞

# 步驟 2: Token to IDs（轉換成數字）
token_ids = [101, 15782, 3221, 5381, 7404, 3833, 3019, 102]

# 步驟 3: Embedding Layer（初步向量化）
# 每個 token 轉成一個 384 維向量
token_embeddings = [
    [0.1, 0.2, ...],  # [CLS]
    [0.5, 0.8, ...],  # Django
    [0.3, 0.4, ...],  # 是
    ...
]

# 步驟 4: Transformer Layers（深度處理）
# 12 層 Transformer，每層讓 token 互相「關注」
for layer in range(12):
    token_embeddings = transformer_layer(token_embeddings)
    # Django 的向量會整合 "網頁"、"框架" 的資訊

# 步驟 5: Pooling（整合成句子向量）
# 方法 A: Mean Pooling（平均）
sentence_vector = mean(token_embeddings[1:-1])  # 排除 [CLS] 和 [SEP]

# 方法 B: CLS Token（使用第一個 token）
sentence_vector = token_embeddings[0]

# 輸出：[0.23, -0.45, 0.67, ...] (384 維)

為什麼這些向量能捕捉語義？

關鍵：Self-Attention 機制

# 句子："Django 是 Python 的網頁框架"

# Self-Attention 讓每個詞「看到」其他詞：
Django:
  - 注意 "Python" (權重 0.8) → 知道是基於 Python
  - 注意 "網頁" (權重 0.9) → 知道是網頁相關
  - 注意 "框架" (權重 0.9) → 知道是一個框架
  - 注意 "是" (權重 0.1) → 不太重要

Python:
  - 注意 "Django" (權重 0.7) → Django 相關
  - 注意 "框架" (權重 0.5) → 與框架有關

# 最終 Django 的向量融合了所有這些資訊

🛠️ 實戰：如何選擇 Neural Encoder？

決策樹 

Q: 預算如何？
├─ 免費 → Sentence-BERT 或 BGE
└─ 有預算 → 繼續下一題

Q: 主要語言？
├─ 中文為主 → BGE (bge-large-zh-v1.5)
├─ 英文為主 → OpenAI 或 Sentence-BERT (all-mpnet)
└─ 多語言 → OpenAI 或 Cohere

Q: 資料隱私？
├─ 必須本地 → Sentence-BERT 或 BGE
└─ 可接受雲端 → OpenAI 或 Cohere

Q: 處理量？
├─ < 100萬/天 → 任何方案都可
├─ 100萬-1000萬/天 → 本地模型（避免 API 成本）
└─ > 1000萬/天 → 本地模型 + GPU 加速

實戰配置建議

配置 1：個人專案 / 學習 

# 使用 Sentence-BERT
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 優點
✅ 完全免費
✅ 5 分鐘內開始使用
✅ CPU 即可運行

# 成本
💰 $0

配置 2：中小型商業應用 

# 使用 OpenAI
import openai

openai.Embedding.create(
    model="text-embedding-3-small",
    input=texts
)

# 優點
✅ 品質優秀
✅ 無需維護
✅ 快速迭代

# 成本（假設每天 10 萬次查詢）
💰 ~$50/月

配置 3：大型企業應用（中文） 

# 使用 BGE + 自建伺服器
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('BAAI/bge-large-zh-v1.5')
# 部署到內部 GPU 伺服器

# 優點
✅ 中文效果最佳
✅ 資料不出公司
✅ 無 API 費用限制

# 成本
💰 GPU 伺服器：~$500-2000/月

配置 4：多語言高並發 

# 混合方案
# 熱門語言：自建 Sentence-BERT（中、英）
# 冷門語言：調用 OpenAI API

def encode(text, lang):
    if lang in ['zh', 'en']:
        return local_model.encode(text)
    else:
        return openai_embed(text)

# 優點
✅ 成本優化（90% 流量用免費模型）
✅ 覆蓋所有語言
✅ 高可用性

# 成本
💰 ~$100/月（GPU + OpenAI）

🚀 進階技巧

1. 模型蒸餾（Model Distillation）

將大模型的知識轉移到小模型：

# 原始模型：768 維，速度慢
large_model = SentenceTransformer('all-mpnet-base-v2')

# 蒸餾後：384 維，速度快 2 倍
# 保留 95% 的效果
small_model = SentenceTransformer('all-MiniLM-L6-v2')

2. 領域適應（Domain Adaptation）

微調編碼器以適應特定領域：

from sentence_transformers import SentenceTransformer, InputExample, losses
from torch.utils.data import DataLoader

# 載入基礎模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 準備領域資料（醫療為例）
train_examples = [
    InputExample(texts=['高血壓', '血壓升高'], label=1.0),  # 相似
    InputExample(texts=['高血壓', '糖尿病'], label=0.3),    # 部分相似
    InputExample(texts=['高血壓', '骨折'], label=0.0),      # 不相似
]

# 訓練
train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16)
train_loss = losses.CosineSimilarityLoss(model)

model.fit(
    train_objectives=[(train_dataloader, train_loss)],
    epochs=10
)

# 現在模型更理解醫療領域的語義！

3. 向量正規化

提升檢索效果：

import numpy as np

def normalize(vector):
    """L2 正規化：讓向量長度為 1"""
    return vector / np.linalg.norm(vector)

# 正規化後，餘弦相似度 = 點積
# 計算更快！
vector1_norm = normalize(vector1)
vector2_norm = normalize(vector2)

similarity = np.dot(vector1_norm, vector2_norm)
# 等同於 cosine_similarity，但更快

4. 批次處理優化 

# ❌ 慢：逐個處理
for text in texts:
    vector = model.encode(text)  # 1000 次調用

# ✅ 快：批次處理
vectors = model.encode(texts, batch_size=32)  # 1 次調用
# 速度提升 10-50 倍！

📊 效能評測

標準基準：MTEB（Massive Text Embedding Benchmark）

模型平均分數檢索準確率速度（句/秒）
text-embedding-3-large64.652.3100 (API)
text-embedding-3-small62.349.0200 (API)
BGE-large-zh66.5*54.1*150 (GPU)
all-mpnet-base-v263.350.5300 (CPU)
all-MiniLM-L6-v258.845.61000 (CPU)

*中文基準

實際專案經驗 

場景：企業文檔搜尋（10 萬份文件）

模型：all-MiniLM-L6-v2
- 索引時間：30 分鐘
- 查詢時間：50ms
- 準確率：85%
- 成本：$0

模型：text-embedding-3-small
- 索引時間：2 小時（API 限制）
- 查詢時間：100ms
- 準確率：92%
- 成本：$100（一次性）+ $50/月（查詢）

結論：對多數應用，Sentence-BERT 已足夠

🏁 總結

Neural Encoder 的本質

將人類語言翻譯成數學，讓機器能「理解」意義

關鍵洞察

  1. 不需要自己訓練

    • OpenAI、Google、Meta 已花數百萬美元訓練好
    • 直接使用即可

  2. 選擇策略

    • 預算充足 + 要求最佳 → OpenAI
    • 免費 + 隱私 → Sentence-BERT
    • 中文專精 → BGE

  3. 通用能力

    • 這些模型已學會「語言的通用規律」
    • 可應用於任何領域（技術、醫療、法律…）

  4. 未來趨勢

    • 更小更快（邊緣裝置運行）
    • 多模態融合（文字+圖片+音訊）
    • 持續學習（動態更新知識）

實戰建議 

# 新手入門
pip install sentence-transformers
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 快速驗證概念
使用 OpenAI API

# 生產部署
評估成本 → 選擇最佳方案 → 優化效能

記住：Neural Encoder 是 RAG、語義搜尋、推薦系統等現代 AI 應用的基石。理解它，就理解了 AI 如何「看懂」人類語言。

🔗 延伸閱讀

更新於 2025-01-16 
CC BY-NC-SA 4.0
閱讀原始文檔
NlpEmbeddingTransformerBertAi
返回 | 主頁
0%