Jingfu Zhang

Tokenizer 漂移是什麼？LLM 部署中隱藏的成本與資安風險

Tokenizer（分詞器，又稱標記器）是所有大型語言模型的核心，當它發生漂移 (drift) 時，不論是出現看不見的漏洞或是對抗性干擾，都將使得成本攀升、效能下降。本文探討這項新興的風險以及它的影響和防範措施。

Ashish Verma, Jingfu Zhang