Jingfu Zhang

トークナイザーのズレが招くLLM運用のコストとセキュリティの危機

あらゆる大規模言語モデルの中心にはトークナイザーがあります。これがわずかにずれていくとき、見過ごされた欠陥や悪意ある干渉のいずれによってであれ、コストは上昇し、性能は低下します。この新たなリスクの実態と影響、そしてそれを防ぐための手立てについて考察します。

Ashish Verma, Jingfu Zhang