言語間での推測デコーディング

ニュース概要

推測デコーディングは大規模言語モデル（LLM）の推論において重要な要素となり、複数のトークンをドラフト作成し並列検証することで高速な生成を実現している。しかし小規模ドラフトモデルは多言語対応で顕著な性能低下が生じる傾向にある。