token / means
みなさん、(特にAIを従量課金制で使っている方)、トークン、節約したいですよね？ ただ、がむしゃらに言葉を削っただけではゴミを入れたらゴミが出てくるので意味がありません。 じゃあ、どうすればいいでしょうか。トークンあたりで、意味が一番詰まっている言語を探せばいいでしょう。 というわけで、そういう概念を考えたのでまとめておきます。
例
とりあえず日本語の文を書いて、英語に直訳していきます。- これは私のパソコンです。
- This is my computer. このとき、それぞれのトークンはいくつでしょうか。日本語は1文字1トークン、英語は1単語1トークンのことが多いので、 日本語は12トークン、英語は4トークンとなります。英語の方が3倍ほど効率がいいですね。
節約したい
では、どんな言語が最もトークン効率がいいでしょうか。正直、よく分かりません。 ただ、日本語は膠着語という分類の言語で、助詞の分トークン数が増えている側面はあると思います。これを見ている研究者の方(多分いない)、調べてみてください！