「なぜOpenAIのAPIは英語以外の言語に対してより高価なのか」

なぜOpenAIのAPIは英語以外の言語に対して高価なのか

言葉を超えて: バイトペアエンコーディングと Unicode エンコーディングが価格格差にどのように影響するか

英語ではフレーズ「Hello world」が2つのトークンを持ち、ヒンディー語では12個のトークンを持つことができるのはなぜですか?

OpenAIのAPIのコストを推定する方法について最近の記事を公開した後、中国語、日本語、韓国語(CJK文字を使用する言語)など、英語よりもOpenAI APIの価格がはるかに高いことに気づいたという興味深いコメントを受け取りました。

tiktokenライブラリを使用してOpenAIのAPIのコストを推定する方法に関する私の最近の記事に読者からのコメント

私はこの問題については知りませんでしたが、すぐにこれは活発な研究分野であることに気づきました。今年の初めに、Petrovらによる「言語モデルトークナイザーによる言語間の公平性の低下」という論文[2]が、「同じテキストを異なる言語に翻訳すると、トークン化の長さが劇的に異なることがあり、一部の場合には15倍の違いがある」と示しています。

トークン化とは、テキストをトークンのリストに分割するプロセスであり、トークンはテキスト内の一般的な文字の連続です。

トークン化の例

トークン化の長さの違いは問題です。なぜなら、OpenAIのAPIは1,000トークンの単位で請求されるからです。したがって、同等のテキストにおいて15倍のトークンがある場合、APIのコストは15倍になります。

実験: 異なる言語でのトークン数

フレーズ「Hello world」を日本語に翻訳(こんにちは世界)し、ヒンディー語に転写(हैलो वर्ल्ड)してみましょう。OpenAIのGPTモデルで使用されるcl100k_baseトークナイザーで新しいフレーズをトークン化すると、次の結果が得られます(これらの実験に使用したコードは記事の最後にあります)。

英語、日本語、ヒンディー語でのフレーズ「Hello world」の文字数とトークン数(cl100k_base)

上記のグラフから、2つの興味深い観察ができます:

  1. 文字数は…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

聴覚処理の解読:深層学習モデルが脳内の音声認識とどのように類似しているか

研究によると、聴覚データを言語的表現に変換する計算は、声の知覚に関与しています。誰かが音声を聞くと、聴覚経路が活性化...

AIニュース

「インドが最新のAIを活用してペイメント詐欺に取り組む方法」

今日のデジタル時代において、オンライン取引に関連する詐欺は増加しており、金融機関と規制当局に重大な課題をもたらしてい...

データサイエンス

IDEにAIを統合する

「AIをIDEにシームレスに統合するためには、いくつかのアイデアが探求されることがあります一部は既に実装されており、他のい...

データサイエンス

「今日使用されているAIoTの応用」

「AIとIoTの統合が、多くの技術分野を再構築する様子を探求してくださいいくつかの有名な例を交えて、最先端のAIoTアプリケー...

コンピュータサイエンス

「LLMランドグラブ:AWS、Azure、およびGCPがAIを巡って闘っている」

企業クラウドプラットフォーム間でのAIの優位性を競うレースが始まっています大手および中小のプロバイダーが自分たちの賭け...

機械学習

「メタのMusicGenを使用してColabで音楽を生成する」

「ColabでMusicGenをセットアップする方法を学びましょうこの先進のテキストから音楽へ変換するモデルは、人工知能アルゴリズ...