機械学習なしで最初の自動修正を作成する

機械学習なしで自動修正を作成する

独自のスペルチェッカーを構築するためのステップバイステップガイド

Photo by Markus Spiske on Unsplash

スペルの修正はどこにでもあります。私がこの記事を書いている間、Grammarlyは静かにタイプミスを修正してくれています。電子商取引のウェブサイトにクエリを入力すると、まず正しいフレーズに移動して、希望する商品のタイトルとより良く一致させます。

スペルの修正は、書かれたコミュニケーションにおいて間違いなく重要です。コミュニケーションを向上させ、専門性を保ち、生産性を向上させます。スペルチェッカーを構築することを考えると、一つの大きな解決策が浮かび上がってくるかもしれません:ディープラーニング。しかし、ディープラーニングは必ずしも最適な選択肢ではありません。

この記事では、スペル修正のための古典的な技術である「ノイズチャネル」と、ディープラーニングのバックグラウンドを必要としない修正モジュールを構築する方法を紹介します。

ノイズチャネル

私たちは、文書内のすべての単語がある種の「歪み」を受けたノイズチャネルを通過したと考えることができます。私たちは、「デコーダーチャネル」と呼ばれる「歪み」を元に戻すことができるチャネルを学習することを目指しています。

スペルミスの修正には、すべての可能な修正候補を収集し、デコーダーチャネルを通過させて、最も尤度の高い候補を見つけることができます。

Noisy channel and Decoder channel (Image by the author)

機械学習アプローチと比較して、ノイズチャネルは以下の理由からはじめるにはより好ましいと考えています:

  • コスト効率:ディープモデルを構築および維持する必要はありません。ディープラーニングモデルを構築、提供、および維持するリソースを持っているのは一部の人だけです。
  • ホワイトボックス:ノイズチャネルはより解釈可能です。スペルチェッカーから予期しない動作がある場合、スコアをより小さな要素に分解し、問題の発生源を特定することができます。したがって、適切な最適化を行うことができます(例:辞書の拡張、ハイパーパラメータの調整など)。

ただし、アプリケーションのリソースが増えるにつれて、seq2seqなどのディープモデルがより良い選択肢になります:

  • ノイズチャネルには不足がある

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

AI研究

メリーランド大学の新しいAI研究は、1日で単一のGPU上で言語モデルのトレーニングをするためのクラミングの課題を調査しています

自然言語処理の多くの領域では、言語解釈や自然言語合成を含む機械学習モデルの大規模トレーニングにおいて、トランスフォー...

AI研究

NYUとNVIDIAが協力して、患者の再入院を予測するための大規模言語モデルを開発する

退院は患者にとって重要なマイルストーンですが、時には回復への道のりの終わりではありません。米国では、初回退院後30日以...

機械学習

AIは精神疾患の検出に優れています

重症患者のせん妄検知は、患者のケアや回復に重要な影響を与える複雑なタスクです。しかし、人工知能(AI)と迅速な反応型脳...

データサイエンス

「誰も所有していないサービスを修復するために、アンブロックされたものを使う」

「サービスが誰にも所有されていないのは珍しいことではありませんほとんどの文書化もない状態で、Unblockedの魔法を使って、...

AI研究

新しい人工知能(AI)の研究アプローチは、統計的な視点からアルゴリズム学習の問題として、プロンプトベースのコンテキスト学習を提示します

インコンテキスト学習は、最近のパラダイムであり、大規模言語モデル(LLM)がテストインスタンスと数少ないトレーニング例を...