機械学習なしで最初の自動修正を作成する

機械学習なしで自動修正を作成する

独自のスペルチェッカーを構築するためのステップバイステップガイド

Photo by Markus Spiske on Unsplash

スペルの修正はどこにでもあります。私がこの記事を書いている間、Grammarlyは静かにタイプミスを修正してくれています。電子商取引のウェブサイトにクエリを入力すると、まず正しいフレーズに移動して、希望する商品のタイトルとより良く一致させます。

スペルの修正は、書かれたコミュニケーションにおいて間違いなく重要です。コミュニケーションを向上させ、専門性を保ち、生産性を向上させます。スペルチェッカーを構築することを考えると、一つの大きな解決策が浮かび上がってくるかもしれません:ディープラーニング。しかし、ディープラーニングは必ずしも最適な選択肢ではありません。

この記事では、スペル修正のための古典的な技術である「ノイズチャネル」と、ディープラーニングのバックグラウンドを必要としない修正モジュールを構築する方法を紹介します。

ノイズチャネル

私たちは、文書内のすべての単語がある種の「歪み」を受けたノイズチャネルを通過したと考えることができます。私たちは、「デコーダーチャネル」と呼ばれる「歪み」を元に戻すことができるチャネルを学習することを目指しています。

スペルミスの修正には、すべての可能な修正候補を収集し、デコーダーチャネルを通過させて、最も尤度の高い候補を見つけることができます。

Noisy channel and Decoder channel (Image by the author)

機械学習アプローチと比較して、ノイズチャネルは以下の理由からはじめるにはより好ましいと考えています:

  • コスト効率:ディープモデルを構築および維持する必要はありません。ディープラーニングモデルを構築、提供、および維持するリソースを持っているのは一部の人だけです。
  • ホワイトボックス:ノイズチャネルはより解釈可能です。スペルチェッカーから予期しない動作がある場合、スコアをより小さな要素に分解し、問題の発生源を特定することができます。したがって、適切な最適化を行うことができます(例:辞書の拡張、ハイパーパラメータの調整など)。

ただし、アプリケーションのリソースが増えるにつれて、seq2seqなどのディープモデルがより良い選択肢になります:

  • ノイズチャネルには不足がある

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

機械学習

OpenAIがBaby Llamaを発表 - 低電力デバイス向けのLLM!

人工知能の世界からの最新ニュース! OpenAIの有名な深層学習の専門家、Andrej Karpathy氏が、リソース制約のあるデバイス上...

データサイエンス

「良い説明がすべてです」

私は大規模な言語モデル(LLM)をしばらく使っていますが、個人のプロジェクトや日常の仕事の一環として使用しています多くの...

AIニュース

「AIは非英語母国語話者に差別的」

最近の研究で、人工知能(AI)について不安な真実が明らかになりました。エッセイや就職応募書類などの作品を検出するために...

機械学習

「ディープランゲージモデルは、コンテキストから次の単語を予測することを学ぶことで、ますます優れてきていますこれが本当に人間の脳が行っていることなのでしょうか?」

ディープラーニングは、テキスト生成、翻訳、および補完の分野で最近大きな進歩を遂げています。周囲の文脈から単語を予測す...

機械学習

この人工知能ベースのタンパク質言語モデルは、汎用のシーケンスモデリングを解除します

人々が生命の言語を学ぶ方法は、自然言語の構文意味とタンパク質のシーケンス機能を比較することによって根本的に変わりまし...

機械学習

役に立つセンサーがAI in a Boxを立ち上げる

「あなた自身のプライベートで安全なAIボックスを持ってみたいですか?全部のアプリ、不快感はなしでそれがUseful Sensorsが...