メタファーAPI:LLM向けに構築された革命的な検索エンジン

Metaphor API Revolutionary search engine built for LLM

インターネットは、誰もがどんなトピックに関しても最新の情報にアクセスできるユートピアでした。しかし、ユーザーの注意を引くための激しい競争がサイトを歪めました。Metaphorチームは、これがGoogle検索の低下に最も顕著に現れていると信じています。結果のトラフィックを生かすためにGoogleの検索結果で上位にランキングすることは非常に重要であり、それには検索エンジン最適化という業界があります。その結果、ウェブサイトは最高のコンテンツを持つことよりも、Googleの検索結果でより高いランキングを獲得するために激しく競い合っています。例えば、「ナスパルメザンのレシピ」といった比較的簡単なクエリでもです。

Metaphorチームは、巨大な言語モデルの力を利用して検索の魅力を取り戻すことを目指しました。GPT3などの進歩がこれが可能であると彼らに希望を与えました。彼らはスタートアップ投資を得て、GPUクラスターを購入し、検索を向上させるために取り組みました。インターネット検索を行う際に、人類の知識の総量に手を引かれているような感覚を作り出すことを目指しています。

グループはMetaphor APIを導入しました。これは、LLMをウェブと統合するための統一されたインタフェースです。以下の数行のコードを使用できます:

  • キーワードまたはメタファーの検索を試してみてください
  • 解析されたHTMLが即座に返されます。ウェブをスクレイピングする必要はありません。

メタファー検索を行う場合、トランスフォーマーベースのモデルがクエリに最も関連性の高いリンクを予測するために使用されます。主な違いは、Metaphorでは返される結果がユーザーの具体的な照会により合わせてカスタマイズされていることです。例えば「AIポッドキャスト」とGoogleに入力すると、「The 11 Best AI Podcasts」といったリンクが表示されますが、Metaphorでは品質と関連性によってニューラルに整理された実際のポッドキャストが表示されます。

チームのニューラルネットワークはこのようなテキストを認識し、次のリンクを予測するように訓練されています。その結果、必要なものをオンラインで見つけるための新しいアプローチが生まれ、見つけたリンクを共有する行為を模倣します。初めはわかりにくいかもしれませんが、この方法で行われる検索は関連性の高い有益な結果を生み出すことがあります。以下はいくつかの検索オプションです:

  • 検索を通じて説明したり感じたりする。
  • 希望する種類のエンティティのみを検索します。
  • キーワードが最適なアプローチでないか、検索エンジンがそれを高く評価する必要がないため、Googleが目立たせていないコンテンツを見つけます。
  • 検索のリンクと類似したリンクをさらに探します。

主な特徴

  • Metaphorはリンクの予測機能にトランスフォーマーベースのアーキテクチャを使用しています。これにより、通常の言語の表現力を活用した検索が行われます。
  • 任意のウェブページに対して、リッチな解析されたHTMLを即座に返します。ウェブスクレイピングは問題ありません。
  • 利用可能な基準を使用して、検索を時間枠やドメインで絞り込むことができます。
  • 使いやすく、PythonとNodeのSDKが付属しています。すべてをGPTに任せる方法については、ガイドをご覧ください。
  • インデックスの任意のページのコンテンツを即座に返すことができます。
  • より多くの結果が返され、LLMがそれらを整理できます。
  • 価格はBing APIよりも大幅に低いです。
  • Metaphorを使用した最初の1000件のクエリは永久に無料です。

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「Microsoft AIが意図せずに秘密の情報を公開し、3年間にわたって38TBの機密データへのアクセス権を提供しました」

「過剰供給されたSASトークンが、約3年間にわたってGitHub上で38TBもの大量の個人データを公開していた物語」

データサイエンス

「PyTorch ProfilerとTensorBoardを使用して、データ入力パイプラインのボトルネックを解消する」

「これは、GPUベースのPyTorchワークロードのパフォーマンス分析と最適化に関するシリーズ投稿の4番目の投稿ですこの投稿では...

機械学習

「RBIは、規制監督のためにAIを活用するために、マッキンゼーとアクセンチュアと提携します」

規制監督における重要な変化を示す動きとして、インド準備銀行(RBI)は、国際的なコンサルティング企業であるマッキンゼー・...

データサイエンス

「PandasAIの包括的ガイド」

イントロダクション 生成AIと大規模言語モデル(LLM)は、人工知能(AI)と機械学習(ML)に新たな時代をもたらしました。こ...

AIニュース

(sekai no toppu 10 no sōsei AI sutātappu)

はじめに 生成AIは現在、世界中の人々の好奇心を引きつけています。私たちのソーシャルネットワーキングフィード内の仮想キャ...

データサイエンス

カスタムGPTの構築:教訓とヒント

去る2023年11月6日の火曜日、サム・アルトマン(OpenAIのCEO)は、自然言語を使用して個人専用のChatGPTを作成できるようにす...