Search Results NGC

「LMQLに出会ってください：大規模言語モデル（LLM）との対話のためのオープンソースプログラミング言語とプラットフォーム」

大規模言語モデルは、人工知能コミュニティに大きな影響を与えています。最近のその影響は、医療、金融、教育、エンターテイメントなど、さまざまな業界に貢献しています。GPT、DALLE、BERTなどのよく知られた大規模言語モデルは、非凡なタスクを実行し、生活を容易にします。DALLE 2は、単純なテキストの説明に応じて画像を作成できますし、GPT-3は優れたエッセイを書いたり、コードを完成させたり、長いテキストの段落を要約したり、人間のように質問に答えたり、短い自然言語のプロンプトだけでコンテンツを生成したりすることができます。これらのモデルは、人工知能と機械学習を急速にパラダイムシフトさせるのに役立っています。最近、研究チームがLMQLというオープンソースのプログラミング言語とプラットフォームを導入しました。LMQLは、プロンプト、制約、スクリプトを組み合わせることで、大規模言語モデル（LLM）の機能を向上させます。Pythonに基づく宣言的なSQLのような言語であるLMQLは、制御フロー、制約によるデコーディング、ツールの拡張を可能にします。この種のスクリプティングにより、非常に少量のコードで複数のパートからなるプロンプトフローを簡素化することができます。研究者は、LMQLを使用してLMP（言語モデルプログラミング）を可能にしました。これにより、LMPのプロンプトから制約と制御フローを取り込んで、効率的な推論手順を生成することができます。これらの高度な制約は、生成時に厳密に強制されるいくつかの評価セマンティクスの助けを借りて、トークンマスクに変換されます。チームは、生成されたテキストの再クエリと検証の高いコストを回避するためにLMQLを導入しました。これにより、LMQLは後続の反復を必要とせずに、最初の試行で望ましい出力に近いテキストを生成することができます。また、LMQLの制約により、ユーザーは生成されたテキストが特定の文法的または構文的なルールに従うこと、あるいは特定の単語やフレーズが回避されていることを確認するなど、テキスト生成プロセスをガイドまたは制御することができます。研究者は、LMQLが既存のAPIでは実装が難しい対話型フローなど、さまざまな最先端のプロンプト手法をキャプチャできることを示しました。評価によると、LMQLは多数の下流タスクで精度を維持または向上させながら、使用料が発生するAPIの計算やコストを大幅に削減し、13〜85%のコスト削減が実現されています。 LMQLは、ユーザーが一般的なプロンプト技術や高度なプロンプト技術を簡単かつ簡潔に表現できるようにします。Hugging FaceのTransformers、OpenAI API、Langchainと統合されています。同様の開発者リソースはlmql.aiで利用可能であり、ブラウザベースのPlayground IDEも実験用に利用できます。要約すると、LMQLは効率性と精度を向上させる強力なツールであり、言語モデルプログラミングを容易にする有望な開発です。これにより、ユーザーはより少ないリソースで望ましい結果を達成しやすくなります。

学習トランスフォーマーコード第2部 – GPTを間近で観察

私のプロジェクトの第2部へようこそここでは、TinyStoriesデータセットとnanoGPTを使用して、トランスフォーマーとGPTベースのモデルの複雑さについて探求しますこれらはすべて、古いゲーミングラップトップで訓練されました

「OpenAI APIを使用して、大規模な言語モデルを用いた表データ予測の改善」

最近では、大規模な言語モデルやそのアプリケーションやツールがニュースやソーシャルメディアで話題になっていますGitHubのトレンディングページには、広範なリポジトリが大量に掲載されています...

スコア！チームNVIDIAが推薦システムでトロフィーを獲得しました

5人の機械学習の専門家が4つの大陸に分散し、最先端のレコメンデーションシステムを構築するための激しい競争で3つのタスク全てに勝利しました。この結果は、グループがNVIDIA AIプラットフォームをデジタル経済のエンジンであるこれらのエンジンに適用する際の知識と技術の賜物です。レコメンデーションシステムは、毎日数十兆の検索結果、広告、製品、音楽、ニュースストーリーを数十億人に提供しています。 Amazon KDD Cup ’23には、450以上のデータサイエンティストチームが参加しました。この3ヶ月間のチャレンジには、予測不可能な展開と、緊迫したフィニッシュがありました。高速ギアへの切り替えコンペティションの最初の10週間、チームは快適なリードを築きました。しかし、最終フェーズでは、主催者が新しいテストデータセットに切り替え、他のチームが急進しました。 NVIDIANsは夜間や週末にも働き、追いつくために最高のパフォーマンスを発揮しました。彼らは、ベルリンから東京まで様々な都市に住むチームメンバーからの24時間体制のSlackメッセージを残しました。「私たちはぶっ通しで働いていました。非常に興奮していました」とサンディエゴのチームメンバーであるクリス・デオットは語りました。別の名前の製品最後の3つのタスクは最も難しかったです。参加者は、ユーザーのブラウジングセッションのデータに基づいて、ユーザーがどの製品を購入するかを予測する必要がありました。しかし、トレーニングデータには多くの選択肢のブランド名が含まれていませんでした。「最初から、これは非常に、非常に難しいテストだとわかっていました」とギルベルト「ギバ」ティテリッツは述べました。 KGMONの救世主ブラジルのクリチバを拠点とするティテリッツは、Kaggleのコンペティションでグランドマスターにランクされた4人のメンバーの一人であり、データサイエンスのオンラインオリンピックであるKaggleのグランドマスターを勝ち抜いた数多くの機械学習のニンジャのチームの一員です。NVIDIAの創設者兼CEOであるジェンセン・ファンは彼らをKGMON（Kaggle Grandmasters of NVIDIA）と呼び、ポケモンにちなんだ遊び心のある名前です。ティテリッツは、数十の実験で、大規模な言語モデル（LLM）を使用して生成型AIを構築し、製品名を予測しましたが、どれもうまくいきませんでした。チームは創造的な閃きで回避策を見つけました。新しいハイブリッドランキング/分類モデルを使用した予測が的中しました。ギリギリの戦い競争の最後の数時間、チームは最後の提出用にすべてのモデルをまとめるために急いでいました。彼らは最大40台のコンピュータで夜間の実験を実施していました。…

「スコア！チームNVIDIAが推薦システムでトロフィーを獲得」

4つの大陸に広がる5人の機械学習のエキスパートで構成されるクラックチームが、最先端の推薦システムを構築するための激しい競争で、全ての3つのタスクに勝利しました。その結果は、このデジタル経済のエンジンにおいて、NVIDIAのAIプラットフォームを実世界の課題に効果的に適用するグループの知識を反映しています。推薦システムは、毎日数十億人に対して兆個の検索結果、広告、製品、音楽、ニュースストーリーを提供しています。 Amazon KDD Cup ’23では、450以上のデータサイエンティストチームが競い合いました。この3ヶ月間のチャレンジには多くの曲折と緊迫したフィニッシュがありました。高速ギアへの切り替え競争の最初の10週間では、チームはリードを築きました。しかし、最終フェーズでは、主催者が新しいテストデータセットに切り替え、他のチームが追い上げました。 NVIDIANsは夜間や週末にも働き、追いつくために最高のギアに切り替えました。彼らはベルリンから東京までの都市に住むチームメンバーからの24時間対応のSlackメッセージの軌跡を残しました。サンディエゴのチームメンバーであるクリス・デオットは、「私たちは絶えず働いていました。とてもエキサイティングでした」と語りました。別の名前の製品 3つ目のタスクは最も難しかったです。参加者は、ユーザーのブラウジングセッションのデータに基づいて、ユーザーがどの製品を購入するかを予測しなければなりませんでした。しかし、トレーニングデータには多くの選択肢のブランド名が含まれていませんでした。「最初から、これは非常に非常に困難なテストになると分かっていました」と、ギルベルト・”ギバ”・ティテリックスは述べました。 KGMONの救出ブラジルのクリチバを拠点とするティテリックスは、Kaggleコンペティションのグランドマスターにランクされる4人のチームメンバーの一人で、データサイエンスのオンラインオリンピックであるKaggleのチャンピオンです。彼らは何十ものコンペティションに勝利した機械学習のニンジャのチームの一部です。NVIDIAの創設者兼CEOであるジェンセン・ファンは、彼らをKGMON（Kaggle Grandmasters of NVIDIA）と呼んでいます。ティテリックスは、大量の言語モデル（LLM）を使用して生成型AIを構築し、製品名を予測しようとしましたが、どれもうまくいきませんでした。チームはクリエイティブな方法を見つけました。新しいハイブリッドランキング/分類モデルを使用した予測結果は的確でした。ギリギリの戦い競争の最後の数時間、チームは最後の提出のためにすべてのモデルをまとめるために競走しました。彼らは最大40台のコンピュータで一晩中の実験を実施していました。東京のKGMONである小野寺一樹は、緊張していました。「実際のスコアが私たちの推定値と一致するかどうか本当に分かりませんでした」と彼は語りました。…

「AIによるデータアナリストのテストに挑戦する」

私の意見では、アナリティクスは、即興の要求の膨大な量のために運営が最も困難な分野の一つです通常、SQLクエリを書いたり、あるいは何らかの分析を行ったりすることが含まれます

Google at ACL 2023′ ACL 2023におけるGoogle

Posted by Malaya Jules, Program Manager, Google 今週、自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルスポンサーであるGoogleでは、50以上の研究発表と、さまざまなワークショップやチュートリアルへの積極的な参加を通じて、この広範な研究領域を紹介いたします。 ACL（Association for Computational Linguistics）は、自然言語に対する計算的手法に関連する幅広い研究分野をカバーする一流の会議であり、オンラインで開催されています。 ACL 2023に登録されている場合、Googleブースにお立ち寄りいただき、数十億人のために興味深い問題を解決するためにGoogleで行われているプロジェクトについて詳しくお知りください。以下でGoogleの参加についてもっと詳しく知ることもできます（Googleの関連情報は太字で表示されます）。理事会および組織委員会エリアチェアは、Dan Garrette、ワークショップチェアは、Annie Louis、パブリケーションチェアは、Lei Shu、プログラム委員会には、Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれます。注目論文…

「ACL 2023でのGoogle」

投稿者: Malaya Jules、プログラムマネージャー、Google 今週、自然言語処理に関する計算言語学の第61回年次総会（ACL）がオンラインで開催されます。ACLは、自然言語に対する計算的アプローチに関心のある広範な研究分野をカバーする主要な学会です。自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルのスポンサーであるGoogleは、50以上の研究発表とさまざまなワークショップやチュートリアルへの積極的な参加とともに、この分野の最新の研究を紹介します。 ACL 2023に登録されている場合、Googleブースにぜひお立ち寄りいただき、何十億もの人々のために興味深い問題を解決するためのGoogleのプロジェクトについて詳しく学んでいただければと思います。以下でGoogleの参加についてもっと詳しく知ることもできます（Googleの関連情報は太字で表示されます）。ボードと組織委員会エリアチェアには、Dan Garrette、ワークショップチェアには、Annie Louis、発表チェアには、Lei Shu、プログラム委員には、Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれています。注目論文 NusaCrowd: インドネシアNLPリソースのオープンソースイニシアチブ Samuel Cahyawijaya, Holy Lovenia, Alham…

GoogleがACL 2023に参加します

Posted by Malaya Jules, Program Manager, Google 今週、計算言語学協会（ACL）の第61回年次総会がオンラインで開催されています。ACLは、自然言語に関する計算手法に関連する広範な研究分野をカバーする一流のカンファレンスです。自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルスポンサーであるGoogleは、50以上の論文を発表し、様々なワークショップやチュートリアルに積極的に参加することで、この分野での最新の研究を紹介します。 ACL 2023に登録されている場合、Googleブースにぜひ訪れ、数十億人の人々のために興味深い問題を解決するためにGoogleで行われているプロジェクトについて詳しく学んでください。以下でGoogleの参加についてもっと詳しく学ぶこともできます（Googleの関連組織は太字で示されています）。理事会および組織委員会エリアチェアには：Dan Garrette、ワークショップチェアには：Annie Louis、出版チェアには：Lei Shu、プログラム委員会には：Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれます。注目論文 NusaCrowd：Indonesian NLPリソースのオープンソースイニシアティブ Samuel…

「ChatGPTコードインタプリタを使用して、人道支援データの非構造化Excelテーブルを分析する」

新しい実験的な機能「コードインタプリター」は、ChatGPTの使用の一環としてPythonコードの生成と実行をネイティブにサポートしますデータエンジニアリングを行うためには大きな潜在能力を示しています

Learn more about Search Results NGC - Page 55