Search Results Jam

「時系列分析のための欠落した日付の修正方法」

「BigQueryでTVFを使用して、時系列分析のための日付範囲を簡単に生成する方法を学びましょう」

「ウイルスの正義を理解する」

「著者であり、アフリカ系アメリカ人研究の学者であるルハ・ベンジャミンは、MITライブラリのスタッフに対し、より公正な未来のために技術の「デフォルト設定」を再考するよう要請しています」

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

言語ドメインにおける画期的かつオープンソースの対話型AIモデルのリスト

会話型AIは、仮想エージェントやチャットボットのような技術を指し、大量のデータと自然言語処理を使用して人間の対話を模倣し、音声とテキストを認識するものです。最近、会話型AIの領域は大きく進化し、特にChatGPTの登場によります。以下は、会話型AIを革新している他のオープンソースの大規模言語モデル（LLM）のいくつかです。 LLaMA リリース日：2023年2月24日 LLaMaは、Meta AIによって開発された基礎的なLLMです。他のモデルよりも柔軟で責任ある設計となっています。LLaMaのリリースは、研究コミュニティへのアクセスを民主化し、責任あるAIの実践を促進することを目的としています。 LLaMaは、7Bから65Bまでのパラメータ数の異なるサイズで提供されています。モデルへのアクセス許可は、業界の研究所、学術研究者などに対してケースバイケースで付与されます。 OpenAssistiant リリース日：2023年3月8日 Open Assistantは、LAION-AIによって開発されたプロジェクトで、優れたチャットベースの大規模言語モデルを提供することを目的としています。大量のテキストとコードのトレーニングを通じて、クエリへの応答、テキスト生成、言語の翻訳、創造的なコンテンツの生成など、さまざまなタスクを実行する能力を獲得しています。 OpenAssistantはまだ開発段階ですが、Google検索などの外部システムとのやり取りを通じて情報を収集するなど、既にいくつかのスキルを獲得しています。また、オープンソースのイニシアチブでもあり、誰でも進展に貢献することができます。 Dolly リリース日：2023年3月8日 Dollyは、Databricksによって開発された命令に従うLLMです。商用利用のためにライセンスされたDatabricksの機械学習プラットフォームでトレーニングされています。DollyはPythia 12Bモデルで動作し、約15,000件の命令/応答のレコードをトレーニングデータとして使用しています。最先端ではありませんが、Dollyは命令に従うパフォーマンスが非常に高品質です。 Alpaca リリース日：2023年3月13日 Alpacaは、スタンフォード大学によって開発された小規模な命令に従うモデルです。MetaのLLaMa（7Bパラメータ）モデルをベースにしています。多くの命令に従うタスクで優れたパフォーマンスを発揮する一方で、再現性も容易で安価になるように設計されています。 OpenAIのtext-davinci-003モデルに似ていますが、製作コストがかなり安価（＜$600）です。モデルはオープンソースであり、52,000の命令に従うデモンストレーションのデータセットでトレーニングされています。 Vicuna リリース日：2023年4月 Vicunaは、UC Berkeley、CMU、Stanford、UC San…

話してください：モデルが読み取る単語の数はいくつですか

「LM（言語モデル）は、最近の数ヶ月間でそのスキルを披露し、様々なタスクに熟練していることを示していますこれらすべては、1つの対話モードで行われていますプロンプティング最近数ヶ月間では、...」

「機械学習支援コンピュータアーキテクチャ設計のためのオープンソースジムナジウム」

Amir Yazdanbakhsh氏、研究科学者およびVijay Janapa Reddi氏、訪問研究者、Google Research コンピュータアーキテクチャの研究は、コンピュータシステムの設計を評価し形成するためのシミュレータとツールの開発の長い歴史があります。たとえば、SimpleScalarシミュレータは1990年代末に導入され、さまざまなマイクロアーキテクチャのアイデアを探索することができました。gem5、DRAMSysなどのコンピュータアーキテクチャのシミュレータとツールは、コンピュータアーキテクチャの研究の進歩において重要な役割を果たしてきました。その後、これらの共有リソースとインフラストラクチャは、産業界と学界の両方に利益をもたらし、研究者がお互いの業績を体系的に積み重ねることを可能にし、この分野での重要な進展をもたらしました。それにもかかわらず、コンピュータアーキテクチャの研究は進化し続けており、産業界と学界は機械学習（ML）最適化に向かって進んでいます。これには、コンピュータアーキテクチャのためのML、TinyMLアクセラレーションのためのML、DNNアクセラレータデータパス最適化、メモリコントローラ、消費電力、セキュリティ、プライバシーなど、厳格な特定のドメイン要件が含まれます。以前の研究は、設計最適化におけるMLの利点を示していますが、強力で再現性のあるベースラインの欠如は、異なる方法間での公平で客観的な比較を妨げ、展開にいくつかの課題を提起しています。着実な進歩を確保するためには、これらの課題を共同で理解し対処することが重要です。これらの課題を緩和するために、「ArchGym：機械学習支援アーキテクチャ設計のためのオープンソースジム」というタイトルでISCA 2023で採用された論文において、ArchGymを紹介しました。ArchGymにはさまざまなコンピュータアーキテクチャシミュレータとMLアルゴリズムが含まれています。ArchGymの利用により、十分な数のサンプルがあれば、さまざまなMLアルゴリズムのいずれかが各ターゲット問題の最適なアーキテクチャ設計パラメータセットを見つけることができることが示されています。どの解決策も必ずしも他の解決策よりも優れているわけではありません。これらの結果はまた、与えられたMLアルゴリズムの最適なハイパーパラメータを選択することが、最適なアーキテクチャ設計を見つけるために不可欠であることを示していますが、それらを選択することは容易ではありません。私たちは、複数のコンピュータアーキテクチャシミュレーションとMLアルゴリズムを含むコードとデータセットを公開します。機械学習支援アーキテクチャ研究の課題機械学習支援アーキテクチャ研究には、次のようないくつかの課題があります：特定の機械学習支援コンピュータアーキテクチャ問題（たとえば、DRAMコントローラの最適な解を見つける）に対して、最適なMLアルゴリズムやハイパーパラメータ（学習率、ウォームアップステップなど）を特定するための体系的な方法がありません。ランダムウォークから強化学習（RL）まで、MLとヒューリスティックな手法の幅広い範囲がDSEのために使用される可能性があります。これらの手法は、ベースラインの選択に比べて顕著な性能向上を示していますが、最適化アルゴリズムやハイパーパラメータの選択が改善の要因であるかどうかは明確ではありません。したがって、ML支援アーキテクチャDSEの再現性を確保し、普及を促進するために、体系的なベンチマーキング方法を明示する必要があります。コンピュータアーキテクチャシミュレータは、アーキテクチャのイノベーションの基盤となっていましたが、アーキテクチャの探索における正確性、速度、コストのトレードオフに対応する必要が出てきています。性能推定の正確性と速度は、サイクル精度とMLベースのプロキシモデルなどの基礎となるモデリングの詳細によって大きく異なります。解析的またはMLベースのプロキシモデルは詳細なレベルの詳細を捨てることによって俊敏性を持ちますが、一般に高い予測エラーを抱えます。また、商業ライセンスにより、シミュレータから収集された実行回数には厳しい制限がある場合があります。全体として、これらの制約は、パフォーマンスとサンプル効率のトレードオフに影響を与え、アーキテクチャ探索のための最適化アルゴリズムの選択に影響を与えるものです。これらの制約の下でさまざまなMLアルゴリズムの効果を体系的に比較する方法を明確にすることは困難です。最後に、MLアルゴリズムの状況は急速に変化しており、一部のMLアルゴリズムはデータを必要とします。また、DSEの結果をデータセットなどの有意義な成果物に変換することは、設計空間に関する洞察を得るために重要です。この急速に変化するエコシステムでは、探索アルゴリズムのオーバーヘッドをどのように分散するかが重要です。基礎となる探索アルゴリズムには無関係に、探索データをどのように活用するかは明白ではなく、体系的に研究されていません。 ArchGymの設計 ArchGymは、異なるMLベースの探索アルゴリズムを公平に評価するための統一されたフレームワークを提供することによって、これらの課題に対処しています。主なコンポーネントは2つあります：1）ArchGym環境、および2）ArchGymエージェントです。環境は、アーキテクチャのコストモデルをカプセル化しています。これには、レイテンシ、スループット、面積、エネルギーなどが含まれます。アーキテクチャパラメータのセットに基づいて、ワークロードを実行するための計算コストを決定するためのものです。エージェントは、探索に使用されるMLアルゴリズムをカプセル化しています。これにはハイパーパラメータとガイドポリシーが含まれます。ハイパーパラメータは、最適化されるモデルに固有のアルゴリズムにとって内在的なものであり、パフォーマンスに大きな影響を与えることがあります。一方、ポリシーは、エージェントが反復的にパラメータを最適化するためにどのように選択するかを決定します。特に、ArchGymにはこれらの2つのコンポーネントを接続する標準化されたインターフェースも含まれており、同時に探索データをArchGymデータセットとして保存します。インターフェースは、ハードウェアの状態、ハードウェアのパラメータ、およびメトリックスという3つの主要なシグナルから成り立っています。これらのシグナルを使用して、エージェントはハードウェアの状態を観測し、ハードウェアのパラメータのセットを提案し、（ユーザー定義の）報酬を反復的に最適化します。報酬は、パフォーマンス、エネルギー消費などのハードウェアのパフォーマンスメトリックスの関数です。 ArchGymは、ArchGym環境とArchGymエージェントの2つの主要なコンポーネントで構成されています。ArchGym環境はコストモデルをカプセル化し、エージェントはポリシーとハイパーパラメーターの抽象化です。これらの2つのコンポーネントを接続する標準化されたインターフェースにより、ArchGymは異なるMLベースの探索アルゴリズムを公平に評価する統一されたフレームワークを提供し、探索データをArchGymデータセットとして保存します。 MLアルゴリズムはユーザー定義のターゲット仕様を満たすために同様に好ましいです ArchGymを使用して、さまざまな最適化目標とDSE問題において、他のMLアルゴリズムと同じハードウェアのパフォーマンスをもたらす少なくとも1つのハイパーパラメータのセットが存在することを実証的に示します。MLアルゴリズムまたはそのベースラインの適切に選択されていない（ランダムな選択）ハイパーパラメータは、特定のMLアルゴリズムの特定のファミリーが他のアルゴリズムよりも優れているという誤った結論につながる可能性があります。私たちは、十分なハイパーパラメータの調整により、ランダムウォーク（RW）を含むさまざまな探索アルゴリズムが最良の報酬を特定できることを示します。ただし、適切なハイパーパラメータのセットを見つけるには、徹底的な探索または運も必要な場合があります。十分な数のサンプルがあれば、一連の探索アルゴリズムにわたって同じパフォーマンスをもたらす少なくとも1つのハイパーパラメータのセットが存在します。ここで、破線は最大の正規化報酬を示しています。Cloud-1、cloud-2、stream、randomはDRAMSys（DRAMサブシステム設計空間探索フレームワーク）の4つの異なるメモリトレースを示しています。データセットの作成と高精度プロキシモデルのトレーニング ArchGymを使用して統一されたインターフェースを作成することは、アーキテクチャシミュレーションの速度を向上させるためのデータ駆動型のMLベースのプロキシアーキテクチャコストモデルの設計に使用できるデータセットの作成を可能にします。アーキテクチャコストを近似するためのMLモデルを評価するために、ArchGymはDRAMSysからの各ランのデータを記録する能力を活用して、4つのデータセットバリアントを作成します。各バリアントには、2つのカテゴリを作成します：（a）異なるエージェント（ACO、GA、RW、BO）から収集されたデータを表す「多様なデータセット」と、（b）ACOエージェントのみから収集されたデータを示す「ACOのみ」。これらのデータセットはArchGymとともにリリースされます。私たちは、各データセットでランダムフォレスト回帰を使用してプロキシモデルをトレーニングし、DRAMシミュレータの設計のレイテンシを予測することを目的としています。私たちの結果は次のとおりです：データセットのサイズを増やすと、平均正規化二乗平均誤差（RMSE）はわずかに減少します。…

Google at ACL 2023′ ACL 2023におけるGoogle

Posted by Malaya Jules, Program Manager, Google 今週、自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルスポンサーであるGoogleでは、50以上の研究発表と、さまざまなワークショップやチュートリアルへの積極的な参加を通じて、この広範な研究領域を紹介いたします。 ACL（Association for Computational Linguistics）は、自然言語に対する計算的手法に関連する幅広い研究分野をカバーする一流の会議であり、オンラインで開催されています。 ACL 2023に登録されている場合、Googleブースにお立ち寄りいただき、数十億人のために興味深い問題を解決するためにGoogleで行われているプロジェクトについて詳しくお知りください。以下でGoogleの参加についてもっと詳しく知ることもできます（Googleの関連情報は太字で表示されます）。理事会および組織委員会エリアチェアは、Dan Garrette、ワークショップチェアは、Annie Louis、パブリケーションチェアは、Lei Shu、プログラム委員会には、Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれます。注目論文…

「ACL 2023でのGoogle」

投稿者: Malaya Jules、プログラムマネージャー、Google 今週、自然言語処理に関する計算言語学の第61回年次総会（ACL）がオンラインで開催されます。ACLは、自然言語に対する計算的アプローチに関心のある広範な研究分野をカバーする主要な学会です。自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルのスポンサーであるGoogleは、50以上の研究発表とさまざまなワークショップやチュートリアルへの積極的な参加とともに、この分野の最新の研究を紹介します。 ACL 2023に登録されている場合、Googleブースにぜひお立ち寄りいただき、何十億もの人々のために興味深い問題を解決するためのGoogleのプロジェクトについて詳しく学んでいただければと思います。以下でGoogleの参加についてもっと詳しく知ることもできます（Googleの関連情報は太字で表示されます）。ボードと組織委員会エリアチェアには、Dan Garrette、ワークショップチェアには、Annie Louis、発表チェアには、Lei Shu、プログラム委員には、Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれています。注目論文 NusaCrowd: インドネシアNLPリソースのオープンソースイニシアチブ Samuel Cahyawijaya, Holy Lovenia, Alham…

GoogleがACL 2023に参加します

Posted by Malaya Jules, Program Manager, Google 今週、計算言語学協会（ACL）の第61回年次総会がオンラインで開催されています。ACLは、自然言語に関する計算手法に関連する広範な研究分野をカバーする一流のカンファレンスです。自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルスポンサーであるGoogleは、50以上の論文を発表し、様々なワークショップやチュートリアルに積極的に参加することで、この分野での最新の研究を紹介します。 ACL 2023に登録されている場合、Googleブースにぜひ訪れ、数十億人の人々のために興味深い問題を解決するためにGoogleで行われているプロジェクトについて詳しく学んでください。以下でGoogleの参加についてもっと詳しく学ぶこともできます（Googleの関連組織は太字で示されています）。理事会および組織委員会エリアチェアには：Dan Garrette、ワークショップチェアには：Annie Louis、出版チェアには：Lei Shu、プログラム委員会には：Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれます。注目論文 NusaCrowd：Indonesian NLPリソースのオープンソースイニシアティブ Samuel…

「ウォール街を打倒するために暗号通貨が誓ったが、代わりに飲み込まれている」

「セクターが停滞し、厳しい新たなSECの監視を受けている中、ウォールストリートの重要人物たちがそれを取り囲むように動いています」

Learn more about Search Results Jam - Page 10