Search Results ML

Google AIがFlan-T5をオープンソース化 NLPタスクにおいてテキスト対テキストアプローチを使用するトランスフォーマーベースの言語モデル

大規模な言語モデル、例えばPaLM、Chinchilla、およびChatGPTは、自然言語処理（NLP）のタスクを実行する新たな可能性を開いています。先行研究では、指示に基づくさまざまなNLPタスクで言語モデルを微調整する指示調整が、指示を与えられた未知のタスクを実行する能力をさらに向上させることが示されています。本論文では、オープンソースの指示一般化イニシアティブのアプローチと結果を比較し、彼らの微調整手順と戦略を評価しています。この研究では、指示調整方法の詳細に焦点を当て、個々の要素を取り除いて直接比較しています。彼らは、「Flan 2022 Collection」という用語で、データ収集やデータと指示調整プロセスに適用される手法に焦点を当て、Flan 2022をPaLM 540Bと組み合わせた新興かつ最先端の結果に重点を置いたデータ収集の最も包括的なコレクションを公開しています。このコレクションには、数千のプレミアムなテンプレートとより良いフォーマットパターンが追加されています。彼らは、評価ベンチマークのすべてで、このコレクションで訓練されたモデルが、オリジナルのFlan 2021 their、T0++ their、Super-Natural Instructions their、およびOPT-IML theirのような他の公開コレクションよりも優れたパフォーマンスを発揮することを示しています。同じサイズのモデルにおいて、MMLUおよびBIG-Bench Hardの評価ベンチマークにおいて4.2%以上および8.5%の改善が見られます。Flan 2022のアプローチの分析によると、これらの堅牢な結果は、より大きくより多様なタスクのコレクションと、ゼロショット、フューショット、およびチェーンオブソートのプロンプトを使用したトレーニングなど、いくつかの直感的な戦略による微調整とデータ拡張の結果であると言えます。例えば、フューショットプロンプトの10%の増加は、ゼロショットプロンプトの結果を2%以上改善します。また、入出力対の反転を行うことでタスクのソースをバランスさせ、タスクの多様性を向上させることが、パフォーマンスにとって重要であることも示されています。シングルタスクの微調整では、得られたFlan-T5モデルはT5モデルよりも収束が速く、より優れた性能を発揮するため、指示調整済みのモデルは後続のアプリケーションにおいてより効率的な計算的な出発点を提供します。これらの結果とツールを公開することで、指示の調整に利用できるリソースが効率的になり、より汎用性の高い言語モデルの開発を加速することが期待されています。本研究の主な貢献は以下の通りです： • 方法論的な貢献：ゼロショットおよびフューショットのキューを混合してトレーニングすることで、両環境で有意に優れた結果を生み出すことを示す。 • 効率的な指示調整のための主要な手法を測定および示し、セクション3.3のスケーリング、入力反転を使用したタスクの多様化の向上、チェーンオブソートのトレーニングデータの追加、およびさまざまなデータソースのバランスを取ることを含む。 • 結果：これらの技術的な決定により、利用可能なオープンソースの指示調整コレクションと比較して、保留中のタスクパフォーマンスが3〜17%向上します。 •…

7月号データサイエンティストのための気候リソース

多くの人にとって、夏の訪れは以前は単純な興奮の原因でした：学校が終わる、仕事のスケジュールは少し忙しくないことが多い、ビーチでののんびりした午後や...

3つの難易度レベルでベクトルデータベースを説明する

この記事では、ベクトルデータベースについて、直感的な理解からいくつかの例を交えて、より技術的な詳細に説明しています

Stack Overflowで最もよく尋ねられるPythonリストの10の質問

Stack Overflowは、ソフトウェア、コーディング、データサイエンスなど、さまざまな分野において、数千もの質問と回答を見つけることができる情報の宝庫ですもしコンテンツの作成者に尋ねるとしたら、何について尋ねますか？

新しい人工知能（AI）の研究アプローチは、統計的な視点からアルゴリズム学習の問題として、プロンプトベースのコンテキスト学習を提示します

インコンテキスト学習は、最近のパラダイムであり、大規模言語モデル（LLM）がテストインスタンスと数少ないトレーニング例を入力として観察し、パラメータの更新なしに直接出力をデコードする方法です。この暗黙のトレーニングは、通常のトレーニングとは異なり、例に基づいて重みが変更されることと対照的です。出典: https://arxiv.org/pdf/2301.07067.pdf なぜインコンテキスト学習が有益であるのかという問題が生じます。2つの回帰タスクをモデル化したいと仮定できますが、制限は1つのモデルしか使用できないということです。ここでインコンテキスト学習は便利であり、タスクごとに回帰アルゴリズムを学習することができます。つまり、モデルは異なる入力のセットに対して別々に適合した回帰を使用します。論文「Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning」では、インコンテキスト学習の問題をアルゴリズム学習の問題として形式化しています。彼らは学習アルゴリズムとしてトランスフォーマーを使用し、推論時に別のターゲットアルゴリズムを実装するためにトレーニングして特化できると述べています。この論文では、トランスフォーマーを介したインコンテキスト学習の統計的側面を探求し、理論的予測を検証するために数値評価を行いました。この研究では、2つのシナリオを調査しました。最初のシナリオでは、プロンプトはi.i.d（入力、ラベル）のペアのシーケンスで構成されています。もう一つのシナリオでは、シーケンスは動的システムの軌跡です（次の状態は前の状態に依存します：xm+1 = f(xm) + ノイズ）。では、このようなモデルをどのようにトレーニングするのでしょうか？ ICLのトレーニングフェーズでは、T個のタスクがデータ分布 {Dt}t=1Tに関連付けられます。各タスクに対して、対応する分布からトレーニングシーケンスStを独立してサンプリングします。その後、Stの部分シーケンスとシーケンスStから値xを渡して、xに対して予測を行います。ここではメタラーニングのフレームワークのようです。予測後、損失を最小化します。ICLトレーニングの背後にある直感は、対象のタスクに最適なアルゴリズムを探し出すことです。…

生成AI：世界はどこに向かっているのか？

はじめにテクノロジーの絶え間ない進化の世界で、AI製品の開発と展開が急速に拡大していることを目撃しています。過去6か月間、大手のテック企業や野心的なスタートアップ企業が人工知能の分野で大きな進展を遂げてきました。マイクロソフトやOpenAIなどの企業が注目を集めている一方で、彼らは氷山の一角に過ぎないことを認識することが重要です。急速に成長しているエンタープライズAI産業で競争力を維持するために、事業は常に革新し、新たな可能性を探求しています。そのような戦略の一つは、他社との協力や非組織的な成長です。業界内の他の企業の専門知識とリソースを活用することで、事業は顧客向けに優れた製品やサービスを開発することができます。さらに、これらのパートナーシップは新たな市場や以前にアクセスできなかった機会を開くものです。合併、買収、そしてパートナーシップは、新しい技術、人材、顧客基盤へのアクセスを提供し、事業が提供するオファリングを拡大し、収益の多様化を図ることを可能にします。私の観点から見ると、現在のAIの進化サイクルは3つの異なるフェーズに分けることができます。それぞれが成長と進歩を推進しています。あらゆる技術の成長フェーズあらゆる技術は成長の初期段階、成熟期、時代遅れの3つのフェーズを経ます。出現：このフェーズでは、新しい技術が出現し注目を集めます。始まりは少数の先駆的な個人や組織が概念の探求と開発を行うことから始まることが多いです。このフェーズでは、応用が限定的で広範な認識や採用がないことがあります。主な焦点は研究、実験、概念の証明にあります。成長と拡大：技術が実力を示し、その可能性を証明すると、成長と拡大のフェーズに入ります。開発により、機能性、効率性、使いやすさが向上します。公共および私的セクターからの投資の増加が進歩を推進する重要な役割を果たします。このフェーズでは、技術がより広範に受け入れられ、多くの企業が市場に参入し、消費者が採用し始めます。革新と競争が活気づき、急速な進展と改善が生まれます。このフェーズはまた、協力や戦略的パートナーシップを引き起こします。成熟と統合：成熟フェーズでは、技術は業界や社会の確立された一部となります。成長率が安定し、進歩が革命的ではなく漸進的になるポイントに達します。技術は人々の生活や既存のシステムに深く統合されています。このフェーズでは優勝者が出始めます。標準化、最適化、相互運用性はこのフェーズで重要な焦点となります。重要なブレークスルーはまだ発生するかもしれませんが、初期のステージと比べると頻度は低くなります。では、技術としての生成AIが進化のどの段階にあるのか見ていきましょう。これらのフェーズを1つずつ探っていきましょう。詳細はこちら: 生成AI: 定義、ツール、モデル、利点などフェーズ1: 出現 – 新たなAIの時代の幕開け最近、AIは前例のない出現のフェーズを経験しています。また、重要な製品の導入と新たな時代の幕開けを特徴としています。特に、GPT-3（Generative Pre-trained Transformer 3）の導入は、この変革を促進する上で重要な役割を果たしています。その結果、ベンチャーキャピタルの投資がAIの景気づけに注ぎ込まれ、数多くのスタートアップ企業が資金調達を行い、画期的なAI製品を開発するためにAI競争に参加しています。フェーズ1は進行中のプロセスであり、少なくともさらなる6-12か月間は続くと予想されています。この初期フェーズでは、業界の革新者がチャンスを掴み、前進することが予想されます。OpenAIとマイクロソフトの協力が注目すべき例です。彼らの成功は、裏方で技術を磨くための膨大な努力と熱意に帰することができます。これらの組織は、この変革期にAIが提供する可能性を受け入れる者に待ち受ける潜在的な報酬の見本です。フェーズ1で達成された重要なマイルストーンについて詳しく知るには、次の注目すべき発表を参照してください。これらのマイルストーンは、この分野で行われた画期的な進展を証明し、AI革命の勢いが止まることのない未来が訪れる舞台を設定しています。…

ONNXモデル | オープンニューラルネットワークエクスチェンジ

はじめに ONNX（Open Neural Network Exchange）は、深層学習モデルの表現を容易にする標準化されたフォーマットとして広く認識されるようになりました。PyTorch、TensorFlow、Cafe2などのさまざまなフレームワーク間でのシームレスなデータ交換とコラボレーションを促進する能力により、その使用は大きな注目を集めています。 ONNXの主な利点の1つは、フレームワーク間の一貫性を確保する能力にあります。さらに、Python、C++、C#、Javaなどの複数のプログラミング言語を使用してモデルをエクスポートおよびインポートする柔軟性を提供しています。この柔軟性により、開発者は好みのプログラミング言語に関係なく、広いコミュニティ内でモデルを簡単に共有し活用することができます。学習目標このセクションでは、ONNXについて詳しく説明し、モデルをONNX形式に変換する包括的なチュートリアルを提供します。内容は個別のサブヘッダーに整理されます。さらに、ONNX形式へのモデル変換に使用できるさまざまなツールについても探求します。その後、PyTorchモデルをONNX形式に変換する手順に重点を置きます。最後に、ONNXの機能に関する主な結果と洞察を強調した包括的なまとめを発表します。この記事はデータサイエンスブログマラソンの一環として公開されました。詳細な概要 ONNX（Open Neural Network Exchange）は、深層学習モデルに特化した自由に利用できるフォーマットです。その主な目的は、TensorFlowやCaffe2などと共にPyTorchを使用した際に異なる深層学習フレームワーク間でモデルのシームレスな交換と共有を促進することです。 ONNXの注目すべき利点の1つは、最小限の準備とモデルの書き直しの必要性なく、さまざまなフレームワーク間でモデルを転送できる能力です。この機能により、異なるハードウェアプラットフォーム（GPUやTPUなど）上でのモデルの最適化と高速化が大幅に簡素化されます。さらに、研究者はモデルを標準化された形式で共有することができ、コラボレーションと再現性を促進します。効率的にONNXモデルを操作するために、ONNXがいくつかの便利なツールを提供しています。たとえば、ONNX Runtimeはモデルの実行に使用される高性能エンジンとして機能します。さらに、ONNXコンバータはさまざまなフレームワーク間でのモデル変換をシームレスにサポートします。 ONNXは、MicrosoftやFacebookなどの主要なAIコミュニティの貢献によって共同開発されている活発に開発されているプロジェクトです。さらに、NvidiaやIntelなどのハードウェアパートナー、AWS、Microsoft Azure、Google Cloudなどの主要なクラウドプロバイダもONNXをサポートしています。 ONNXとは何ですか？…

AWS上で動作する深層学習ベースの先進運転支援システムのための自動ラベリングモジュール

コンピュータビジョン（CV）では、興味のあるオブジェクトを識別するためのタグを追加したり、オブジェクトの位置を特定するためのバウンディングボックスを追加したりすることをラベリングと呼びますこれは、深層学習モデルを訓練するためのトレーニングデータを準備するための事前のタスクの1つです数十万時間以上の作業時間が、様々なCVのために画像やビデオから高品質なラベルを生成するために費やされています

オリジナルのPDFのフォーマットを保持し、Amazon Textract、Amazon Translate、およびPDFBoxで翻訳されたドキュメントを表示します

様々な業界の企業は、大量のPDF文書を作成し、スキャンし、保存しています多くの場合、その内容はテキスト中心であり、別の言語で書かれているため、翻訳が必要ですこの問題に対処するためには、PDF内のコンテンツを自動的に抽出し、迅速かつ効率的に翻訳する自動化ソリューションが必要です多くの企業は多様な[…]

レストランの革命：飲食業界におけるAIの力

レストラン業界は、人工知能（AI）の力を活用して、業務の効率化、顧客体験の向上、COVID-19パンデミックによる課題への適応を進めています。自動化技術が最前線にあり、過去のマクドナルドの仕事は効率と革新の新時代に置き換わるかもしれません。AIが飲食サービス業界と世界中のレストランを変革している驚くべき方法について探ってみましょう。食品の調理から顧客との対話まで、すべてが革新されています。ロボットによる繰り返し作業の自動化ロボットはもはやSFの幻想ではありません。絵のような街、イタリアのラパッロでは、ウェイターロボットが優雅に料理を提供し、技術と美食の融合を示しています。ロボットとAIを活用することで、レストランは食品の配達やキッチンの運営などの繰り返し作業を最適化することができます。これらのロボットは、チップを作ったりフライバスケットを空にしたりするのに長けており、手作業を減らし、効率を向上させます。また読む: Zomatoが画期的な人工知能を始める顧客との対話の効率化パンデミックにより人手不足が発生し、非接触体験への需要が増加したことで、AIを活用した顧客との対話が普及しています。レストランは今やAIを利用してドライブスルーや電話注文などのプロセスを自動化しています。この自動化により、注文の正確性が向上し、人手不足を緩和することができます。AIを導入することで、レストランは運営能力を向上させ、顧客にとってシームレスで個別化された体験を提供できます。メニューの個別化とアップセルにおけるAIの役割マクドナルドの象徴的なゴールデンアーチもAI技術を取り入れています。マクドナルドは2019年からAIと機械学習への投資を始め、注文プロセスを革新しました。店内のタッチスクリーンキオスクを利用して、顧客は便利に注文をすることができます。さらに、ドライブスルーのデジタルメニューボードは、時間帯、天候、レストランの混雑具合に応じてダイナミックに調整されます。AIのアルゴリズムは補完的なアイテムを提案し、アップセルのプロセスを自動化し、食事の体験を向上させます。デリバリーロボットによる人手不足の解消レストラン業界の持続的な人手不足は、自律型のデリバリーロボットの台頭を促しました。これらのロボットヘルパーは短距離の配達を行い、人手不足による圧力を軽減します。大学キャンパスや都市部は、これらのデリバリーロボットの主要な導入地です。いくつかの施設では、導入後の売上の増加が報告されています。Grubhubが大学キャンパスでロボットを使用したり、Uber Eatsが歩道でデリバリーロボットのテストを行ったりするなど、自律型のデリバリーの可能性は広がっています。また読む: 機械学習の視点からのロボティクスと自動化バーチャルアシスタントと電話注文電話での注文もAIによるアップグレードを受けています。有名なレストランチェーン、ウィングストップは、電話注文を受けるためのバーチャルアシスタントのパイロットを行っています。この技術は人間のような対話を再現し、顧客の好みに基づいて推奨をカスタマイズします。バーチャルアシスタントを活用することで、ウィングストップは待ち時間を短縮し、従業員が料理と接客に集中できるようにします。伝統的な注文体験を希望する顧客には引き続き人間のサポートも提供されます。私たちの意見 AIの統合により、飲食サービス業界は効率の向上、顧客体験の向上、運用の最適化を推進しています。ロボットウェイターから個別化されたメニューの推奨まで、AI技術は食事体験のあらゆる側面を変革しています。レストランが適応し、革新を続けるにつれて、AIの可能性はますます興味深くなっています。人工知能による飲食の未来がここにあります。

Learn more about Search Results ML - Page 366