Search Results 24

「ClimSimに出会ってください：機械学習と気候研究の物理学を結びつける画期的なマルチスケール気候シミュレーションデータセット」

数値物理シミュレーション予測は、気候変動政策の指針となる情報の主要な源です。最も高性能なスーパーコンピュータの限界に挑戦しているにもかかわらず、既存の気候シミュレータは、雲と豪雨の物理現象をシミュレートする必要があります。地球システムの複雑さが、研究チームがこれらのシミュレーションで使用できる空間分解能を厳しく制限しています。”パラメータ化”とは、気候シミュレーションの時間的および地理的分解能よりも低いスケールで起こる物理現象の経験的な数学的表現です。残念ながら、これらのパラメータ化に使用される仮定は、将来の予測される気候を悪化させる可能性のある誤りにつながることがしばしばあります。気候シミュレータの解像度よりも小さなスケールで発生する複雑な非線形サブ解像度物理プロセスをシミュレートするための魅力的な方法は、機械学習（ML）です。その応用の興味深い側面は、現在のものよりもより正確で低コストな気候シミュレーションをもたらすということです。現在の気候シミュレーションの最小解像度は通常80-200 km、または平均的な米国の郡のサイズです。しかし、効果的に雲の形成を説明するには100 m以上の解像度が必要であり、計算能力は桁違いに増加する必要があります。クラシカルなコンピューティングの制約を克服するために機械学習（ML）を使用することはまだ有望なオプションです。生じる大規模な流体運動を支配する方程式を解くための従来の数値手法と、小規模な物理学のマクロスケール効果のMLエミュレータを組み合わせたハイブリッドML気候シミュレータは、主観的な仮定に頼らず、高解像度で短期間のシミュレーションによって生成されたデータから直接学習します。本質的には、これは回帰問題です：大規模な解像度の入力が与えられると、気候シミュレーション内のMLパラメータ化エミュレータは、未解決の小規模な（サブ解像度）物理学から生じる大規模な出力（風や湿度、温度の変化など）を返します。最近いくつかの概念実証が開発されましたが、ハイブリッドML気候シミュレーションはまだ実際に展開される必要があります。MLコミュニティが関心を持つのを妨げている主な障害の1つは、十分なトレーニングデータを取得することです。サブ解像度の物理学の振る舞いを制御するすべてのマクロスケール要因は、このデータに含まれている必要があります。高い解像度のシミュレーションからトレーニングデータを取得する方法は非常に高コストであり、ホスト気候シミュレーションと組み合わせると問題が発生する可能性があります。マルチスケール気候シミュレーション技術を使用してトレーニングデータを生成するのは有望なアプローチです。もっとも重要なことは、これらはホスト気候シミュレータの地球規模のダイナミクスと模倣された高解像度の物理学との明確なインターフェースを提供します。これにより、後続のハイブリッド結合シミュレーションが扱いやすくなり、アクセス可能になります。利用可能なデータセットの不足や、変数の選択時にドメインの専門知識が必要なこと、運用シミュレーションのコードの複雑さと利用可能なデータセットの不足が、マルチスケールアプローチの実用的な応用に制約を与えています。ハイブリッド-ML気候シミュレーションに使用するために、20以上の突出した研究機関の研究者からなる研究チームがClimSimを提案します。これは気象放射線、空気の嵐、雲、乱流、降雨の機械学習シミュレータのための最大かつ最も物理的に完全なデータセットです。ClimSimは、マルチスケール物理気候シミュレーションのすべての入出力を含む包括的なセットです。このベンチマークデータセットは、クラウドや重度の降雨物理パラメータ化と他のサブ解像度現象との相互作用をモデル化する堅牢なフレームワークの構築のための堅固な基盤を提供します。ホスト粗解像度気候シミュレータ内でのオンラインカップリングを容易にすることで、これらのフレームワークは長期予測に使用される気候シミュレータの正確性を向上させ、全体としてよりよく機能するように支援します。

『LLM360をご紹介します：最初の完全オープンソースで透明な大規模言語モデル（LLM）』

“`html オープンソースの大規模言語モデル（LLM）であるLLaMA、Falcon、Mistralなどは、AIのプロフェッショナルや学者向けにさまざまな選択肢を提供しています。しかし、これらのLLMの大部分は、エンドモデルの重みや推論スクリプトなどの一部のコンポーネントだけが利用可能であり、技術的なドキュメントでは、一般的な設計の側面や基本的なメトリックに焦点を絞った内容が多いです。このアプローチでは、LLMのトレーニング手法の明確性が低下し、チームがトレーニング手順のさまざまな側面を継続的に解明するための努力が重複してしまいます。 Petuum、MBZUAI、USC、CMU、UIUC、UCSDの研究者チームが、LLM360を導入しました。これは、エンドツーエンドのLLMトレーニングプロセスを透明で再現可能にすることにより、オープンかつ協力的なAIの研究をサポートするイニシアチブです。LLM360は、トレーニングコードとデータ、モデルのチェックポイント、中間結果などのすべてをコミュニティに提供することを主張する、完全なオープンソースのLLMです。 LLM360に最も近いプロジェクトはPythiaであり、LLMの完全な再現性を目指しています。GPT-JやGPT-NeoXなどのEleutherAIモデルは、トレーニングコード、データセット、中間モデルのチェックポイントと共にリリースされており、オープンソースのトレーニングコードの価値を示しています。INCITE、MPT、OpenLLaMAは、トレーニングコードとトレーニングデータセットがリリースされ、RedPajamaも中間モデルのチェックポイントを公開しています。 LLM360は、AMBERとCRYSTALCODERの2つの7BパラメータLLMをリリースし、そのトレーニングコード、データ、中間チェックポイント、分析も提供します。事前トレーニングデータセットの詳細、データの前処理、フォーマット、データミキシングの比率、LLMモデルのアーキテクチャの詳細については、研究で詳しく説明されています。この研究では、以前の研究で導入された記憶スコアの使用と、メトリック、データチャンク、チェックポイントの公開により、研究者が対応関係を容易に見つけることができるようになることを示しています。研究ではまた、LLMが事前にトレーニングされたデータを削除することの重要性や、データのフィルタリング、処理、トレーニング順序の詳細についても強調しています。研究では、ARC、HellaSwag、MMLU、TruthfulQAの4つのデータセットについてのベンチマーク結果が示され、モデルの事前トレーニング中のパフォーマンスが示されています。HellaSwagとARCの評価スコアはトレーニング中に単調に増加し、TruthfulQAのスコアは減少します。MMLUのスコアは最初に減少し、その後成長します。AMBERのパフォーマンスはMMLUなどのスコアで競争力があるものの、ARCでは遅れています。ファインチューニングされたAMBERモデルは、他の類似モデルと比較して強力なパフォーマンスを示します。 LLM360は、オープンソースLLMの完全かつ包括的なイニシアチブであり、オープンソースのLLM事前トレーニングコミュニティ内での透明性を推進するものです。この研究では、AMBERとCRYSTALCODERの2つの7B LLMをトレーニングコード、データ、中間モデルのチェックポイント、分析と共にリリースしています。研究では、チェックポイント、データチャンク、評価結果を公開することにより、包括的な分析と再現性を可能にするため、すべての角度からLLMをオープンソース化することの重要性を強調しています。 “`

「OpenAIはAIの安全性に対処するためにベンガルールで開発者ミートアップを計画中」

OpenAIは、AIチャットボットChatGPTの影響力のある力を持つ組織であり、2024年1月にベンガルールで開発者の集まりを開催する予定です。このイベントの主な目的は、インドの開発者と協力して、人工知能に関連する安全上の課題に取り組むことです。OpenAIのグローバルアフェア担当副社長のアンナ・マカンジュは、ニューデリーで開催されたグローバルパートナーシップ人工知能（GPAI）サミットでのイベントに対する熱意を表明しました。開発者の集まり OpenAIは、11月に開催された最初のDevDayカンファレンスの成功を受けて、インドのテックプロフェッショナルがAIの安全性に関する懸念や洞察を声に出すプラットフォームの構築に焦点を当てています。マカンジュは、開発者とOpenAIのプロダクトリーダーを一堂に会し、人工知能の領域で最も複雑な安全上の課題に取り組む計画を発表しました。インドの技術的重要性の認識マカンジュはGPAIサミットでの演説で、インドが世界舞台で果たす重要な役割を強調し、優れた人材プールと優れたテクノロジービジネスを引用しました。彼女は、バイデン政権とG7との協力経験を踏まえ、強力なテクノロジーの安全性とその恩恵の公正な分配を確保するための国際機関の設立を提唱しました。 OpenAIのインドでの拡大 OpenAIは、インドでの存在感を拡大するために、エロン・マスクのXの元副社長であるリシ・ジャイトリーをシニアアドバイザーとして迎え入れる予定です。このニュースはOpenAIによって公式には確認されていませんが、ジャイトリー氏はOpenAIがインドのAI政策と規制環境を乗り越えるための指導に当たるとされています。この動きはOpenAIの広範な戦略に合致し、アルトマン氏の6月のインド訪問に続きます。 GPAIサミットとインドの取り組みナレンドラ・モディ首相はGPAIサミットの開催を宣言し、国際的な代表者とAIに関する重要な問題について関与する予定です。イベントの一環として、インド政府はIT省のラージーヴ・チャンドラシェーカル氏を代表として、AIに関する多国間の合意ベースの宣言に取り組んでいます。このイニシアチブは、リスクを軽減し、イノベーションを促進することを目指しており、モディ首相の信頼されるAIを通じた人々の福祉を確保するという取り組みと一致しています。私たちの意見 OpenAIがインドの開発者と協力を深める中、AIの安全上の課題に取り組む動きは、急速に変化する技術の風景における積極的な姿勢を反映しています。OpenAIとインド政府は、この取り組みでインドの重要な役割を強調するだけでなく、AIに対する堅固な規制フレームワークの策定にも取り組んでいます。OpenAIとインドの専門家の協力は、AI技術の責任ある開発と展開を確保するための有望な一歩を象徴しています。

グーグルの研究者たちは、差分プライバシーを持つ機械学習システムの監査において、新たなシングルランアプローチを発表しました

差分プライバシー（DP）は、モデルの訓練に使用される個人データのプライバシーを保護するための機械学習のよく知られた技術です。これは、モデルの出力が入力データの個人の存在または不在に影響されないことを保証する数学的な枠組みです。最近、このようなモデルのプライバシー保証を柔軟かつ効率的な方法で評価するための新しい監査手法が開発されました。この手法は、基礎となるアルゴリズムに対して最小限の仮定を置いた多目的かつ効率的な評価を可能にします。グーグルの研究者たちは、個別のトレーニングランに焦点を当てた差分プライバシーを持つ機械学習システムの監査手法を紹介しました。この研究では、差分プライバシーと統計的一般化の関係に重点が置かれており、提案された監査手法の重要な側面となっています。 DPは個別のデータが結果に重大な影響を与えないことを保証し、計算可能なプライバシー保証を提供します。プライバシーの監査は、DPのアルゴリズムにおける分析や実装のエラーを評価します。従来の監査は計算コストが高く、複数の実行を必要とすることがしばしばあります。この手法は、トレーニング例の追加または削除を並列に行うことで計算コストを最小限に抑え、アルゴリズムに最小限の仮定を課すことができ、ブラックボックスおよびホワイトボックスのシナリオに適応することができます。 https://arxiv.org/abs/2305.08846 この研究で示される手法は、アルゴリズムを最小限の仮定で追加または除外の例を独立して含め、意思決定のためのスコアを計算することで、統計的一般化と差分プライバシーの関係を分析しています。このアプローチは、ブラックボックスおよびホワイトボックスのシナリオに適用可能です。アルゴリズム3であるDP-SGDオーディターは、具体的な具現化です。それは、異なるパラメータの評価や分布内の例の考慮を含む、さまざまな差分プライバシーアルゴリズムに対して彼らの監査手法の一般化可能性を強調しています。この監査手法は、数学的な分析やエラー検出の評価を支援する計算可能なプライバシー保証を提供します。提案された監査手法は、さまざまな差分プライバシーアルゴリズムに適用可能であり、分布内の例やパラメータの評価などの考慮事項があります。これにより、計算コストを削減しながら効果的なプライバシー保証が実現されます。提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価し、個別にトレーニング例を追加または削除することで並列処理を活用することができます。この手法は、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。さまざまな差分プライバシーアルゴリズムに適用可能な監査手法の汎用性が強調されています。分布内の例やパラメータの評価など、実践的な考慮事項にも対応しており、プライバシー監査に貢献しています。まとめると、この研究の主なポイントは次の通りです：提案された監査手法により、単一のトレーニングランで差分プライバシーを持つ機械学習技術を評価することが可能であり、トレーニング例の追加または削除を並列に行います。この手法は、アルゴリズムに関して最小限の仮定を必要とし、ブラックボックスおよびホワイトボックスの設定の両方に適用することができます。この手法は、計算可能なプライバシー保証を提供し、アルゴリズムの実装のエラーを検出したり数学的な分析の正確さを評価したりすることができます。この手法はさまざまな差分プライバシーアルゴリズムに適用可能であり、従来の監査に比べて計算コストを削減しながら効果的なプライバシー保証を提供します。

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

この記事では、パラメータ効率の良いファインチューニング（PEFT）手法を使用してLlama 2モデルを微調整し、AWS Inferentia2上でファインチューニングされたモデルを展開する方法を紹介します AWS Neuronソフトウェア開発キット（SDK）を使用してAWS Inferentia2デバイスにアクセスし、その高性能を活用しますその後、[…]の動力を得るために、大きなモデル推論コンテナを使用します

マイクロソフトAIがLLMLinguaを発表：大型言語モデル（LLM）の高速推論のためのユニークなクイック圧縮テクニックでプロンプトを圧縮

大規模言語モデル（LLM）は、その高い一般化能力と推論能力により、人工知能（AI）コミュニティを大きく押し上げています。これらのモデルは非常に優れた能力を持ち、自然言語処理（NLP）、自然言語生成（NLG）、コンピュータビジョンなどの能力を示しています。ただし、インコンテキスト学習（ICL）やチェーン・オブ・ソート（CoT）プロンプトなどの新しい展開は、数万トークン以上にも及ぶ長いプロンプトの展開を引き起こしています。これは、費用対効果と計算効率の観点からモデル推論に問題を提起しています。これらの課題に対処するため、Microsoft Corporationの研究チームは、LLMLinguaというユニークな粗いから細かい圧縮技術を開発しました。LLMLinguaは、長いプロンプトの処理に関連する費用を最小限に抑え、モデルの推論を迅速化することを主な目的として開発されました。これを達成するために、LLMLinguaは以下のいくつかの重要な戦略を使用しています。予算コントローラー：動的予算コントローラーを作成しました。これにより、圧縮比が元のプロンプトのさまざまな部分に均等に分配されるようになります。これにより、大きな圧縮比でもプロンプトの意味的な整合性が維持されます。トークンレベルの反復圧縮アルゴリズム：トークンレベルの反復圧縮アルゴリズムがLLMLinguaに統合されています。この技術により、圧縮要素間の相互依存関係を捉えながら、プロンプトの重要な情報を維持したより高度な圧縮が可能となります。指示チューニングベースのアプローチ：チームは、言語モデル間の分布の不整合問題に対処するために、指示チューニングベースのアプローチを提案しました。言語モデルの分布を整合させることで、迅速な圧縮に使用される小さな言語モデルと意図されたLLMの互換性が向上します。チームは、LLMLinguaの有用性を検証するために、理論的なデータセットとしてGSM8KとBBHを、会話用データセットとしてShareGPTを、要約用データセットとしてArxiv-March23を使用して分析と実験を行いました。結果は、提案アプローチが各状況で最新技術のパフォーマンスを達成していることを示しました。結果は、圧縮比20倍までの大幅な圧縮を可能にする一方でパフォーマンスの面でわずかな犠牲を払いました。実験で使用された小規模言語モデルはLLaMA-7Bであり、閉じたLLMはGPT-3.5-Turbo-0301でした。LLMLinguaは、推論、要約、議論のスキルを維持しながら最大圧縮比20倍でも従来の圧縮技術を上回り、弾力性、経済性、効率性、回復性を備えています。 LLMLinguaの効果は、さまざまな閉じたLLMと小規模言語モデルで観察されました。LLMLinguaは、GPT-2-smallを使用した場合には大きなモデルとほぼ同等のパフォーマンス結果を示しました。また、予想される迅速な結果を上回る強力なLLMでも成功を収めました。 LLMLinguaの回復性は、圧縮されたプロンプトを元に戻す際に重要な推論情報を効果的に取り出すことによって示されます。完全な9ステップのCoTプロンプトを復元するために使用されたGPT-4は、圧縮されたプロンプトの意味と類似を保ちながら重要な情報を取り戻しました。この機能により、LLMLinguaは回復性を保証し、翻訳後も重要な情報を保持し、LLMLingua全体の印象を高めています。結論として、LLMLinguaはLLMアプリケーションにおける長いプロンプトによって引き起こされる困難に包括的な解決策を提供しました。この方法は優れたパフォーマンスを示し、LLMベースのアプリケーションの効果とコスト効率を向上させる有用な方法を提供しています。

NEWS

Learn more about Search Results 24 - Page 15

「ClimSimに出会ってください：機械学習と気候研究の物理学を結びつける画期的なマルチスケール気候シミュレーションデータセット」

『LLM360をご紹介します：最初の完全オープンソースで透明な大規模言語モデル（LLM）』

「OpenAIはAIの安全性に対処するためにベンガルールで開発者ミートアップを計画中」

グーグルの研究者たちは、差分プライバシーを持つ機械学習システムの監査において、新たなシングルランアプローチを発表しました

「QLoRAを使ってLlama 2を微調整し、AWS Inferentia2を使用してAmazon SageMakerに展開する」

マイクロソフトAIがLLMLinguaを発表：大型言語モデル（LLM）の高速推論のためのユニークなクイック圧縮テクニックでプロンプトを圧縮

ヴィンセント・ファン・ゴッホの復活

「AIが思考をテキストに変える」

「NOAAの古い地球観測衛星が「延長寿命」を得ます」

VoAGI ニュース、12月 13日データサイエンスをマスターするための5つの超便利なチートシート• データサイエンスのためのGoogleのNotebookLMの使用：包括的なガイド

Find the right Blockchain Investment for you