「このAIニュースレターが必要なすべて #59」

AIニュースレター #59

今週のAIニュース by ルイ

先週、Zoomの利用規約の変更（3月から）が、顧客ビデオデータの使用に関する懸念が広まった後、注目を浴びました。Zoomの利用規約によれば、顧客データをマシンラーニングモデルのトレーニングにほぼ自由に使用することができるように見えましたが、その後の論争を受けて、Zoomは利用規約を更新し、「Zoomは、お客様の同意なしに、音声、ビデオ、チャットのお客様のコンテンツを人工知能モデルのトレーニングに使用しません」と明記しました。ChatGPTの発売以来、AIの商業化に焦点を当てたことで、多くの企業のデータ所有権、著作権、プライバシーポリシーが変動しています。X/Twitterなどの一部の企業は、貴重なデータを無料または安価に提供し、その使用に関してスクレイピングや訴訟を行うことが困難になったため、アクセスを制限しました。他の企業は、自分たちがアクセスできる潜在的に貴重なデータを収集していないか、活用していないことに気付きました。顧客のプライバシーを保護すると同時に、データを最大限に活用するという微妙なバランスが常に存在し、これらの問題が今後数ヶ月間、多くのCEOや経営チームの最優先事項となることが予想されます。- ルイ・ピーターズ、Towards AI共同創設者兼CEO

最新ニュース

1. AudioCraft: オーディオモデリングのための簡単なワンストップショップ

Metaは、MusicGenとAudioGenを含む、AudioCraftモデルのコードと重みを公開しました。これらのモデルは、テキストベースのユーザー入力に基づいて音楽とオーディオを生成します。リリースには、音楽の品質を向上させるEnCodecデコーダも含まれています。

2. NASAとIBMがNASA Earth Observation Data向けのジオスペーシャルAI Foundationモデルを公開

NASAとIBM Researchは、地球観測データ向けのオープンソースのジオスペーシャルAIモデルであるHLS Geospatial FMを共同開発しました。このモデルは、洪水マッピング、火災跡の特定、作物の収穫量予測など、さまざまな応用で成功を収めています。

• 「シャッターストックがNVIDIAピカソとともに生成AIを3Dシーンの背景に導入」
• NVIDIA NeMoを使ったスタートアップが生成AIの成功ストーリーをスタートさせました
• 「グリーンAIへの道：ディープラーニングモデルを製品化する際に効率的にする方法」

3. Jupyterでの生成型AI

Jupyter AIは、生成型AI技術を統合し、コード生成、エラー修正、コンテンツ要約、ファイル質問、言語プロンプトからのノートブック作成などの機能を提供します。

4. RT-2: ビジョンと言語をアクションに翻訳する新しいモデル

MetaのRobotic Transformer 2（RT-2）は、ウェブスケールの機能とロボット制御を組み合わせたビジョン-言語-アクションモデルです。これにより、視覚と言語のパターンを効果的に認識し、新しいスキルを学ぶためにウェブベースのデータを活用することができます。

5. OpenAIがアクセス制限の方法について詳細を公開したGPTBotをローンチ

OpenAIは、人工知能モデルを改善するためのウェブクローラー、GPTBotをローンチしました。GPTBotはデータを探し、OpenAIのポリシーに違反する有料の情報源、個人を特定できる情報を集める情報源を厳密にフィルタリングします。

5分で読める/見れる5つのコンテンツで学びを深める

1. オープンソースLLMの歴史：より良いベースモデル

オープンソースLLMは、事前トレーニングとモデル開発の進歩により、プロプライエタリなLLMと競争力を持つように進化しました。初期の課題は、事前トレーニングの重要性とより良いベースモデルの作成に重点を置くことで克服されました。最近のトレンドには、より大きな事前トレーニングデータセットの使用と、高速な推論のためのモデルの最適化が含まれています。

2. 次のAIアプリケーションで使用するためのトップ10オープンソースLLM

この記事では、AI分野で使用するためのトップ10のオープンソースLLMを紹介しています。これらのLLMは、カスタマイズ可能なソリューション、推論能力、多言語サポート、自然言語理解、テキスト生成、質問応答、チャットボットインターフェース、汎用性、堅牢性を提供します。

3. LLaMA-2アーキテクチャの理解とGenAIへの巨大な影響

MetaのLLaMA-2に関する77ページの論文は、オープンソースのベンチマークを上回り、GPT3.5と競合している印象的な結果を明らかにしています。この記事では、Grouperクエリアテンション、Ghost Attention、In-Context Temperature re-scaling、Temporal Perceptionなどの進化について説明しています。

4. AI研究者ジェフリー・ヒントン氏は、AIに感情があるかあるいは将来的に感情を持つ可能性があると考えています

AI研究者のジェフリー・ヒントン氏は、人間のような知能は深層学習によってのみ実現でき、感情に関連する仮説的なアクションを機械が物語ることができるためです。この見解は、専門家の間で支持者と批判者の両方を持っています。

5. LLMをGradient Checkpointing、LoRA、およびQuantizationで単一のGPUに適合させる

この記事では、Gradient Checkpointing、LoRA、およびQuantizationの3つの技術を紹介します。これらの技術は、言語モデルの微調整中にGPUメモリを節約し、メモリエラーを回避するのに役立ちます。これらの技術には、トレーニング中のレイヤーの最小化、新しいトレーニング可能なパラメータの埋め込み、およびデータの精度の低下が含まれます。

論文とリポジトリ

1. microsoft/azurechatgpt：Azure ChatGPT、内部エンタープライズ用のプライベートかつ安全なChatGPT

マイクロソフトはAzure ChatGPTを導入しました。これはAzure上でChatGPTインスタンスを展開するためのプライベートかつ安全なソリューションです。組み込みのプライバシー保証、アクセシビリティの完全な制御、および内部データソースとプラグインの統合能力を提供します。採用を促進するために、マイクロソフトはソリューションアクセラレータガイドも開発しました。

2. ツールドキュメントは大規模言語モデルを使用したゼロショットツールの使用を可能にする

最近の研究では、LLMにおいて、新しいツールの使用方法を学ぶためにデモだけに頼るよりも、ツールドキュメントを読む方が効果的であることがわかりました。研究者たちは、6つのビジョンと言語のタスクに関する実証的な結果を通じて、ツールドキュメント付きのゼロショットプロンプトがベンチマーク上でフューショットプロンプトと同等のパフォーマンスを発揮することを示しました。

3. PanGu-Coder2：ランキングフィードバックを活用した大規模言語モデルのコード向け強化

この論文では、コード生成のために事前訓練された大規模言語モデルを効果的かつ効率的に強化するための新しいRRTF（Rank Responses to Align Test & Teacher Feedback）フレームワークを提案しています。このフレームワークの下で、PanGu-Coder2を提案しました。PanGu-Coder2は、OpenAI HumanEvalベンチマークで62.20%のpass@1を達成しています。

4. XSTest：大規模言語モデルで誇張された安全行動を特定するためのテストスイート

この論文では、構造化された体系的な方法でeXaggerated Safety行動を特定するための新しいテストスイート「XSTest」を紹介しています。テストの結果は、MetaのLlama2モデルが過剰な安全性行動を示し、無害ながらも安全ではないプロンプトや感度の高いトピックに触れるプロンプトを拒否していることを示しました。

5. ランゲージモデル計算におけるエマージェント自己修復のヒドラ効果

言語モデルに関する最近の研究で、ヒドラ効果（Hydra effect）という現象が発見されました。一つの注意層を削除すると、他の層で補償がトリガーされるというものです。さらに、研究者たちは、ドロップアウトを使用せずに訓練されたモデルでも、遅いMLP層が最大尤度トークンをダウンレギュレーションしていることを発見しました。

これらの論文とニュースの要約を楽しんでいますか？毎日の要約をメールで受け取りましょう！

Learn AI Togetherコミュニティセクション！

週刊AIポッドキャスト

今週の「What’s AI」ポッドキャストのエピソードでは、Louis BouchardがPolytechnique MontrealとMilaでAIの博士号を追求する自身の経験を共有しています。このエピソードでは、入学プロセス、博士候補生の日常生活、そして途中で開発されるスキルについての洞察を提供しています。また、フェデレーテッドラーニングの概念とAIが多発性硬化症の診断を革新する方法にも触れています。AIの博士号を考えている方またはAIと医学の交差点に興味がある方におすすめのエピソードです。SpotifyまたはApple Podcastsで聴くことができます。

今週のミーム！

archiesnakeさんが共有したミーム

Discordからの注目のコミュニティ投稿

Weaver159がMetisFLという新しいプロジェクトを立ち上げました。MetisFLは、データを集中的な場所に収集することなく、開発者が機械学習ワークフローをフェデレートし、分散データセット上でモデルをトレーニングすることを可能にするフェデレーテッドラーニングフレームワークです。このフレームワークのコアはC++で書かれており、スケーラビリティ、速度、信頼性を重視しています。現在、このプロジェクトでは開発者、研究者、データサイエンティストがフレームワークを試してコードベースに貢献することを積極的に奨励しています。GitHubでチェックして、コミュニティメンバーをサポートしましょう。スレッドでの意見や貢献を共有してください。

今週のAI投票！

ディスコードでディスカッションに参加してください。

TAI キュレーションセクション

今週の記事

Gradient Checkpointing、LoRA、および量子化による単一のGPUでのLLMのフィット。著者：Jeremy Arancio

LLMの微調整は長くて退屈な作業かもしれません。トレーニング中にメモリが不足すると、イライラするだけでなく、コストもかかります。この記事では、Gradient Checkpointing、Low-Rank Adapters、およびQuantizationという3つのテクニックを解説します。これらのテクニックを使うことで、トレーニング中のメモリ不足を回避し、多くの時間を節約することができます。

必読記事

アンサンブル学習：決定木からランダムフォレストまで。著者：Sandeepkumar Racherla

モダンなNLP：詳細な概要。パート4：最新の開発動向。著者：Abhijit Roy

自己教師あり学習とトランスフォーマー？ — DINO論文解説。著者：Boris Meinardus

Towards AIでの公開に興味がある場合は、ガイドラインをご確認いただき、サインアップしてください。弊社の編集方針と基準を満たす場合、お客様の作品をネットワーク上で公開いたします。

求人情報

シニアソフトウェアエンジニア、スマートコントラクト @Oasis Protocol Foundation（リモート）

シニアアプリケーションエンジニア @Mozilla（リモート）

シニア/ プリンシパルサポートエンジニア — ヨーロッパ @ClickHouse（リモート）

QAエンジニア @ShyftLabs（カナダ、トロント）

シニアソフトウェアエンジニア — AI検索パーソナライゼーション @Algolia（リモート）

シニアインフラエンジニア @Angi（リモート）

Pythonデータエンジニア @Altoida（イギリス、ボストン）

求人の機会を共有したい場合は、[email protected]までご連絡ください。

次の機械学習の面接の準備をしている場合は、当社のトップ面接準備ウェブサイト、confettiをぜひご覧ください！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!