このAIニュースレターは、あなたが必要とするすべてです＃65
AIニュースレター＃65、必要なすべて
今週のAIで何が起こったか、ルイによる
今週のAIでは、キャピトルからのAI規制の進展がありました：エロン・マスクやマーク・ザッカーバーグなどのテックリーダーが60人以上の上院議員とAIについて話し合い、なんと！みな同意しています – いくつかの原則を作る時期が来ています。エロン・マスクは、この会議が「文明の未来に非常に重要なものとして歴史に刻まれるかもしれない」とさえ述べています。政府の車輪はこの問題について超高速で回転しているわけではありませんが、アンクル・サム（アメリカ政府）が規制に介入する必要性についての議論は活発化しています。
今週の興奮すべき進展として、OpenAIとGoogleが次世代のLLM（言語・画像マルチモーダル）モデルのリリースレースで肩を並べていると報じられています。これらのAIシステムはテキストと画像の両方をシームレスに処理するユニークな能力を持ち、ウェブデザインからデータ分析まであらゆることを革新すると約束しています。Googleはすでに第三者に対して今後のジェミニマルチモーダルモデルをプレビューしていますが、OpenAIも遅れをとらず、マルチモーダル機能を備えた公開版のリリースでGoogleに先んじることを目指しています。強力なマルチモーダルモデルが利用可能になるにつれ、私たちは実験を楽しみにしており、これがAIの領域で新たな能力とアプリケーションの波を生み出すことを期待しています。
– ルイ・ピーターズ – Towards AI 共同創業者兼CEO
Towards X FlowGPT: プロンプトハッカソン
私たちはFlowGPTとのパートナーシップを発表し、9月15日から10月14日までの間、プロンプトハッカソンを開催します。彼らのDiscordコミュニティに参加し、プロンプトハッカソンを探索してください。
彼らは現金で15,000ドル以上の報酬を提供しており、このイベントはGoogleの協賛によるものです！さらに、FlowGPTは今月と来月にいくつかのスリリングなAI/NLP関連イベントを開催します。
私たちはまた、Learn AI Together DiscordコミュニティのワークショップでFlowGPTと協力しており、Ruiqi ZhongがAI Alignmentについての洞察を提供します。イベントにサインアップして詳細を学んでください。
最新ニュース
- Stable Audio
AIモデル「Stable Diffusion」で知られるロンドンのスタートアップ企業Stability AIは、制御をより高度に行えるAIモデル「Stable Audio」を導入しました。これにより、合成音声に対する制御が向上し、高品質な商業用音楽の生成が可能となります。
2. Google、AIソフトウェア「Gemini」のリリースが近づくと報道
Googleは、対話型AIソフトウェアである「Gemini」のリリースに近づいています。これはOpenAIのGPT-4モデルと競合することを意図した高度な言語モデルです。現在、早期テストフェーズにあり、チャットボット、テキスト要約、コードの執筆補助などの機能を提供しています。
3. Microsoft、Prompt Flowをリリース
Microsoftは、LLMベースのアプリ向けの開発スイート「Prompt Flow」を導入しました。これにより、実行可能なワークフローの作成、ワークフローのデバッグと反復、大規模なデータセットを使用したフローの品質とパフォーマンスの評価、テストと評価の統合、選択したサービングプラットフォームやアプリコードベースへの簡単な展開など、さまざまな機能が提供されます。
4. IBM、MoE LLMsをリリース
IBMは最近、4Bおよび8Bのパラメータを持つMoE LLMsを発表しました。これらのモデルは、より少ないパラメータで密なモデルと同等の計算効率を提供します。大規模なデータセットでトレーニングされ、ModuleFormerアーキテクチャが採用されています。
5. ピューリッツァー賞受賞作家を含む著名人がOpenAIを訴える
ピューリッツァー賞受賞のアメリカの小説家マイケル・チャボンと他のいくつかの作家が、OpenAIが彼らの作品をChatGPTのモデルのトレーニングに使用したとして著作権侵害で提訴しました。OpenAIはその言語学習モデルが「公正使用」という保護の下にあると主張しており、AIと著作権法についての議論が巻き起こっています。
5分間の読み物/動画で学び続けるための5つの選択肢
- LLMトレーニング：RLHFとその代替手段
この記事では、RLHFを段階的に分解して、その中心的なアイデアと重要性を理解するための参考資料を提供しています。Constitutional AI、The Wisdom of Hindsight、Direct Preference Optimizationなど、対応する研究論文とともに、5つの異なるアプローチを紹介しています。
2. 新しいAI利用データがAIを使用している人々を示し、「スーパーユーザー」と呼ばれる人口を明らかにします。
SalesforceはGenerative AI Snapshot Research「The AI Divide」を発表しました。これはアメリカ、イギリス、オーストラリア、インドの4,000人以上を対象にした調査です。調査結果によると、人口のほぼ半数がそれを利用しており、そのうちの3分の1が毎日使用しています。特にGen Z世代とミレニアル世代の若い世代がGenerative AIの「スーパーユーザー」となっています。
3. 🤗 Transformersでネイティブにサポートされている量子化スキームの概要。
BitsandBytesやAuto-GPTQなどのTransformersの量子化スキームは、大型モデルを小型デバイスで実行するための手法を提供しています。この記事では、Transformersでサポートされている各量子化スキームの利点と欠点を明確に概説し、どのスキームを選択すべきかを決定する際の参考にしてください。
4. オープンソースAIの勝利の理由。
オープンソースは、一般の人々が考えるよりもLLM（Large Language Models）や画像モデルの将来においてより大きな影響を持つ可能性があります。この記事では、オープンソースに対する現在の議論や制約、そしてその将来と重要性について説明しています。
5. 大規模言語モデルの出力の検証。LLMは強力ですが一貫性のない結果を生むことがあります。
信頼性のある正確なアプリケーションのためには、出力の検証が重要です。この記事では、LLMの出力の検証について説明し、Guardrails AIというオープンソースパッケージを使用してそれを実装する方法の例を提供しています。
論文とリポジトリ
- 疎なものから密なものへ：GPT-4による要約と密度プロンプティングの連鎖
最近の研究では、「Chain of Density」（CoD）プロンプティング技術が紹介されており、GPT-4を使用して密な要約を生成します。重要なエンティティを追加することなく長さを増やすことで、結果として得られる抽象的な要約は、標準のプロンプト要約に比べて抽象的な品質が向上し、リードバイアスが減少します。
2. コンパイラ最適化のための大規模言語モデル
この論文では、コードサイズの最適化のためにスクラッチからトレーニングされた7Bパラメータのトランスフォーマーモデルを紹介しています。このモデルはベースラインを上回り、優れたコード推論能力を示し、命令数を3%削減します。コンパイル可能なコードを生成する確率は91%であり、コンパイラの出力を完全にエミュレートする確率は70%です。
3. プレトレーニングLLMのためのデータプルーニングの調査：少ないほど良い
この研究では、システム的に事前トレーニングデータの品質を測定するために使用できるスケーラブルなデータ品質の推定方法を広範な視点で検討しています。言語モデルのための事前トレーニングデータを剪定するための複雑なスコアリング技術よりも、困惑度がより効果的な方法であることが分かりました。
4. NExT-GPT：どのモーダルLLMでも相互に変換可能
NExT-GPTは、エンドツーエンドの汎用的な任意のモーダルMM-LLMシステムです。テキスト、画像、ビデオ、オーディオなど、さまざまなモダリティのコンテンツを処理して生成することができます。これは、既にトレーニングされたエンコーダとデコーダを使用し、最小のパラメータ調整で実現されます。
5. 臨床テキスト要約：大規模言語モデルを適応させることで人間の専門家を上回る結果を得ることができます
この研究では、8つのLLMを使用し、放射線学報告書、患者の質問、経過記録、医師と患者の対話という4つの異なる要約タスクをカバーして、ドメイン適応手法を用いています。この研究は、LLMが複数の臨床要約タスクで人間を上回ることを初めて示しています。
これらの論文とニュースの要約を楽しんでいただけましたか？毎日の要約をメールで受け取りましょう！
Learn AI Togetherコミュニティセクション！
毎週のAIポッドキャスト
「What’s AI」ポッドキャストの今週のエピソードでは、Louis BouchardがDeepMindの研究科学者であるPetar Veličkovićとインタビューを行っています。彼らは彼の学術的なバックグラウンドや競技プログラミングから機械学習への道程について話し合います。Petarは、Ph.D.の価値についての洞察を共有し、それが研究への入り口としての役割と、つながりと適応性を築く機会を提供する重要性を強調しています。多様なバックグラウンドと貢献が重要なAI研究の進化する風景を強調しています。全体的に、インタビューは学術、産業、好奇心の重要性についての貴重な視点を提供しています。フルエピソードはSpotifyまたはApple Podcastsでお聴きください！
今後のコミュニティイベント
Learn AI Together Discordコミュニティでは、業界の専門家から学び、質問をする機会を提供し、AIの最新研究についてより深い洞察を得るための週次AIセミナーを開催しています。私たちの次のイベントに参加して、週ごとにDiscordでライブで開催される無料のインタラクティブビデオセッションに参加しましょう。
- AIのアラインメントの説明
ウェビナーでは、Ruiqi ZhongがAIのアラインメントについての講演を行います。これはPrompt Hackathonシリーズの一環としてサーバーでホストされるイベントです。講演前に、RuiqiとAIのアラインメントについて彼の「NLPerとしてのAIアラインメントの説明となぜそれに取り組んでいるのか」という記事を読んで詳細を知ることができます。
イベントに参加するには、こちらをクリックしてください！
日時：2023年9月28日、12:00 pm EST
無料のAIイベントをすべて見るために、Googleカレンダーに追加してください！
今週のミーム！
rucha8062が共有したミームです
Discordからの注目のコミュニティ投稿
Penguinは、AI、ML、NLP、コンピュータビジョン、ロボティクスの最新の研究論文を見つけやすくするウェブサイトを開発しています。このウェブサイトは、最新の研究について常に最新情報を知りたいAIの愛好家や専門家にとって貴重な情報源です。ぜひこちらをチェックし、コミュニティのメンバーをサポートしてください！フィードバックを共有し、会話に参加しましょう。
今週のAIアンケート！
ディスコードでのディスカッションに参加しましょう。
TAIキュレーションセクション
今週の記事
Youssef Hosniによる「週間の重要なコンピュータビジョン論文」
この記事は、2023年9月の最初の週に発表された最も重要な論文について包括的な概要を提供します。コンピュータビジョンの最新の研究と進歩をハイライトし、研究者、実践者、愛好家の方々にとって、コンピュータビジョンの最先端の技術とツールについて貴重な洞察を提供します。
おすすめの記事
フロレント・プー、Ph.D.による「3Dディープラーニング：Pythonによる人工ニューラルネットワーク」
スジート・クマラヴェルによる「PyTorch LSTM — インプット、隠れ状態、セル状態、およびアウトプットの形状」
デビッド・ウィナーによる「Graph Attention Network（GAT）の解説とビジュアライズされた実装のウォークスルー」
Towards AIでの公開に興味がある場合は、ガイドラインをご確認いただき、サインアップしてください。編集ポリシーと基準を満たす場合、当社のネットワークにあなたの作品を公開します。
求人情報
NVIDIA（Santa Clara, CA, USA）でのシニアディープラーニングアルゴリズムエンジニア
Teramind（リモート）でのシニアソフトウェアエンジニア — Pythonバックエンド
H1（リモート）でのスタッフディープラーニングNLPエンジニア
Casetext（リモート）でのシニアマシンラーニングリサーチャー
Snorkel AI（リモート）でのマシンラーニングサクセスマネージャー
Sonera（Berkeley, CA, USA）でのソフトウェアエンジニア
求人機会をここで共有したい場合は、[email protected]までお問い合わせください。
次の機械学習のインタビューの準備をしている場合は、当社のリーディングなインタビュー準備ウェブサイト、confettiをぜひご覧ください！
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
