このAIニュースレターは、あなたが必要とするすべてです #56

AIニュースレター #56は、必要なすべてです

ルイによる今週のAIの出来事

今週、オープンソースとクローズドモデルの世界でいくつかのLLMの新たな競合が登場しました。印象的な機能を持つLLaMAモデルの初版はライセンスの制限があり、学術的なシナリオに限定されていましたが、それが欠点の1つとされていました。メタは最近、商用利用ライセンスを備えたLLaMA 2を発表しました。最新のモデルは追加の40%のデータ（2兆トークン）でトレーニングされ、コンテキスト長が2倍になり、4096のトークンに達するという印象的な性能を持っています。LLaMA 2は、MPTやFalconなどのモデルと比較して選択したベンチマークで評価されています。このモデルは、Amazon AWS、Microsoft Azure、Huggingfaceを通じて、3つの異なるサイズ（7B、13B、70B）で一般の方に提供されます。

その他のニュースでは、Anthropicは初期のClaudeモデルの長期のプライベートテストを行った後、Claude 2言語モデルを一般に公開しました。それはclaude.aiのアドレスを通じてアクセス可能なChatGPTの競合モデルです。彼らのモデルは、バー試験で76.5%（3.5%の改善）を獲得し、GREで90パーセンタイルに位置づけられたと報告されています。さらに、モデルはAPIアクセスを通じてアクセス可能であり、ビジネスや個人が自分のアプリケーションやプロジェクトの基盤として活用することができます。モデルの評価では、無害な応答の提供に優れ、2倍の改善を示しています。この成果は、Anthropicの創業者たちがOpenAIを離れる際のビジョンと一致しています。彼らは現在、トレーニングに合わせたモデルの実現可能性を調査しています。そのために、彼らは「Decepticon」というClaudeのバリエーションをトレーニングするという実験を行っています。目標は、モデル内の特定の欺瞞の源を特定することです。

週の初めに、イーロン・マスクはOpenAIと競合する新しい会社「xAI」の設立を発表しました。xAIの主な目標は、人工汎用知能（AGI）を開発し、宇宙の真の本質をより深く理解することです。同社は、DeepMind、OpenAI、Google、Microsoftなどの有名な組織から優れた人材を集めています。現時点では、会社についての具体的な情報は不足しています。それにもかかわらず、私たちはその強力なチーム、財務的なバックアップ、野心から、同社が分野において重要な貢献者になる可能性が高いと考えています。

– ルイ・ピーターズ — Towards AIの共同創設者兼CEO

• シンボルの調整は言語モデルの文脈における学習を向上させます
• 「ポッドキャスティングのためのトップAIツール（2023年）」
• 何でもセグメント化、しかしより速く！ このAIアプローチはSAMモデルの速度を向上させます

最新ニュース

1. AnthropicがClaude 2をリリース

Anthropicは、Claude 1.3を凌駕する高度なAIモデルであるClaude 2をリリースしました。Codex HumanEvalやGSM8kでの評価で印象的なスコアを獲得し、コーディングや数学においても高いスコアを記録しています。さらに、無害な応答の生成においても効果的であり、最大100Kトークンの入力を処理することができます。

2. イーロン・マスクがOpenAIに挑むAI企業xAIを立ち上げる

イーロン・マスクの新しいAIスタートアップ、xAIは、GoogleやMicrosoftなどのテックジャイアントからトップエンジニアを採用し、「極度に好奇心旺盛な」AIを開発しています。xAIはX Corpとは別の存在ですが、TwitterやTeslaなどの企業と緊密に協力し、協力努力を通じてAIの分野での突破口やイノベーションをもたらすことを目指しています。

3. Bardの最新アップデート：より多機能、より多言語、より多くの国々

Bardは、利用可能な言語を世界中に拡大し、複数の言語をサポートするようになりました。新機能には、Bardの応答を聞くこと、出力のトーンとスタイルをカスタマイズすること、過去の会話をピン留め・名前変更すること、PythonコードをReplitとGoogle Colabにエクスポートすること、Google Lensの統合を利用してプロンプトで画像を使用することなどがあります。

4. AIによる差別を検出するプログラムが非英語話者に対して差別的な結果を出す

スタンフォード大学の研究者は、非英語話者によって書かれたエッセイの50％以上がAI生成としてフラグが立てられることを発見しました。これは、非英語話者がAIディテクターを使用することによって直面する差別を解消する必要性を強調しています。これは大学や就職活動、検索エンジンのアルゴリズムに影響を与える可能性があり、学術的なキャリアや心理的な健康に悪影響を与える可能性があります。

5. ShutterstockがOpenAIとの提携を拡大し、生成AIツールを開発

Shutterstockは、OpenAIとの既存の提携を拡大し、AIモデルのトレーニングデータを提供する計画を発表しました。引き換えに、ShutterstockはOpenAIの最新テクノロジーや新しい編集機能への「優先アクセス」を得ることができます。さらに、ShutterstockはトップのAI企業と協力し、アーティストにトレーニングに対する貢献を報酬として支払うことで、生成AIのリーダーになることを目指しています。

学び続けるための5つの5分間の読み物/動画

1. Amazon SageMakerでQLoRAを使用してLLMをトレーニングする

このガイドでは、Amazon SageMakerでQLoRAを使用して大規模な言語モデルの微調整を行う方法について説明しています。Hugging Face Transformers、Accelerate、およびPEFTライブラリなどのツールの使用方法や、事前学習済みの言語モデルを細かく調整するためのすべてのパラメータを微調整しないでさまざまなアプリケーションに適応させるための利点についても強調しています。QLoRAの利点も強調されています。

2. LLMとNLPの究極のガイド

NLPは、コンテンツマーケティングにおいて重要な役割を果たしています。コンテンツの自動生成、検索エンジン最適化、感情の測定、オーディエンスのセグメンテーション、チャットボットや仮想アシスタントのパワー、ソーシャルリスニング、コンテンツキュレーションなどを自動化するためのNLPの効果的な活用方法について概説しています。

3. 開発者のためのプロンプトエンジニアリングとLLMのガイド

この記事では、GitHubのLLMに関する取り組みを共有し、開発者がその技術を最大限に活用するのを支援しています。LLMの動作の概要とLLMアプリケーションの構築に関するガイダンスを提供しています。また、LLMベースのアプリケーションの一例としてGitHub Copilotコード補完を利用しています。

4. A.I. は発明できるのか？

この記事では、AIシステムに特許が付与された最近の事例を探り、非人間の実体に知的財産権が付与されることに関連する法的および倫理的な問題について調査しています。

5. AIを使用して何かを行う方法：主観的なガイド

ますます強力なAIシステムが加速度的にリリースされています。この記事は、現在のAIの状況についてのオリエンテーションを提供します。著者の経験に基づく主観的な意見を述べ、さまざまなタスクに適切なツールを選択することに焦点を当てています。

論文とリポジトリ

1. 大規模言語モデルのための高品質な命令データの選択に関するInstruction Mining

この論文では、命令に従うデータの品質を評価するための線形ルールであるInstruct Miningを提案しています。未精製のデータを使用するモデルと比較して42.5％の改善を実現し、データの品質がLLMの命令解釈の効果的な微調整において重要であることを強調しています。選択プロセスでは、自然さ、一貫性、理解可能性などの自然言語の指標を使用しています。

2. マルチモダリティでの生成事前学習

この論文では、画像とテキストをマルチモーダルなコンテキストでシームレスに生成できるTransformerベースのマルチモーダル基盤モデルであるEmuを紹介しています。画像キャプション、視覚的な質問応答、テキストから画像への生成などのタスクにおいて、他の大規模なマルチモーダルモデルを上回る性能を発揮します。

3. 自己指導型：最小の指示調整のための早期停止基準の導入

この論文では、言語モデルが指示に従う能力を検出するための指標であるInstruction Following Score (IFS) を導入しています。これにより、ベースモデルと指示モデルの区別が可能となり、モデルの意味論が変化する余分な微調整を防ぐことができます。さらに、IFSが停滞すると意味論の変化が起こることが観察されており、指示の従うこととモデルの意味論の関係を強調しています。

4. 長いステップによる証明可能な高速勾配降下法

この研究では、コンピュータ支援型分析技術を利用して勾配降下法の証明可能な収束速度を確立しています。最適化手法の収束率は、特定の最適化手法の指導の下でモデルが最適解をどれだけ速く特定できるかを示す数学的な限界です。周期的な学習率は、時折大きなステップを踏むことで改善できます。

5. 領域重要領域を利用した指示調整大規模言語モデルのGPT4RoI

GPT4RoIは、領域重要領域を組み込むことでビジョン-言語タスクを強化する革新的なモデルです。これにより、ビジュアル特徴と言語の埋め込みの正確なアラインメントが可能となり、言語と空間の指示を通じてモデルとの対話が可能となります。

これらの論文とニュースの要約を楽しんでいただけましたか？毎日の要約をメールで受け取ることもできます！

Learn AI Togetherコミュニティセクション！

週刊AIポッドキャスト

「What’s AI」ポッドキャストの今週のエピソードでは、Louis BouchardがDeepMindの元研究エンジニアであり、スタートアップの道を歩んでいるAleksa Gordićにインタビューを行います。彼らは彼のプロフェッショナルな人生のさまざまな側面を探り、彼の現在の優先事項、DeepMindでの仕事、修士課程を中途退学し、形式的な学位なしで機械学習のソフトウェアエンジニアの役割を確保することについて議論します。Aleksaは自身の経験を共有し、AIに興味を持つ人々に貴重な洞察を提供します。彼は実践的な経験、競技への参加、自己学習の重要性について強調し、またDeepMindなどの企業内のさまざまな役割について議論し、個人の意欲と強力なプロジェクトポートフォリオの価値を強調します。Aleksaの旅をより深く理解し、AIの世界を探索するために、YouTube、Spotify、またはApple Podcastsで聴いてください。

今週のミーム！

dimkiriakosさんが共有したミームです。

Discordの注目コミュニティ投稿

Operandは、HF Agent APIやLangChainなどの既存のライブラリを補完するために、エージェント統合のためのオープンソースのPythonライブラリをリリースしました。このライブラリは、エージェント、ソフトウェアシステム、ユーザーとの接続を容易にするために、アクション、コールバック、アクセスポリシーを定義しています。GitHubでチェックして、コミュニティメンバーをサポートしましょう。スレッドでこのプロジェクトについての意見を共有してください。

今週のAI投票！

Discordでのディスカッションに参加しましょう。

TAIキュレーションセクション

今週の記事

Youssef Hosniによる「3/7から9/7までのトップコンピュータビジョン論文」

この記事では、2023年7月の最初の週に発表された注目すべき論文を網羅的に紹介しており、コンピュータビジョンの最新の研究と進歩に焦点を当てています。研究者、実践者、愛好家の方々にとって、この記事はコンピュータビジョン分野の最先端の技術とツールについて貴重な情報を提供することを目指しています。

おすすめの記事

Gencay I.による「ChatGPTコードインタプリターがすべてのPlusユーザーに利用可能になりました」

Bex T.による「ジュリアを無視しないで！今学んで将来の自分に感謝しましょう」

Snehal Nairによる「マルコフ連鎖属性モデリング」

Towards AIでの出版に興味がある場合は、ガイドラインをご確認いただき、サインアップしてください。編集方針と基準を満たす場合、当社のネットワークにあなたの作品を公開します。

求人情報

ソフトウェア開発チームリーダー @Computronics Solutions（ブルガリア、ソフィア）

ジュニアソフトウェアQAエンジニア（マニュアル）@CoverGo（リモート勤務）

ソフトウェアエンジニア @Toku（チリ、サンティアゴ）

Java開発者（m/f/d）@UBench（ベルギー、ターンハウト）

ソフトウェアエンジニア（Java）@Compass Education（オーストラリア、ホーソーン）

シニアソフトウェア開発者@TherapyNotes.com（リモート勤務）

ソフトウェア開発者@Servus Credit Union（リモート勤務）

求人機会をここで共有したいですか？ [email protected] にお問い合わせください。

次の機械学習インタビューの準備をしている場合は、リーディングな面接準備ウェブサイト、confettiをぜひチェックしてください！

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!