「このAIニュースレターはあなたが必要とするもの全てです #69」
「美容とファッションに関するあなたが必要とする情報を詰め込んだAIニュースレター #69」
ルイによる今週のAIニュース
GoogleはMicrosoftやAdobeのような企業に続いて、Google Cloud（Vertex AI）およびWorkspace（Duet AI）プラットフォームを利用するユーザーの知的財産権侵害に関連する潜在的な訴訟から保護することを発表しました。ただし、プレスリリースにはAIチャットボットBardについての言及はなく、ユーザーが他人の権利を意図的に侵害する場合には保護は対象外であることが明記されています。AI関連の訴訟は通常、技術を導入した企業に焦点を当てることが多いですが、企業がGoogleのAIサービスを製品に組み込むことは賢明な選択のように思えます。
他のニュースでは、XLANG LabがLemur-70Bおよびそのチャットバリアントを発表しました。このモデルは、テキスト生成、コーディング能力、エージェントタスクのすべてで優れた性能を発揮することを目指しており、通常は特定の領域に特化した他のオープンソースモデルとは異なります。このコンセプトは、エージェントが推論と実行において優れた能力を発揮するためには、言語理解とコーディングスキルの両方で高い精度を示さなければならないという考えに基づいています。彼らは90Bトークンのデータセットを使用してLLaMA-2モデルを事前学習し、テキストとコーディングのサンプルの1対1の比率を維持してLemurモードを作成しました。さらに、30万の例からなるデータセットを用いて教師ありファインチューニングを行い、Lemur-Chatの開発につながりました。このモデルは他のオープンソースモデルよりも大幅に優れた性能を発揮することができ、GPT-3.5とほぼ同等の性能を実現しています。彼らはコードと、さらに重要なのはデータセットも公開しており、その貢献はこの分野の進歩に寄与するでしょう。
– ルイ・ピーターズ — Towards AI 共同創設者兼CEO
このニュースはAIインフラストラクチャ同盟の提供によるものです。
- このAI論文では、「MotionDirector」という人工知能アプローチを提案しています：ビデオの動きと外観をカスタマイズするための手法
- カフカイベントストリーミングAIと自動化
- LLama Indexを使用してRAGパイプラインを構築する
AIインフラストラクチャ同盟は、エージェント、LLM、およびスマートアプリに関する大規模な技術ガイドを発表しました。このガイドでは、Prompt Engineering、LlamaIndex、LangChain、Semantic Kernelなどの主要なフレームワーク、ベクトルデータベース、ファインチューニング、オープンソースモデルとクローズドソースモデル、一般的なアプリ設計パターン、LLMの論理と推論などがカバーされています。GPTが現在の生成型AIのブームを生み出しましたが、実際の作業を行うアプリケーションが次のAIソフトウェアの波を解き放つことになるでしょう。このガイドでは、それらのアプリケーションの構築を始めるための手助けがされています。
Towards AIのAIチューターを発表します
先週、私たちはLLMコースをリリースしました。関連するもう一つのプロジェクトを発表することを嬉しく思います：私たち自身のAIチューターです！
Towards AIの出版物で公開された何千もの記事、LangChainやLLMコースのコンテンツ、Huggingface TransformersやWikipediaなどの優れた情報源を活用して、強力な検索増強生成（RAG）ベースのチャットボットを構築することができました。このチャットボットは、AIに関する質問に答えるだけでなく、情報の出典も示すことができます。
RAGは幻想リスクを減らし、チャットボットが共有する知識を参照できる手法であり、探求や学習をより深めるための手段を提供します。そのため、このようなAIチューターを構築するために必要なものは、優れたチャットボット（GPT）、優れた知識ベース（Towards AI）、そして手作業です。
私たちはこれが実現し、無料で提供されていることを発表できることを嬉しく思います！ぜひ試してみて、改善点についてフィードバックをお寄せください！回答が短すぎる、詳細すぎる、出典が間違っているなど、どのように改善すればよいでしょうか。私たちは改善し続け、すべての学生に無料で提供し続ける予定です。
質問応答（Q&A）チャットボットをお試しください。これはGenAI 360スイート向けに構築されたもので、LLMに関連する質問に答えることができます！
最新ニュース
1. AIが解読せずに古代のヘルクラネウムの巻物を解読した
ネブラスカ・リンカーン大学の21歳の学生が、79年のヴェスヴィオ火山の噴火後に発見された封印された巻物からギリシャ文字をAIで解読することに成功しました。学生は機械学習アルゴリズムを使用して、「porphyras」という意味である「紫」というギリシャ文字を含む10以上のギリシャ文字を正しく特定し、ヴェスヴィオス・チャレンジに勝利しました。
グーグルは、Google CloudとWorkspaceのプラットフォームで生成型人工知能システムのユーザーを知的財産権の侵害の告発から守るため、他の大手テック企業と共に参加しました。GoogleはVertex AIやDuet AIなどのソフトウェアに対して補償を提供していますが、著作権侵害の意図的なコンテンツ操作は対象外です。
3. レムール：言語エージェントのためのオープンな基盤モデル
XLANG Labは新しいオープンソースのLLMであるLemur-70Bを導入しました。このモデルはエージェントのベンチマークで他のモデルを上回り、言語とコーディングのタスクで優れたパフォーマンスを発揮します。コードのタスクにおいてはGPT-3.5-turboと同等のパフォーマンスレベルを達成し、エージェントの能力において商用モデルとのパフォーマンスの差を縮めました。
4. ChatGPTのモバイルアプリ、先月の収益が455万ドルを記録するも成長は鈍化
９月にChatGPTのモバイルアプリは、グローバルで購入数と収益で記録を更新しました。ダウンロード数は1560万件で収益は460万ドルです。しかし、成長率は30%から20%に低下しており、19.99ドルのChatGPT+サブスクリプションの市場飽和を示唆しています。
OpenAIは最近の数週間でウェブサイトに掲載されている「コア・バリュー」の全てを静かに改訂し、AGIの開発を強調しました。それは「経済的に価値のある仕事の大部分で人間を上回る高度な自律システム」としてAGIを説明しています。以前のバリューは研究所のようなものでしたが、新しいものはスタートアップのジャーゴンに類似しています。
5分間の読み物・動画で学び続けるための5つの選択
この本番用LLMのトレーニングと微調整に関する無料コースは、LLMの概要、トランスフォーマーとGPTのアーキテクチャの理解、LLMのトレーニングと微調整、RLHFによるLLMの向上、LLMの展開などについて見識を提供します。
GPTなどのLLMにおける理性的な思考と問題解決能力は依然として注目のトピックです。この記事では、GPT-4がなぞや論理パズルに対して人間らしい思考をシミュレートできる方法を紹介しています。ただし、バイアスや幻覚は判断力に影響を与えることに注意が必要です。
3. GPT-4によるSummarizationのパフォーマンスを超えたChatGPTの微調整
研究者たちは、GPT-4とCoDプロンプト技術を使用して作成された合成データセットを利用することで、GPT3.5はニュース記事の要約においてGPT-4を凌駕することがわかりました。この微調整されたバージョンのGPT3.5はGPT-4 zero-shotと比較して11倍速く、かつCoDプロンプトを使用した場合に類似したパフォーマンスを達成し、コスト効率も63％向上しています。
4. 大規模言語モデルにおける幻覚とバイアスを緩和するための7つのヒント
この記事では、大規模な言語モデルにおける幻覚とバイアスを緩和するための戦略についてさらに詳しく探求します。LLMのこれらの傾向と戦うためのヒント、推論パラメータの調整、プロンプトエンジニアリング、LLMの信頼性と正確性を向上させるより高度な技術などについて議論されます。
5. 研究者たちはLLMが真実を表現する際に現れる線形構造を発見
研究者たちは、Large Language Modelsにおいて真実と偽りの例を分ける線形構造を発見しました。これは内部に「真実の軸」と呼ばれる特定の方向性を持つ可能性を示しています。彼らの研究は、LLMの表現が特定の「真実の方向」を示すことを示す複数の証拠を提供しています。
論文とリポジトリ
1. Prometheus: 言語モデルにおける細粒度な評価能力を引き出す
Prometheusは、大規模なタスク評価においてGPT-4などの独占的なLLMに対して費用対効果の高い代替手段を提供します。スコアリング規準やユーザー定義の指示を使用して、Prometheusは実験結果により示されるように、GPT-4と同等のパフォーマンスを発揮し、ChatGPTなどの他のモデルを上回ります。
LLMのチューニングは、安全なアラインメントを損ない、潜在的なリスクを引き起こす可能性があります。GPT-3.5 Turboなどのモデルの安全なガードレールを破るのに数個のアドバーサルなトレーニング例でさえも十分です。有害なデータセットや無害なデータセットでのチューニングは、言語モデルの安全なアラインメントを意図せずに低下させる可能性があります。
3. LMMの夜明け：GPT-4V(ision)による予備的な探索
GPT-4Vに関する研究は、私たちがLarge Multimodal Models（LMMs）の初めにいることを明らかにし、画像の説明、オブジェクトの位置特定、マルチモーダルな知識、ビジョンを用いたコーディング、感情的知能テストなどの様々なタスクでの潜在能力を示しています。また、医療や自動車保険などの産業での応用も取り上げられました。
4. 言語モデルは現実世界のGitHubの問題を解決できるか？
最近の研究によると、LLMのような言語モデルは、GitHubの現実世界の問題の解決にはまだまだ時間がかかるとされています。SWE-benchという評価フレームワークで、Claude 2やGPT-4などの独占的なモデルは、わずかな割合のケースしか解決できませんでした。
ダウンストリームタスクで検索補完と拡張文脈ウィンドウアプローチを比較した研究では、4Kの文脈ウィンドウと単純な検索技術を使用することで16Kウィンドウと同等のパフォーマンスが得られることがわかりました。最も優れたパフォーマンスを発揮するモデルである検索補完型LLaMA2–70Bは、32Kウィンドウを使用した場合、質疑応答や要約のタスクにおいてGPT-3.5 Turbo-16kを上回りました。
これらの論文とニュースの要約をお楽しみいただけましたか？毎日のまとめをメールで受け取る!
Learn AI Togetherコミュニティセクション！
今週のミーム！
rucha8062 さんが共有したミームです。
Discordからのおすすめコミュニティ投稿
Hassan_0707 さんがOria Windowsを作成し、OpenAIを使用してPCを制御できるようにしました。Open InterpreterとChatGPTをWindows環境に統合することで、自動化、データ操作、Webスクレイピング、自然言語理解などの機能を提供しています。詳細はこちらをご覧いただき、コミュニティメンバーをサポートしてください！ご意見や質問はスレッド内でお寄せください。
週のAI投票！
ディスコードでディスカッションに参加してください。
TAIセクションのキュレーション
今週の記事
10月2日から10月8日までの週の重要なLLM論文トップ by Youssef Hosni
この記事では、10月の最初の週に発表されたいくつかの最も重要なLLM論文をまとめて紹介しています。これらの論文は、モデルの最適化とスケーリングから推論、ベンチマーキング、性能の向上に至るまで、次世代の言語モデルを形作るさまざまなトピックをカバーしています。最後のセクションでは、LLMの安全なトレーニングとその振る舞いの有益性の確保に関する論文が取り上げられています。
必読の記事
LangChain 101: ヒューマンフィードバックでLLMを微調整する by Ivan Reznikov
大規模言語モデルへの優しい導入 by Abhishek Chaudhary
データサイエンスによる在庫最適化：Pythonを使った実践的なチュートリアル by Peyman Kor
もしTowards AIでの投稿に興味があるなら、ガイドラインをチェックしてサインアップしてください。編集方針と基準に合致していれば、当社のネットワークにあなたの作品を掲載します。
求人情報
LLM向けAI技術ライター・開発者 @Towards AI Inc（フリーランス/リモート）
主任、オープンソースMLエンジニア @Amazon（米国/リモート）
MLデータアソシエイトII @Amazon（インド/リモート）
製品マネージャー、Hive Data @Hive（カリフォルニア州サンフランシスコ、USA）
求人情報の掲載に興味がある場合は、[email protected]までお問い合わせください。
次の機械学習のインタビュー対策を準備しているなら、ぜひ当社のリーディングインタビュー対策ウェブサイトconfettiをチェックしてください！
We will continue to update VoAGI; if you have any questions or suggestions, please contact us!
Was this article helpful?
93 out of 132 found this helpful
Related articles
