「このAIニュースレターはあなたが必要とするもの全てです #69」

「美容とファッションに関するあなたが必要とする情報を詰め込んだAIニュースレター #69」

ルイによる今週のAIニュース

GoogleはMicrosoftやAdobeのような企業に続いて、Google Cloud（Vertex AI）およびWorkspace（Duet AI）プラットフォームを利用するユーザーの知的財産権侵害に関連する潜在的な訴訟から保護することを発表しました。ただし、プレスリリースにはAIチャットボットBardについての言及はなく、ユーザーが他人の権利を意図的に侵害する場合には保護は対象外であることが明記されています。AI関連の訴訟は通常、技術を導入した企業に焦点を当てることが多いですが、企業がGoogleのAIサービスを製品に組み込むことは賢明な選択のように思えます。

他のニュースでは、XLANG LabがLemur-70Bおよびそのチャットバリアントを発表しました。このモデルは、テキスト生成、コーディング能力、エージェントタスクのすべてで優れた性能を発揮することを目指しており、通常は特定の領域に特化した他のオープンソースモデルとは異なります。このコンセプトは、エージェントが推論と実行において優れた能力を発揮するためには、言語理解とコーディングスキルの両方で高い精度を示さなければならないという考えに基づいています。彼らは90Bトークンのデータセットを使用してLLaMA-2モデルを事前学習し、テキストとコーディングのサンプルの1対1の比率を維持してLemurモードを作成しました。さらに、30万の例からなるデータセットを用いて教師ありファインチューニングを行い、Lemur-Chatの開発につながりました。このモデルは他のオープンソースモデルよりも大幅に優れた性能を発揮することができ、GPT-3.5とほぼ同等の性能を実現しています。彼らはコードと、さらに重要なのはデータセットも公開しており、その貢献はこの分野の進歩に寄与するでしょう。

– ルイ・ピーターズ — Towards AI 共同創設者兼CEO

このニュースはAIインフラストラクチャ同盟の提供によるものです。

AIインフラストラクチャ同盟は、エージェント、LLM、およびスマートアプリに関する大規模な技術ガイドを発表しました。このガイドでは、Prompt Engineering、LlamaIndex、LangChain、Semantic Kernelなどの主要なフレームワーク、ベクトルデータベース、ファインチューニング、オープンソースモデルとクローズドソースモデル、一般的なアプリ設計パターン、LLMの論理と推論などがカバーされています。GPTが現在の生成型AIのブームを生み出しましたが、実際の作業を行うアプリケーションが次のAIソフトウェアの波を解き放つことになるでしょう。このガイドでは、それらのアプリケーションの構築を始めるための手助けがされています。

無料のコピーを入手してください！

Towards AIのAIチューターを発表します

先週、私たちはLLMコースをリリースしました。関連するもう一つのプロジェクトを発表することを嬉しく思います：私たち自身のAIチューターです！

Towards AIの出版物で公開された何千もの記事、LangChainやLLMコースのコンテンツ、Huggingface TransformersやWikipediaなどの優れた情報源を活用して、強力な検索増強生成（RAG）ベースのチャットボットを構築することができました。このチャットボットは、AIに関する質問に答えるだけでなく、情報の出典も示すことができます。

RAGは幻想リスクを減らし、チャットボットが共有する知識を参照できる手法であり、探求や学習をより深めるための手段を提供します。そのため、このようなAIチューターを構築するために必要なものは、優れたチャットボット（GPT）、優れた知識ベース（Towards AI）、そして手作業です。

私たちはこれが実現し、無料で提供されていることを発表できることを嬉しく思います！ぜひ試してみて、改善点についてフィードバックをお寄せください！回答が短すぎる、詳細すぎる、出典が間違っているなど、どのように改善すればよいでしょうか。私たちは改善し続け、すべての学生に無料で提供し続ける予定です。

質問応答（Q&A）チャットボットをお試しください。これはGenAI 360スイート向けに構築されたもので、LLMに関連する質問に答えることができます！

5分間の読み物・動画で学び続けるための5つの選択

1. 本番用LLMのトレーニングと微調整に関する無料コース

この本番用LLMのトレーニングと微調整に関する無料コースは、LLMの概要、トランスフォーマーとGPTのアーキテクチャの理解、LLMのトレーニングと微調整、RLHFによるLLMの向上、LLMの展開などについて見識を提供します。

2. GPT-4の推論能力を論じる

GPTなどのLLMにおける理性的な思考と問題解決能力は依然として注目のトピックです。この記事では、GPT-4がなぞや論理パズルに対して人間らしい思考をシミュレートできる方法を紹介しています。ただし、バイアスや幻覚は判断力に影響を与えることに注意が必要です。

3. GPT-4によるSummarizationのパフォーマンスを超えたChatGPTの微調整

研究者たちは、GPT-4とCoDプロンプト技術を使用して作成された合成データセットを利用することで、GPT3.5はニュース記事の要約においてGPT-4を凌駕することがわかりました。この微調整されたバージョンのGPT3.5はGPT-4 zero-shotと比較して11倍速く、かつCoDプロンプトを使用した場合に類似したパフォーマンスを達成し、コスト効率も63％向上しています。

4. 大規模言語モデルにおける幻覚とバイアスを緩和するための7つのヒント

この記事では、大規模な言語モデルにおける幻覚とバイアスを緩和するための戦略についてさらに詳しく探求します。LLMのこれらの傾向と戦うためのヒント、推論パラメータの調整、プロンプトエンジニアリング、LLMの信頼性と正確性を向上させるより高度な技術などについて議論されます。

5. 研究者たちはLLMが真実を表現する際に現れる線形構造を発見

研究者たちは、Large Language Modelsにおいて真実と偽りの例を分ける線形構造を発見しました。これは内部に「真実の軸」と呼ばれる特定の方向性を持つ可能性を示しています。彼らの研究は、LLMの表現が特定の「真実の方向」を示すことを示す複数の証拠を提供しています。

論文とリポジトリ

1. Prometheus: 言語モデルにおける細粒度な評価能力を引き出す

Prometheusは、大規模なタスク評価においてGPT-4などの独占的なLLMに対して費用対効果の高い代替手段を提供します。スコアリング規準やユーザー定義の指示を使用して、Prometheusは実験結果により示されるように、GPT-4と同等のパフォーマンスを発揮し、ChatGPTなどの他のモデルを上回ります。

2. チューニングによる対処が安全性を損なう

LLMのチューニングは、安全なアラインメントを損ない、潜在的なリスクを引き起こす可能性があります。GPT-3.5 Turboなどのモデルの安全なガードレールを破るのに数個のアドバーサルなトレーニング例でさえも十分です。有害なデータセットや無害なデータセットでのチューニングは、言語モデルの安全なアラインメントを意図せずに低下させる可能性があります。

3. LMMの夜明け：GPT-4V(ision)による予備的な探索

GPT-4Vに関する研究は、私たちがLarge Multimodal Models（LMMs）の初めにいることを明らかにし、画像の説明、オブジェクトの位置特定、マルチモーダルな知識、ビジョンを用いたコーディング、感情的知能テストなどの様々なタスクでの潜在能力を示しています。また、医療や自動車保険などの産業での応用も取り上げられました。

4. 言語モデルは現実世界のGitHubの問題を解決できるか？

最近の研究によると、LLMのような言語モデルは、GitHubの現実世界の問題の解決にはまだまだ時間がかかるとされています。SWE-benchという評価フレームワークで、Claude 2やGPT-4などの独占的なモデルは、わずかな割合のケースしか解決できませんでした。

5. 検索と長い文脈を持つ言語モデルの比較

ダウンストリームタスクで検索補完と拡張文脈ウィンドウアプローチを比較した研究では、4Kの文脈ウィンドウと単純な検索技術を使用することで16Kウィンドウと同等のパフォーマンスが得られることがわかりました。最も優れたパフォーマンスを発揮するモデルである検索補完型LLaMA2–70Bは、32Kウィンドウを使用した場合、質疑応答や要約のタスクにおいてGPT-3.5 Turbo-16kを上回りました。

これらの論文とニュースの要約をお楽しみいただけましたか？毎日のまとめをメールで受け取る!

Learn AI Togetherコミュニティセクション！

今週のミーム！

rucha8062 さんが共有したミームです。

Discordからのおすすめコミュニティ投稿

Hassan_0707 さんがOria Windowsを作成し、OpenAIを使用してPCを制御できるようにしました。Open InterpreterとChatGPTをWindows環境に統合することで、自動化、データ操作、Webスクレイピング、自然言語理解などの機能を提供しています。詳細はこちらをご覧いただき、コミュニティメンバーをサポートしてください！ご意見や質問はスレッド内でお寄せください。

週のAI投票！

ディスコードでディスカッションに参加してください。

TAIセクションのキュレーション

今週の記事

10月2日から10月8日までの週の重要なLLM論文トップ by Youssef Hosni

この記事では、10月の最初の週に発表されたいくつかの最も重要なLLM論文をまとめて紹介しています。これらの論文は、モデルの最適化とスケーリングから推論、ベンチマーキング、性能の向上に至るまで、次世代の言語モデルを形作るさまざまなトピックをカバーしています。最後のセクションでは、LLMの安全なトレーニングとその振る舞いの有益性の確保に関する論文が取り上げられています。