Search Results A

微調整、再教育、そして更なる進化：カスタムLLMで前進

イントロダクションほとんどの方はすでにChatGPTを使用したことがあると思います。それは素晴らしいことです。なぜなら、この記事で私たちが始める旅の最初のステップを踏んでくれたからです！新しい技術をマスターするには、まずそれを使ってみることが重要です。それは水に飛び込んで泳ぎを覚えるようなものです！🏊‍♂️ もしGenAIを探求したいのであれば、現実の問題を選び、それを解決するためのアプリケーションの構築を始めてください。GenAIの中心にあるのは、ファウンデーションモデル（FM）とも呼ばれる大規模言語モデル（LLM）です。モデルの消費者、調整者、ビルダーについては聞いたことがあるかもしれませんが、さらに詳しく説明します。 McKinseyは、それを受け手、形作り手、創り手として捉えており、GenAI Recogniseセッションで言及しています。この記事では、それぞれのレイヤーを詳しく見ていきます。プラットフォームの増殖を使用例としてそれをさらに詳しく掘り下げるために、すべてがはっきりとわかる実例に目を向けましょう。現代のテクノロジーの風景では、ほとんどのアプリが複数のプラットフォームで動作する必要があることは当然です。しかし、その中には注意点があります。各プラットフォームには独自のインターフェースと特異性があります。追加のプラットフォームへのアプリケーションのサポート拡張とそのようなマルチプラットフォームアプリケーションのメンテナンスは同じくらい困難です。しかし、そこでGenAIが駆けつけて救いの手を差し伸べます。GenAIは、プラットフォームに関係なく、アプリケーションのために統一されたユーザーフレンドリーなインターフェースを作成することを可能にします。その魔法の材料は何でしょうか？大規模言語モデル（LLM）がこのインターフェースを自然で直感的な言語に変換するのです。 Linux、Windows、Macコマンドさらに理解を深めるために、例えば私たちのマシンがLinux、Windows、またはMacである場合に、異なるシナリオごとに実行すべき正確なコマンドを知りたいとしましょう。以下の図は1つのシナリオを示しています：エンドユーザーとアプリケーション開発者への価値エンドユーザーとしては、各プラットフォームごとのコマンドを学び/知る必要がなく、自然かつ直感的に作業を完了できます。アプリケーションの開発者としては、ユーザーに見えるアプリケーションのインターフェースを、それぞれのサポートされるプラットフォームに明示的に変換する必要はありません。参照アーキテクチャ Open AIやAzure Open AIなどのさまざまなプロバイダーが提供するクラウドには、GPT3、GPT3.5、およびGPT4を含む複数のLLMが存在します。これらは補完、チャット補完などのさまざまなAPIを介して簡単にアクセスできます。 AIオーケストレータは、モデルとプロバイダー間のモデルとモデルの統一化されたアクセスをさらにシームレスにします。そのため、GenAIアプリケーションは、基礎となるプロバイダーやモデルと直接対話するのではなく、AIオーケストレータと対話します。そして、アプリケーションが必要とするように、構成可能で、または複数の基礎となるプロバイダーやモデルとのオーケストレーションを処理します。柔軟性とモジュラリティのために、アプリケーションがサポートする各プラットフォームにはプラグインを持つことができます。これから続くセクションでは、これらのプラグインとオーケストレータで行えることについて詳しく説明します。最後に、アプリケーションにはGenAIによって生成されたコマンドを実行するためにサポートするプラットフォームとの接続があります。参照テクノロジー AIオーケストレータ：…

「データサイエンスをマスターするための無料の5冊の本」

「データサイエンスに参入したいですか？Python、統計学、線形代数、機械学習、深層学習を学ぶための無料の書籍リストをチェックしてください」

Data science

「言語モデルがプログラマーを置き換えることはできるのか？プリンストン大学とシカゴ大学の研究者が、GitHubからの実際の課題解決において機械学習モデルのテストを行う評価フレームワークであるSWE-benchを紹介」

言語モデルの実世界のソフトウェアエンジニアリングの課題への適用能力を評価することは、彼らの進歩にとって重要です。SWE-bench（SWEベンチ）は、PythonリポジトリのGitHubの課題とプルリクエストを使用し、これらのモデルがコーディングタスクや問題解決にどれだけ対処できるかを評価する革新的な評価フレームワークです。調査の結果、最も高度なモデルでも簡単な課題しか対処できないことが明らかになりました。これは、実用的かつインテリジェントなソフトウェアエンジニアリングのソリューションを可能にするために、言語モデルのさらなる進歩が喫緊の課題であることを強調しています。以前の研究では、言語モデルの評価フレームワークが導入されていますが、これらはより多目的性が必要であり、実世界のソフトウェアエンジニアリングのタスクの複雑さに対処する必要があります。特にコード生成の既存のベンチマークは、これらの課題の深さを捉える必要があります。プリンストン大学とシカゴ大学の研究者によるSWE-benchフレームワークは、パッチ生成や複雑なコンテキスト推論などの実世界のソフトウェアエンジニアリングの課題に焦点を当て、ソフトウェアエンジニアリングの機能を向上させるためのより現実的かつ総合的な評価を提供することで際立っています。これは、ソフトウェアエンジニアリングの機械学習の分野で特に関連性があります。言語モデル（LM）は広範に商業アプリケーションで使用されているため、その能力を評価するための堅牢なベンチマークの必要性が明らかになります。既存のベンチマークは、実世界のタスクを持つ言語モデルに対してチャレンジングであるように見直す必要があります。ソフトウェアエンジニアリングのタスクは、その複雑さと単体テストによる検証性により、説得力のあるチャレンジを提供します。SWE-benchフレームワークは、GitHubの課題と解決策を活用して、ソフトウェアエンジニアリングの文脈でLMを評価するための実用的なベンチマークを作成し、実世界での適用性と継続的な更新を促進します。彼らの研究には、GitHubからの2,294の実世界のソフトウェアエンジニアリングの問題が含まれています。LMは、関数、クラス、ファイル全体にわたって課題を解決するためにコードベースを編集します。モデルの入力には、タスクの指示、課題のテキスト、取得したファイル、例のパッチ、プロンプトが含まれます。モデルの性能は、スパースな回収とオラクル回収の2つのコンテキスト設定で評価されます。評価結果は、Claude 2やGPT-4のような最新鋭のモデルでも、実世界のソフトウェアエンジニアリングの課題に対して解決するのが困難であり、最高のコンテキスト回収方法でも合格率は4.8％や1.7％など非常に低いことを示しています。彼らのモデルは、より長いコンテキストからの問題やコンテキストのバリエーションに対して敏感であり、短くて整形されていないパッチファイルを生成する傾向があります。これは、複雑なコード関連のタスクの処理における課題を強調しています。言語モデルが進化するにつれて、文献では実用的で実世界のシナリオでの包括的な評価の重要性が強調されています。評価フレームワークであるSWE-benchは、ソフトウェアエンジニアリングの文脈で次世代の言語モデルの能力を評価する厳しい現実的なテストベッドとして役立ちます。評価結果は、最先端の言語モデルでも複雑なソフトウェアエンジニアリングの課題に対処する能力には限界があることを示しています。彼らの貢献は、より実用的でインテリジェントで自律性のある言語モデルの開発の必要性を強調しています。研究者はSWE-bench評価フレームワークのさらなる向上に向けていくつかの方法を提案しています。彼らの研究では、より幅広い範囲のソフトウェアエンジニアリングの問題を含むベンチマークの拡大が示唆されています。高度な回収技術やマルチモーダルラーニングアプローチの探索は、言語モデルのパフォーマンスを向上させることができます。複雑なコード変更の理解の制約や整形されたパッチファイルの生成の改善に対応することは、将来の探究の重要な領域として強調されています。これらのステップは、現実のソフトウェアエンジニアリングシナリオにおける言語モデルのより包括的かつ効果的な評価フレームワークを作成することを目指しています。

「MindGPTとは、fMRI信号から察知された視覚刺激を自然言語に解釈する非侵襲的な神経デコーダーです」

他の人とコミュニケーションを取るために、人間は外界で見たことを説明するために限られた量の言葉しか使うことができません。この適応性のある認知能力は、言語を介して伝達される意味情報が、特に視覚に関する異なる形態の感覚入力と複雑に絡み合っていることを示しています。神経科学の研究によると、アモーダルな意味表現は視覚と言語の経験の間で共有されています。例えば、単語「猫」は猫のイメージに匹敵する概念情報を生成します。ただし、概念的なカテゴリとV&Lモダリティ間の意味関係や滑らかな遷移は、時には計算モデルを使用して数量化または実現されることがあります。最近の神経デコーダの研究では、機能的磁気共鳴イメージングで捉えられた視覚皮質の表現から視覚コンテンツを再構築することができることが示されています。しかし、再構築された画像のぼやけや意味のなさや不一致は依然として存在します。一方、神経科学のコミュニティは、脳の視覚野がV&L形式の意味的なアイデアにアクセスできるという主張を裏付ける強力な証拠を提供しています。その結果、私たちはあなたが口頭で知覚することを翻訳するための新しい「心の読み取り」装置の開発を推進する必要があります。このような取り組みは、クロスモーダルな意味統合メカニズムを明らかにする上で相当な科学的価値を持ち、補完的または修復的な脳-コンピュータインタフェースに有用な情報を提供するかもしれません。浙江大学の著者らは、MindGPTという非侵襲的な神経言語デコーダを紹介しています。これは、静的な視覚刺激によって生成される血液酸素レベル依存パターンを適切な単語の列に変換するものです（図1参照）。彼らの知識によれば、Tangらは非侵襲的言語デコーダの作成を試みた最初の研究者であり、非侵襲的言語デコーダに沈黙の映画の意味を回復する能力すらも備えています。しかし、fMRIの時間的解像度が低いため、候補の単語と誘発された脳の反応との間の微細な意味的意義を予測するためには、多くのfMRIデータを収集する必要があります。図1: 左：MindGPTの非侵襲的言語デコーダの全体的なパイプライン。右：私たちのMindGPT再構築、SMALLCAP画像キャプションモデル、VQ-fMRI、MinD-Vis視覚デコーディング手法の結果。この研究では、単一の画像などの静的な視覚感覚体験によってアモーダルな言語マップがどの程度意味的にラベル付けされるかに焦点を当てています。彼らのMindGPTは2つの重要な要件を満たすために構築されています：(i) 脳活動から視覚的な意味表現を抽出できる必要があり、(ii) 学習されたVSRを適切に構築された単語の列に変換する方法を含まなければなりません。彼らはまず、大規模な言語モデルであるGPT-2をテキスト生成器として使用することを決定しました。このモデルはWebTextと呼ばれる数百万のウェブサイトのデータセットで事前学習されており、文のパターンを適切な形式の自然な英語に似せることができます。その後、脳-視覚言語表現間の意味のギャップを閉じるために、彼らはシンプルで効果的なCLIPガイドのfMRIエンコーダと交差注意層を採用しました。このニューラルデコーディングの形式は、学習可能なパラメータ数が非常に少なく、軽量かつ効率的です。この研究では、MindGPTが信頼性の高いV&L意味変換のための脳の視覚野と機械の間のリンクとして機能する可能性を示しています。彼らの技術は一般化可能な脳の意味的表現とB & V & Lモダリティの包括的な理解を学習し、観察された入力の視覚的な意味を正確に捉えた言語を生成します。さらに、彼らは非常に少量のfMRI画像トレーニングデータでも、熟練したMindGPTが刺激画像の視覚的な手がかりを記録する能力を持つように見えることを発見しました。これにより、視覚特徴が言語の意味にどのように貢献するかを調査することが容易になりました。また、視覚化ツールの助けを借りて、MindGPTによって教えられた潜在的な脳の表現が、低レベルの視覚的側面と高レベルの意味的アイデアの両方で有益な局所性特性を持っていることがわかり、神経科学の一部の研究結果と一致しています。全体として、MindGPTは以前の研究とは対照的に、fMRIの時間的解像度を考慮せずに脳のVC内のV&L表現間の意味的な関係を推測することが可能であることが明らかになりました。

「GeoJSONからネットワークグラフへ：Pythonで世界の国境を分析する」

Pythonは、さまざまな研究分野の問題を簡単かつ迅速に解決するための広範なライブラリを提供していますジオスペーシャルデータ分析やグラフ理論は、Pythonが特に優れている研究分野の2つです…

「Pythonによる多クラスラベルのための完全に説明されたソフトマックス回帰」

「ロジスティック回帰では、バイナリクラス、つまり出力列に2つのクラスを扱いますしかし、現実世界では様々なタイプのデータが得られることがあり、時には2つ以上のクラスが存在することもあります...」

ディープフェイクの進化はどこまで進み、どれだけ深刻な問題になるのか？

AIが私たちの日常生活により深く統合されるにつれて、ディープフェイク技術は多くの人々にとって懸念の種となっています特に、ソーシャルメディアで個人的な瞬間を共有するのが好きな人々にとってです友達との夜遊びやバハマでの家族ピクニックなど、Instagram、Facebook、Snapchatなどのプラットフォームで共有される写真は必ずしも安全ではありません

Deepfakes

Learn more about Search Results A - Page 602

微調整、再教育、そして更なる進化：カスタムLLMで前進

「データサイエンスをマスターするための無料の5冊の本」

「言語モデルがプログラマーを置き換えることはできるのか？プリンストン大学とシカゴ大学の研究者が、GitHubからの実際の課題解決において機械学習モデルのテストを行う評価フレームワークであるSWE-benchを紹介」

「MindGPTとは、fMRI信号から察知された視覚刺激を自然言語に解釈する非侵襲的な神経デコーダーです」

「GeoJSONからネットワークグラフへ：Pythonで世界の国境を分析する」

「Pythonによる多クラスラベルのための完全に説明されたソフトマックス回帰」

ディープフェイクの進化はどこまで進み、どれだけ深刻な問題になるのか？

「フェイスブックの10億スケールの検索アルゴリズムがプロテオミックデータを効率的にナビゲートするために再利用されました」

拡散モデルの謎を解き明かす：詳細な探求

「グラフ理論における重要な概念、グラフ彩色の理解」

Find the right Blockchain Investment for you