Learn more about Search Results A - Page 196

「Cを使用してLLMsを最適化し、GPT、Lama、Whisperを自分のラップトップで実行する」

大規模言語モデル（LLM）はどこでも話題になっています新聞は新たな到来する世界を説明するために大量の言葉を使っており、「AIはついに到着した」と保証していますしかし、LLMは...

「Google DeepMindが、7100万件の「ミスセンス」変異の効果を分類する新しいAIツールを発表」

人類遺伝学における最大の課題は、おそらく人間のゲノムの複雑さと、健康と病気に寄与する遺伝要因の広範な多様性です。人間のゲノムは30億以上の塩基対から成り、タンパク質をコードする遺伝子だけでなく、遺伝子の調節と機能に重要な役割を果たすノンコーディング領域も含まれています。これらの要素とその相互作用のプロセスを理解することは、非常に困難な課題です。 病気に関連する遺伝子変異を知ることは単なる始まりにすぎません。これらの変異の機能的な結果、他の遺伝子との相互作用、および疾患の病理学的な役割を理解することは、複雑で資源を消費する作業です。高いシーケンス技術によって生成される膨大な遺伝データを分析するには、高度なコンピュータツールとインフラストラクチャが必要です。データの保存、共有、分析は、実務上の多大な課題を提起します。 Google DeepMindの研究者は、AlphaMissenseという新たなAIモデルを使用してAlphaMissenseカタログを開発しました。これには71百万通りのミッセンス変異のうち約89%が、病原性または良性のカテゴリに分類されています。ミッセンス変異は、DNA配列中の単一ヌクレオチドの置換によって生じる遺伝的変異です。ヌクレオチドはDNAの構成要素であり、特定の順序で配置されています。この配列は生物の基本的な遺伝情報とタンパク質構造を保持しています。平均して、一人の人が9000以上のミッセンス変異を持っています。 これらの分類されたミッセンス変異は、疾患の原因となるタンパク質の変化を理解するのに役立ちます。彼らの現在のモデルは、彼らが以前に成功したAlphaFoldというモデルのデータを訓練に使用しています。このモデルは、アミノ酸配列から既知のほぼすべてのタンパク質の構造を予測しました。ただし、AlphaMissenseは、データベースのタンパク質配列と変異の構造的文脈を分類するだけで、0から1までのスコアを生成します。スコア1は、その構造が病原体である可能性が非常に高いことを示します。与えられた配列に対して、スコアは変異を分類するための閾値を選択するために分析されます。 AlphaMissenseは、他のすべての計算方法やモデルを上回っています。彼らのモデルは、実験結果を予測するための最も正確な方法でもあり、病原性の測定方法の一貫性を反映しています。このモデルを使用すると、ユーザーは一度に何千ものタンパク質の結果のプレビューを取得できます。これは、リソースの優先順位付けと研究の加速に役立ちます。人間で見られる400万以上のミッセンス変異のうち、専門家によって病原性または良性として注釈が付けられたのは2%にすぎず、すべての71百万通りのミッセンス変異の約0.1%です。 人類の遺伝学は急速に進化しており、技術、データ分析、遺伝メカニズムの理解の進歩によってこれらの課題に取り組み続けています。これらの課題は重要ですが、遺伝研究を通じて人間の健康と個別化医療の向上に向けたエキサイティングな機会をもたらします。さまざまな生物のゲノムを解読することは進化についての洞察を提供します。

ソウル国立大学の研究者たちは、効率的かつ適応性のあるロボット制御のための革新的なAI手法であるロコモーション・アクション・マニピュレーション（LAMA）を紹介しています

ソウル国立大学の研究者は、ロボット工学における効率的かつ適応性のあるロボットの制御という基本的な課題に取り組んでいます。従来のロボット制御手法では、特定のシナリオに対して広範なトレーニングが必要となり、入力条件の変動に対して計算コストが高く柔軟性に欠けることがよくありました。この問題は、ロボットが多様で絶えず変化する環境と相互作用する必要がある実世界のアプリケーションにおいて特に重要です。 この課題に取り組むため、研究チームは革新的なアプローチ「Locomotion-Action-Manipulation：LAMA」を導入しました。彼らは、広範な入力の変動を処理できる特定の入力条件に最適化された単一のポリシーを開発しました。従来の手法とは異なり、このポリシーは各ユニークなシナリオに対して別々のトレーニングを必要としません。代わりに、その振る舞いを適応させて一般化することで、計算時間を大幅に削減し、ロボット制御の貴重なツールとなります。 提案された手法では、特定の入力条件に最適化されたポリシーのトレーニングが行われます。このポリシーは、初期位置や目標アクションを含む入力の変動を徹底的にテストされます。これらの実験の結果は、その堅牢性と一般化能力を証明しています。 従来のロボット制御では、異なるシナリオごとに別々のポリシーがトレーニングされることがよくあり、大量のデータ収集とトレーニング時間が必要とされます。このアプローチは、実世界の条件の変動に対応する際により効率的かつ適応性があるかもしれません。 研究チームの革新的なポリシーは、非常に適応性が高いことでこの問題に対応しています。様々な入力条件を処理できるため、各特定のシナリオに対する広範なトレーニングの必要性が減少します。この適応性は画期的であり、トレーニングプロセスを単純化するだけでなく、ロボット制御の効率を大幅に向上させます。 さらに、研究チームは、このポリシーによって合成された動作の物理的な妥当性を徹底的に評価しました。その結果、ポリシーは効果的に入力の変動を処理できるだけでなく、合成された動作の品質も維持することが示されました。これにより、ロボットの動作が異なるシナリオ全体で現実的で物理的に妥当であることが保証されます。 このアプローチの最も注目すべき利点の1つは、計算時間の大幅な削減です。従来のロボット制御では、異なるシナリオごとに別々のポリシーをトレーニングすることは時間とリソースを消費する作業です。しかし、特定の入力条件に最適化された提案されたポリシーを推論に使用する場合、ポリシーを毎回ゼロからトレーニングする必要はありません。研究チームは比較分析を行い、モーション合成のための平均入力ペアあたりの計算時間がわずか0.15秒であることを示しました。対照的に、各ペアのためにゼロからポリシーをトレーニングする場合、平均6.32分（379秒）かかります。この計算時間の大きな違いは、提案された手法の効率と時間の節約の潜在能力を強調しています。 このイノベーションの意義は非常に大きいです。ロボットが迅速に異なる条件に適応する必要がある実世界のアプリケーションでは、このポリシーは画期的なものとなります。これにより、より反応性と適応性のあるロボットシステムが可能となり、時間が重要なシナリオでより実用的かつ効率的になります。 総括すると、この研究は、ロボット工学における効率的かつ適応性のあるロボットの制御という長年の問題に対する画期的な解決策を提案しています。提案された手法は、特定の入力条件に最適化された単一のポリシーであり、ロボット制御の新たなパラダイムを提供します。 このポリシーは、広範な入力の変動を処理する能力を持ち、広範なトレーニングの必要性を大幅に減少させます。この効率性は、事前に最適化されたポリシーを推論に使用するときの計算時間の劇的な削減によってさらに強調されます。 合成された動作の評価は、異なるシナリオにおいてもロボットの動きの品質が高く保たれ、物理的に妥当で現実的であることを確認しています。 この研究の意義は非常に大きく、製造業から医療、自動車まで様々な産業における潜在的な応用があります。変化する環境に迅速かつ効率的に適応する能力は、これらの分野のロボットにとって重要な特徴です。 全体として、この研究はロボット工学の重要な進歩を示しており、最も重要な課題の1つに対する有望な解決策を提供しています。これにより、より適応性の高い、効率的で反応性のあるロボットシステムが実現し、ロボットが私たちの日常生活にシームレスに統合される未来に一歩近づくことができます。

「マイクロソフトと清華大学によるこのAI研究は、EvoPromptという新しいAIフレームワークを紹介しますこのフレームワークは、LLMと進化アルゴリズムを接続するための自動的な離散プロンプト最適化を実現します」

大規模言語モデル（LLM）はほとんどすべての自然言語処理（NLP）のタスクで優れた成績を収めています。しかし、従来のファインチューニング手法はLLMにとって高コストであり、LLMパラメータを変更せずに学習可能なプロンプト埋め込みを使用する連続プロンプトチューニング技術の開発が行われています。ただし、これらの手法はまだLLMパラメータへのアクセスを必要とし、GPT-3やGPT-4などのブラックボックスAPIでアクセスされるLLMには適していません。 この論文では以下の貢献があります： EVOPROMPTの導入：著者は、離散プロンプトの最適化を自動化するための新しいフレームワークであるEVOPROMPTを紹介しています。このフレームワークは、大規模言語モデル（LLM）と進化的アルゴリズム（EA）を結びつけ、以下の利点を提供します： LLMパラメータや勾配へのアクセスは必要ありません。 探索と利用のバランスを効果的に取ることで、結果の改善が図られます。 人間により理解しやすいプロンプトを生成します。 実証的な証拠：本論文では、9つの異なるデータセットで行われた実験により、EVOPROMPTの既存の手法との比較における効果を示す実証的な証拠を提供しています。感情分類、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、最大14％の性能向上が示されました。 最適なプロンプトの公開：著者は、EVOPROMPTを用いて得られた最適なプロンプトを共有することで貴重な貢献をしています。これらのプロンプトは、感情分析、トピック分類、主観性分類、簡素化、要約などのタスクにおいて、研究コミュニティや実践者に利用されることができます。 LLMの革新的な利用：この論文は、適切な指示が与えられた場合にLLMを用いて進化的アルゴリズムを実装する概念を先駆けています。この新しいアプローチにより、LLMと従来のアルゴリズムを組み合わせた潜在的な応用の可能性が広がります。 EVOPROMPTを実用化するためには、特定の進化的アルゴリズム（EA）と組み合わせることが重要です。さまざまな種類のEAが存在し、この論文では2つの広く認識されているアルゴリズム、遺伝的アルゴリズム（GA）と差分進化（DE）に焦点を当てています。 上記の画像は、LLMによる離散プロンプト最適化のために実装されたGAプロセスを示しています。研究者は、LLMが従来のアルゴリズムを実装するための効果的で解釈可能なインターフェースを提供し、人間の理解とコミュニケーションとの良好な一致を確保すると考えています。この研究結果は、LLMが誤って予測されたサンプルを収集することで、離散空間で「勾配降下法」を実行する最近の傾向を裏付けています。 大規模言語モデル（LLM）の能力を最大限に活用し、自然言語の指示を用いて人間との対話を通じて多様なアルゴリズムの実行を調査するためには、追加の研究の機会が存在します。LLMがシミュレーテッドアニーリングなどの微分フリーアルゴリズムにおいて潜在的な解を生成できるかどうかなど、探索のアイデアが含まれます。

「ReLU vs. Softmax in Vision Transformers Does Sequence Length Matter? Insights from a Google DeepMind Research Paper」 ビジョン・トランスフォーマーにおけるReLU vs. Softmax：シーケンスの長さは重要か？Google DeepMindの研究論文からの洞察

今日一般的な機械学習アーキテクチャは、トランスフォーマーアーキテクチャです。トランスフォーマーの主要なパーツの1つであるアテンションは、トークン全体にわたる確率分布を生成するソフトマックスを持っています。ソフトマックスは、指数計算とシーケンスの長さの合計による計算量のため、並列化が困難です。この研究では、確率分布を常に提供しないポイントワイズのソフトマックスの代替手法について調査しています。特筆すべき発見の1つは、ビジュアルトランスフォーマーの場合、ReLUによるシーケンスの長さで分割されたアテンションのスケーリング動作が、クラシックなソフトマックスアテンションとほぼ同等または一致することです。 この発見により、ReLU-アテンションはシーケンスの長さ次元に沿って標準のアテンションよりも容易に並列化できる新たな可能性が開かれました。以前の研究では、ReLUまたは二乗ReLUがソフトマックスの代替手法として考慮されてきました。ただし、これらの手法はシーケンスの長さで分割されていないため、Google DeepMindの研究者によれば、ソフトマックスと同等の精度を達成するためにはこれが重要です。さらに、以前の研究では、ソフトマックスの役割を果たすことが考慮されており、シーケンスの長さの軸方向での正規化は依然として必要ですが、これにはギャザリングが必要です。さらに、アテンションを線形にするために活性化関数を排除する研究が豊富にあり、これは長いシーケンスの期間に有利です。 彼らの研究では、活性化が完全に除外されると精度が低下しました。彼らのテストは、ハイパーパラメータを変更せずに、BigVisionソースのImageNet-21kおよびImageNet-1kのトレーニング設定を使用しています。ImageNet-21kでは30エポック、ImageNet-1kでは300エポックトレーニングします。その結果、両方のトレーニング実行には約9e5ステップかかります。これは以前の研究でモデルサイズのスケーリング時の不安定性を避けるために必要であることが判明しているため、彼らはqkレイヤーの正規化を持つViTsを使用します。彼らは、これが彼らのスケールにおいて重要な要素ではないと結論づけています。 彼らは、ファインチューニングせずにImageNet-1k内のトップクラスのみを取ることによって、ImageNet-21kモデルのImageNet-1k精度を報告しています。彼らは、転送パフォーマンスを評価するために、3つのシードで平均化された10ショットのリニアプローブを使用します。転送先のタスクには、Caltech Birds、Caltech101、Stanford Cars、CIFAR-100、DTD、ColHsit、Pets、およびUC Mercedがあります。この研究は、多くの未解決の問題を提起しています。なぜ因子L^(-1)がパフォーマンスを向上させるのか、またはこの概念を学習できるかを彼らは発見しなければなりません。さらに、彼らが調査していないより効果的な活性化関数があるかもしれません。

「Amazon SageMakerを使用したRLHFによるLLMsの改善」

このブログ投稿では、人気のあるオープンソースのRLHFリポTrlxを使用して、Amazon SageMaker上でRLHFを実行する方法を説明します私たちの実験を通じて、Anthropicが提供する公開可能なHelpfulness and Harmlessness（HH）データセットを使用して、大規模な言語モデルの役立ち度または無害性を向上させるためにRLHFを使用する方法を示しますこのデータセットを使用して、ml.p4d.24xlargeインスタンスで実行されているAmazon SageMaker Studioノートブックを使用して実験を行います最後に、私たちの実験を再現するためのJupyterノートブックを提供します

「ChatGPTは画像を生成することができるようになりました」

OpenAIは、ChatGPTオンラインチャットボットにDALL-E画像生成器の新バージョンを統合しました

「6週間でCassandraにベクトル検索を追加するのにAIがどのように役立ったのか」

「DataStaxは、この基礎となるAI機能を追加するために迅速に動かなければなりませんでしたChatGPT、Copilot、および他のAIツールのおかげで、私たちはコードを構築することができました」

「検索増強生成によるAIの幻覚の軽減」

「この新しく考案された技術は、独自のデータをプロンプトに追加することで、LLM（Language Model）の知識を増やす可能性を示しています」

「AI倫理ツールキットが機能する理由を探る」

AIシステムの重要な影響を持つアプリケーションでの使用が増えるにつれて、専門家たちはこれらのシステムを設計する際により参加型で価値意識の高い手法を求めていますそこで…

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us