Search Results Nature

「カタストロフィックな忘却を防ぎつつ、タスクに微調整されたモデルのファインチューニングにqLoRAを活用する：LLaMA2(-chat)との事例研究」

大規模言語モデル（LLM）のAnthropicのClaudeやMetaのLLaMA2などは、さまざまな自然言語タスクで印象的な能力を示していますしかし、その知識とタスク固有の...

「ChatGPTにおける自然言語入力のパワーを解き放つ」

自然言語の入力でChatGPTの機能を最大限に活用しましょう高度なモデルからのリアルな対話と正確な応答をお楽しみください今日、その潜在能力を解き放ちましょう！

大規模言語モデルのコード解読：Databricksが教えてくれたこと

「ファインチューニング、フラッシュアテンション、LoRa、AliBi、PEFTなどの技術を使用して、カスタムモデルを開発することにより、自分自身のエンドツーエンドのプロダクションレディなLLMワークフローの構築を学びましょう」

大規模言語モデルの探索 -Part 1

この記事は主に自己学習のために書かれていますそのため、広範囲かつ深い内容です興味のあるセクションをスキップしたり、自分が興味を持っている分野を探求するために、自由に特定のセクションをスキップしてください以下にいくつかの…

DSPyの内部：知っておく必要のある新しい言語モデルプログラミングフレームワーク

言語モデルプログラミング（LMP）フレームワークの世界は、ここ数か月で急速に拡大していますLangChainやLlamaIndexなどのフレームワークは、確かに関連するレベルの成果を上げています...

「物理データを使用してコンピュータビジョンを再焦点化する」

「物理ベースのセンサーやシステムから収集されたメタデータを用いて従来のコンピュータビジョンデータを補完する方法を探索する」

「PDF、txt、そしてウェブページとして、あなたのドキュメントと話しましょう」

LLMsを使用してPDF、TXT、さらにはウェブページなどのドキュメントに質問をすることができるウェブと知能を作成するための完全ガイド

「火星のためのモルフォボット：カリフォルニア工科大学がNASAのミッション候補として全地形ロボットを開発」

2020年、アカデミックスのモーリー・ガーリブとアリレザ・ラメザニは、現在では文字通りこの世のものではない仕事のチャンスを得ている変形ロボットを考案していました。それはNASAの火星ローバーミッションです。カリフォルニア工科大学は、その多才なロボットを発表しました。このロボットは飛行、運転、歩行ができ、そのスキルの組み合わせにより8つの動作の組み合わせが可能です。それをMulti-Modal Mobility Morphobot、またはM4と呼びます。これは、エッジAIとロボティクスのためのNVIDIA Jetsonプラットフォームによって可能にされています。カリフォルニア工科大学の航空学とバイオインスパイアードエンジニアリングの教授であるガーリブは、「私たちが行いたい機能の数は増えました。デザインチームに提案した最初の時点では、彼らは皆「いや」と言いました。」と述べています。カリフォルニア工科大学は最初の研究を資金提供し、NASAとそのジェット推進研究所（JPL）は次のフェーズを資金提供し、昨年夏にノースイースタン大学の電気・コンピュータ工学の助教授であるラメザニをJPLの教員研究者として迎え入れ、さらに開発を進めました。そのM42バージョンは現在、NASAで火星ローバーの候補として開発中であり、ガーリブによれば、アメリカ運輸省からも関心を持たれているとのことです。「NASAでは、現在、着陸中に変形する能力をテストしています。」と彼は言いました。そして最近、Nature Communicationsで論文を発表したことから、ガーリブは提案にあふれかえっていると述べています。「いきなり注目を浴びるようになったことに、私たちは少し目が回っています。」と彼は言いました。「異なる組織が異なることをしたいと考え、私たちに接触しています。」消防、捜索救助作業カリフォルニア工科大学の論文の背後にいるチームは、ガーリブとラメザニだけでなく、カリフォルニア工科大学航空宇宙学のポストドクトラルスカラー研究員のエリック・シヒテ、JPLのアラシュ・カランタリ、CASTのデザインエンジニアであるレザ・ネモヴィです。彼らはM4を、他の領域として多様なミッション要件に対応するために設計されていると述べています。たとえば、火事のような場所に転がり込むことができない場合、カメラとセンサーを使用して状況を評価するために飛行し、偵察することができます。ガーリブによれば、ロサンゼルス地域の多くの消防署がM4に関心を持ち、ガーリブに連絡してきたとのことです。「救助活動にとっては非常に重要です。安全な場所に着陸してから現場に入る必要があります。」と彼は言いました。多目的なドローンによる業務完了カリフォルニア工科大学のチームは、M4を使用してドローンの配達に関連する問題を解決することも目指しています。ガーリブによれば、ドローンによる配達はこのロボットにとっては「簡単なもの」です。彼は言います。「ドローンによる配達は問題があります。安全上の理由から、誰もが自宅や事業所の近くにドローンが着陸することを望みません。M4は人から離れた場所に着陸し、その後配達を完了するために走行することができるため、より安全なオプションになります。」 M4は、トラックによる配達が入りにくい場所にも飛び込むことができます。「トラックの配達ができない場所はたくさんあります。」と彼は言いました。現時点では、M4は最高時速40マイルで移動することができ、バッテリーの充電で最大30分間使用することができます。しかし、チームはより長い飛行時間、より大きな積載量、およびより長い移動距離を持つ大型ドローンを設計するために取り組んでいます。可能性は無限大です。…

なぜ科学者たちは仮想世界に没頭しているのか

「仮想現実（VR）技術を実験室で使用する科学研究者の数が増えており、しばしば遠くの同僚と簡単に協力したり、単にリモートで作業したりするために使用しています」

「この新しいAI研究は、事前学習されたタンパク質言語モデルを幾何学的深層学習ネットワークに統合することで、タンパク質構造解析を進化させます」

科学的な探求には、魅力的で複雑な構造を持つタンパク質による魅力的で不思議な方法で重要な生物学的プロセスを支配する分子ワークホースが待ち受けています。しかし、タンパク質の複雑な3次元（3D）アーキテクチャを解釈することは、現在の解析方法の制約により長い間課題となってきました。この複雑なパズルの中で、幾何学的ニューラルネットワークの潜在能力を理解するための探求が展開されます。タンパク質構造の解明には困難な旅があります。これらの構造の本質は、生物学的機能を指示する3Dの領域に存在するため、その捕捉は困難な課題です。従来の方法は、より多くの構造データを必要とし、理解にはギャップが生じることがよくあります。一方で、別の探求の道が花開いています-タンパク質言語モデル。これらのモデルは、アミノ酸の線形な一次元（1D）配列を基に磨かれており、多様な応用において優れた能力を示します。しかし、タンパク質の複雑な3Dの性質を理解する能力の制約が生じたため、革新的なアプローチの誕生を促しました。 https://www.nature.com/articles/s42003-023-05133-1 研究の突破口は、幾何学的ニューラルネットワークとタンパク質言語モデルという2つの異なる領域の融合にあります。独創的でありながら洗練されたシンプルなアプローチは、幾何学的ネットワークに言語モデルから得られた見識を注入することを目指しています。課題は、1Dの配列の理解と複雑な3D構造の理解とのギャップを埋めることです。解決策は、ESM-2などのよく訓練されたタンパク質言語モデルの支援を借りて、タンパク質配列の微妙なニュアンスを解読することです。これらのモデルは、配列のコードを解き明かし、重要な情報を包括する残基ごとの表現を生成します。これらの表現は、配列に関連する洞察の宝庫であり、高度な幾何学的ニューラルネットワークの入力特徴に無理なく統合されます。この結合により、ネットワークは1Dの配列に埋め込まれた豊富な知識のリポジトリを活用しながら、3Dタンパク質構造の複雑さを理解する能力が強化されます。提案されたアプローチは、1Dの配列解析と3D構造理解の調和のとれた統合を通じて展開され、重要な2つのステップから成ります。旅はタンパク質配列から始まり、タンパク質言語モデルの領域に進出します。ESM-2はこの領域での先駆者であり、アミノ酸配列の隠された言語を解読し、残基ごとの表現を生成します。これらの表現は、パズルの断片のように、配列の本質を捉えます。スムーズに、これらの断片は高度な幾何学的ニューラルネットワークの構造に織り込まれ、入力特徴を豊かにします。この共生的な融合により、ネットワークは3D構造解析の制約を超え、1D配列に埋め込まれた知識の深い領域を取り込みながら旅立つことができます。科学の進歩の歴史において、幾何学的ニューラルネットワークとタンパク質言語モデルの結合は新たな時代を予感させます。研究の旅はタンパク質構造解析によって提示される課題に対処し、現在の方法の制約を超える革新的な解決策を提供します。配列と構造が融合すると、機会のパノラマが広がります。提案されたアプローチは、1Dの配列と3Dの構造の世界を結ぶ橋であり、タンパク質構造解析を豊かにするだけでなく、分子生物学のより深い領域を照らすことを約束します。この融合により、包括的なタンパク質解析が理解の未知の領域に光を投げかける、変革的な物語が形作られます。

Learn more about Search Results Nature - Page 6