Learn more about Search Results MarkTechPost - Page 150
- You may be interested
- 「IBMのワトソンXコードアシスタントと出...
- 私たちのインターン生の未来づくり：AIの...
- 大規模言語モデル、MirrorBERT — モデルを...
- 「Meetupsからメンタリングまで データサ...
- 「ラットはVR内で想像力を使って進路を決...
- 「AutoGenを使った戦略的AIチームビルディ...
- 「Pythonにおけるフィボナッチ数列 | コー...
- ピンクのローバーが赤い惑星に取り組む、...
- この中国のAI論文では、「物理的なシーン...
- (きんむかんりをかくめいかするみっつのほ...
- トップ5AI開発企業：あなたのビジネスを変...
- 「Nvidiaの画期的なAIイメージパーソナラ...
- 「Python制御フローチートシート」
- 学界は真の洞察を犠牲にして方法論にこだ...
- Google Researchがジェネレーティブな無限...
トロント大学の研究者たちは、3300万以上の細胞リポジトリ上で生成事前学習トランスフォーマーに基づいたシングルセル生物学のための基礎モデルであるscGPTを紹介しました
自然言語処理とコンピュータビジョンは、生成学習済みモデルが驚異的に成功した分野の例の一部です。特に、基盤モデルを構築するための実行可能な戦略は、様々な大規模データセットを事前学習されたトランスフォーマーと組み合わせることです。この研究では、言語と生物構造（テキストが遺伝子を構成し、それぞれ単語と細胞を特徴付ける）の関連性を引き出すことで、基盤モデルが細胞生物学と遺伝学のさらなる研究を促進する可能性を調査しています。研究者たちは、シングルセル配列データの増加するデータベースを横断する生成学習済みトランスフォーマーに基づくシングルセル生物学のための基盤モデルであるscGPTを構築する最前線にいます。結果は、事前学習された生成トランスフォーマーであるscGPTが、遺伝子と細胞に関連する重要な生物学的洞察を効率的に抽出することを示しています。転移学習を新たな方法で使用することで、スクリプトはさまざまなアプリケーションで改善することができます。これらの課題には、遺伝子ネットワークの推論、遺伝子の変異予測、およびマルチバッチ統合が含まれます。scGPTのソースコードを表示する。 一つ一つの細胞の詳細な特性を容易にし、疾患の発症機序の理解、特異的な細胞系譜の追跡、病原性の解明、および患者固有の治療アプローチの開発に貢献するシングルセルRNAシーケンシング（scRNA-seq）は、細胞性の異質性の調査、系譜の追跡、病原性の解明、および患者固有の治療アプローチの開発への道を切り拓きます。 シーケンシングデータの指数関数的な増加を考慮すると、これらの新しいトレンドを効果的に活用し、適応する方法を作成することが急務です。基盤モデルの生成学習は、この困難を克服するための効果的な戦略です。大規模なデータセットから学習する生成学習は、最近さまざまなドメインで驚異的な成功を収めています。人気のある用途には、自然言語生成（NLG）とコンピュータビジョンがあります。これらのベースラインモデルには、DALL-E2やGPT-4などがあります。これらは大規模な異種データセットでトランスフォーマーを事前学習し、特定の下流タスクとシナリオに簡単に適応できるという原則に基づいています。さらに、これらの事前学習された生成モデルは常にカスタムトレーニングされたモデルよりも優れた性能を発揮します。 研究者たちは、NLGの自己教師あり事前学習手法からヒントを得て、大量のシングルセルシーケンシングデータのモデリングを改善しています。自己注意トランスフォーマーは、テキストの入力トークンをモデリングするための有用で効率的なフレームワークであることが証明されています。 100万以上の細胞で生成学習を行うことにより、これらの科学者たちは、シングルセル基盤モデルであるscGPTを構築する初めての試みを提供しています。彼らは、方法論とエンジニアリングの問題の両方に対処し、大量のシングルセルオミックスデータの事前学習を行うための新しいアプローチを示しています。彼らは、数百のデータセットを格納するためのクイックアクセスを持つインメモリデータ構造を使用して、大量のデータに対処することができます。彼らはトランスフォーマーアーキテクチャを修正して、細胞と遺伝子の表現を同時に学習し、非順序のオミックスデータに適した統一された生成学習アプローチを構築します。また、事前学習モデルをさまざまな下流タスクで使用できるようにするために、モデルの微調整用にタスク固有の目的を持つ標準パイプラインも提供します。 これらの3つのコンポーネントを通じて、scGPTモデルはシングルセル基盤コンセプトの革新的なポテンシャルを示しています。それは、scGPTから始まる、さまざまな下流活動への転移学習をサポートする最初の大規模な生成基盤モデルです。彼らは、細胞型注釈、遺伝子変異予測、バッチ補正、およびマルチオミックス統合において最先端のパフォーマンスを達成することで、シングルセルオミクスの計算アプリケーションに対する「普遍的な事前学習、オンデマンドでの微調整」アプローチの有効性を実証しています。 特に、scGPTはscATAC-seqデータや他のシングルセルオミクスを組み込むことができる唯一のベースモデルです。第二に、scGPTは、洗練されたモデルと生の事前学習モデルの遺伝子の埋め込みと注意の重みを比較することで、特定の条件下での遺伝子間相互作用に関する重要な生物学的洞察を明らかにします。第三に、結果はスケーリングの法則を示しており、事前学習フェーズでより多くのデータを使用することにより、より良い事前学習埋め込みとより高い下流タスクのパフォーマンスが得られます。この発見は、基盤モデルが研究コミュニティに利用可能なシーケンシングデータがますます利用可能になるにつれて着実に改善する可能性を強調しています。これらの結果を踏まえて、彼らは、事前学習された基盤モデルを使用することで細胞生物学の知識を大幅に増やし、この分野の将来の進歩の基礎を築くことができるという仮説を立てています。scGPTモデルとワークフローを一般に公開することで、これらおよび関連する分野の研究が強化され、加速されます。 このスクリプトは、研究者によって説明されたように、大量のシングルセルデータを理解するために事前学習されたトランスフォーマーを使用する新しい生成学習済み基盤モデルです。chatGPTやGPT4などの言語モデルで、自己教師あり事前学習が効果的であることが証明されています。シングルセルの研究では、彼らは同じ戦略を使って複雑な生物学的な関係を解読しました。細胞の異なる側面をよりよくモデリングするために、scGPTはトランスフォーマーを使用して遺伝子と細胞の埋め込みを同時に学習します。シングルセルGPT（scGPT）は、トランスフォーマーの注意機構を使用して、シングルセルレベルでの遺伝子間相互作用を捉え、新しい解釈可能性の次元を追加します。 研究者は、ゼロショットとファインチューニングのシナリオでの包括的な研究を行い、事前トレーニングの価値を証明しました。訓練されたモデルは、任意のデータセットの特徴抽出器として既に機能します。ゼロショットの研究では、顕著な細胞塊が表示される印象的な外挿能力が示されました。さらに、scGPTの学習済み遺伝子ネットワークと以前に確立された機能関係の間には高い一致度があります。私たちは、遺伝子間相互作用を捉え、既知の生物学的情報を効果的に反映するモデルの適切な発見能力を信じています。また、いくつかのファインチューニングを行うことで、事前トレーニングされたモデルによって学習された情報をさまざまな後続タスクに活用することができます。最適化されたscGPTモデルは、セルタイプの注釈、マルチバッチ、マルチオミック統合といったタスクで、スクラッチからトレーニングされたモデルを定期的に上回ります。これにより、事前トレーニングされたモデルが精度と生物学的関連性を向上させることで、後続タスクへの利益が示されます。全体的に、テストはscGPTの事前トレーニングの有用性を示し、一般化能力、遺伝子ネットワークの把握、転移学習を活用した後続タスクの性能向上の能力を示しています。 主な特徴 ジェネラリスト戦略により、シングルセル研究において統合されたマルチオミック解析とパーティクル予測を単一のモデルで実行することができます。 学習済みの注意重みと遺伝子埋め込みを使用して、特定の条件下での遺伝子間相互作用を特定することができます。 データ量の増加とともにモデルの性能が持続的に向上するスケーリング則を特定しました。 scGPTモデルゾーには、さまざまな実質的な臓器用の多くの事前トレーニング済み基礎モデル（GitHub参照）と包括的なパンガンサーモデルがあります。最適な出発点モデルを使用してデータを探索を開始してください。 事前トレーニングは、マルチオミックデータ、空間オミックス、さまざまな疾患状態を含むより大規模なデータセットで行われることが期待されています。モデルは、パーティクルと時間軸データが事前トレーニングフェーズに含まれる場合、因果関係を学習し、遺伝子や細胞が時間経過に応答する方法を推定することができます。事前トレーニングモデルの学習内容をより理解し解釈するためには、広範な生物学的に有意なタスクでモデルを検証することが理想的です。さらに、単一細胞データのための文脈に関する知識を調査することを目指しています。事前トレーニングされたモデルは、ゼロショット構成で追加のファインチューニングなしで新しいジョブや環境に適応する必要があります。さまざまな研究の微妙さとユニークなニーズを理解するように教育することで、scGPTの有用性と適用範囲を多くの研究コンテキストで向上させることができます。事前トレーニングパラダイムは、シングルセル研究で容易に実装できると期待されており、急速に拡大するセルアトラスの蓄積された知識を活用するための基盤を築くものとなるでしょう。
ウィスコンシン大学とバイトダンスの研究者は、PanoHeadを紹介しますこれは、単一のビュー画像のみでビュー一貫性のあるフルヘッド画像を合成する、初の3D GANフレームワークです
コンピュータビジョンとグラフィックスでは、写真のような写実的な肖像画像合成が常に強調されており、仮想アバター、テレプレゼンス、没入型ゲームなど、さまざまな領域で下流アプリケーションが広がっています。現在の生成的対抗ネットワーク（GAN）の最近の進展により、本物の画像と区別できないほどの高品質な画像合成が実現されています。しかし、現代の生成手法では、基礎となる3Dシーンをモデル化するのではなく、2D畳み込みネットワーク上で操作されます。その結果、異なる位置にある頭部画像を合成する際に3Dの一貫性を適切に保証することは不可能です。従来の手法では、広範な3Dスキャンコレクションから学習したパラメトリックなテクスチャ付きメッシュモデルを使用して、さまざまな形状と外観を持つ3Dヘッドを生成します。 ただし、生成された画像はより細かなディテールが必要であり、表現力と知覚品質が低いです。よりリアルな3D認識顔画像を作成するために、異なるiable renderingとimplicit neural representationの登場により、条件付き生成モデルが作成されました。ただし、これらの手法は、しばしばマルチビュー画像または3Dスキャンの監督に依存します。これは入手が困難であり、通常は制御された環境で記録されるため外観分布が制約されます。3Dシーンモデリングと画像合成のためのimplicit neural representationの最近の進展により、3D認識生成モデルの開発が加速されています。 図1は、PanoHeadが高品質なジオメトリと360ビューに一貫した写真のような完全なヘッド画像合成を可能にする方法を示しています。 これらのうち、先駆的な3D GANであるEG3Dは、視点に一貫した画像合成の印象的な品質を持ち、野生のシングルビュー画像セットを使用してトレーニングされました。ただし、これらの3D GANメソッドは、ほぼ正面からの視点でしか合成できません。ByteDanceとウィスコンシン大学マディソン校の研究者は、ユニークな3D認識GANであるPanoHeadを提案しています。これは野生の非構造化写真のみを使用してトレーニングされ、360で高品質な完全な3Dヘッド合成を可能にします。テレプレゼンスやデジタルアバターなど、さまざまな没入型インタラクション状況では、彼らのモデルがすべての視点から見える一貫した3Dヘッドを合成できる能力が役立ちます。彼らは、彼らの手法が完全に360度の3Dヘッド合成を実現する最初の3D GANアプローチであると考えています。 EG3Dなどの3D GANフレームワークを使用した場合、完全な3Dヘッド合成にはいくつかの主要な技術的障害があります。多くの3D GANは前景と背景を区別できず、2.5Dヘッドジオメトリになってしまいます。一般的に壁構造として構成される背景は、3Dで作成されたヘッドと絡み合ってしまいますので、大きなポーズはレンダリングできません。彼らは、2D画像セグメンテーションからの以前の情報を使用して、前景ヘッドの3D空間での分解を同時に学習する前景認識トライディスクリミネータを開発しました。さらに、トライプレーンなどのハイブリッド3Dシーン表現は、360度カメラのポーズに対して重要な投影の不確実性を持っており、効率とコンパクトさにもかかわらず、後頭部に「反転した顔」が表示されます。 彼らは、トライプレーン表現の効果を保持しながら、前面の特徴を後頭部から分離する独自の3Dトライグリッドボリューム表現を提供します。最後に、野生の後頭部の正確なカメラ外部パラメータを取得することは非常に困難です。また、これらと正面写真との画像配置には顕著な顔ランドマークの違いがあります。配置のギャップからは、魅力的でないヘッドジオメトリとノイズのある外観が生じます。そのため、彼らは、すべての視点からの写真を信頼性の高い方法で整列させるユニークな2段階の整列方法を提案しています。この手順により、3D GANの学習曲線が大幅に短縮されます。 彼らは、リアヘッドの画像のアライメントのずれを考慮に入れるために、レンダリングカメラの位置を動的に修正するカメラ自己適応モジュールを提案しています。図1に示すように、彼らのアプローチは、任意の視点からの野外全頭写真に適応する3D GANの能力を大幅に向上させています。その結果、生成される3D GANは、定量的な指標で最先端の技術を上回る高品質な360° RGB画像とジオメトリを生成します。このモデルを使用すると、単眼で撮影された映像から全頭の3Dポートレートを簡単に再構築する方法が示されています。 以下は、彼らの主な貢献の要約です： ・ビューの整合性があり、高品質な360度全頭画像合成が可能な、最初の3D GANフレームワーク。フィールドで撮影された高品質の単眼3D頭部再構成を使用して、彼らの手法を説明しています。…
GPT-1からGPT-4まで：OpenAIの進化する言語モデルの包括的な分析と比較
OpenAIは、さまざまなアプリケーションのニーズに応じて、それぞれ独自の特徴とコスト構造を備えた幅広いモデルを提供しています。モデルは定期的に更新され、最新の技術の進歩を反映しています。ユーザーはモデルを調整して、より良いパフォーマンスを引き出すこともできます。OpenAIのGPTモデルは、主要な自然言語処理（NLP）の進歩を実現しています。 GPTとは、簡単に言えば何ですか？ NLPアプリケーション用の1つの機械学習モデルは、Generative Pre-trained Transformer（GPT）です。これらのモデルは、書籍やウェブサイトなどの大量の情報を事前学習して、自然で構造化されたテキストを生成するために使用されます。 より簡単に言えば、GPTは、人間が書いたかのように見えるテキストを生成することができるコンピュータプログラムですが、それを目的として設計されていません。そのため、質問応答、翻訳、テキスト要約などのNLPアプリケーションに適用することができます。自然言語処理に関しては、GPTは機械が言語を理解し、流暢かつ正確に生成することを可能にするため、大きな進歩です。以下では、元のGPTから最新のGPT-4までの4つのGPTモデルについて、それぞれの強みと弱点について説明します。 GPT-1 2018年、OpenAIはTransformerアーキテクチャに基づく言語モデルの最初のバージョンであるGPT-1を発表しました。その117万のパラメータは、当時の最も先進的な言語モデルよりも大幅な進歩でした。 GPT-1は、プロンプトやコンテキストに対して自然で理解可能なスピーチを生成する能力がありました。このモデルのトレーニングには、数十億の単語を含む巨大なウェブページのデータセットであるCommon Crawlと、さまざまなトピックの11,000冊以上の書籍からなるBookCorpusデータセットが使用されました。さまざまなデータセットの助けを借りて、GPT-1は言語モデリングのスキルを磨くことができました。 GPT-2 OpenAIは、GPT-1の代わりにGPT-2を2019年に公開しました。GPT-2はGPT-1よりも大幅に大きく、15億のパラメータを持っていました。Common CrawlとWebTextを統合することで、より大きく、より多様なデータセットを使用してモデルをトレーニングしました。 GPT-2の能力の1つは、論理的で妥当なテキストシーケンスを構築することです。人間の反応を模倣する能力も、コンテンツ生成や翻訳など、自然言語処理のさまざまなアプリケーションにとって有用なリソースになります。 ただし、GPT-2にはいくつかの欠点もあります。複雑な推論や文脈の理解には多くの作業が必要でした。しかし、GPT-2は、短いテキストにおける優れたパフォーマンスにもかかわらず、長い文章を一貫して文脈に沿って保つのは難しいという課題に直面しました。 GPT-3 2020年にGPT-3がリリースされ、自然言語処理のモデルの指数関数的な成長の時代を迎えました。GPT-3のサイズは1750億のパラメータであり、GPT-2の10倍以上、GPT-1の100倍以上です。 BookCorpus、Common Crawl、Wikipediaなどのさまざまな情報源を使用してGPT-3をトレーニングしました。GPT-3は、ほとんどまたはまったくトレーニングデータがなくても、データセット全体で約1兆の単語にわたるさまざまなNLPタスクで高品質な結果を生成することができます。 GPT-3の文章を作成する能力、コンピュータコードの書き込み能力、アートの創造能力は、以前のモデルと比べて大きな進歩です。先行モデルとは異なり、GPT-3はテキストの文脈を解釈し、関連する応答を考え出すことができます。チャットボット、オリジナルコンテンツの生成、言語翻訳など、自然な音声を生成する能力は、さまざまな用途に大きな利益をもたらすことができます。 GPT-3の強力な言語モデルの倫理的な影響や潜在的な誤用に関する懸念も、GPT-3の能力が明らかになったことで浮上しました。多くの専門家は、このモデルがハイジャック、フィッシングメール、ウイルスなどの有害なコンテンツを作成するために誤用される可能性について懸念しています。犯罪者たちはChatGPTを使用してマルウェアを開発しています。 GPT-4 第4世代のGPTは2023年3月14日にリリースされました。これは、革命的だったGPT-3よりも大幅に改善されたものです。モデルのアーキテクチャとトレーニングデータはまだ公開されていませんが、前のバージョンの欠点を解消し、いくつかの重要な点でGPT-3を上回ることが明らかです。 ChatGPT…
プリンストンの研究者たちは、革新的な軽量フレームワーク「InterCode」を導入しましたこれにより、人間のような言語からコード生成のための言語モデルの相互作用が効率化されました
ChatGPTは、OpenAIによって開発された最新のチャットボットであり、リリース以来話題になっています。このGPTトランスフォーマーアーキテクチャベースのモデルは、人間のように正確に質問に答えるだけでなく、ブログやソーシャルメディア、研究などのためのコンテンツを生成し、言語を翻訳し、長いテキスト段落を要点を保持しながら要約し、コードサンプルさえ生成します。GPT、BERT、PaLM、LLaMaなどの大規模言語モデルは、人工知能の分野の進歩に成功を収めています。これらのディープラーニングモデルは、自然言語処理と自然言語理解の可能性を効果的に活用しています。 近年では、自然言語仕様からコードを自動生成するモデルの開発が人気を集めています。これらのモデルは、数千のコードベースでの広範な事前学習により、静的ベンチマークで印象的なパフォーマンスを発揮していますが、タイプミス、コードの作成プロセスと実行の間のギャップ、限られた人間の関与など、特定の制限もあります。 これらの課題に対処するために、プリンストン大学のコンピュータサイエンス部の研究者は、インタラクティブなコーディングを標準的な強化学習（RL）環境として容易に行えるようにする軽量かつ柔軟なフレームワークであるInterCodeを提案しました。InterCodeでは、コードをアクションとして扱い、実行フィードバックを観測として考慮します。このRLベースの手法により、コーディングをより反復的に行うことができ、言語やプラットフォームに依存しないように設計されているため、多くのプログラミング言語や環境と使用することができます。 InterCodeは、安全で繰り返し可能な実行を保証するために独立したDocker環境も使用します。これは従来のシーケンス対シーケンス（seq2seq）コーディング技術と互換性があり、現在の手法を簡単に採用および統合することができます。また、インタラクティブなコード生成に特化した新しいアプローチの開発を容易にすることも可能です。 評価のために、チームはBashとSQLをアクションスペースとして使用した2つのインタラクティブなコード環境を構築し、InterCodeの有用性を示しました。彼らはReActやPlan＆Solveなどのさまざまなプロンプティング手法を備えたいくつかの優れた言語モデルを、静的なSpiderとNL2Bashデータセットのデータを使用して訓練および評価しました。InterCodeの実験は、インタラクティブなコード生成の利点を示しながら、コード理解と生成能力の向上を目指す難しいベンチマークとしての潜在能力を強調しました。 チームは以下のように主な貢献をまとめています。 InterCodeは、新しい汎用的なインタラクティブコード生成フレームワークであり、使いやすさ、拡張性、安全性を提供します。ユーザーフレンドリーでアクセスしやすく、研究者が簡単に実験に利用できます。 InterCodeを使用して、いくつかの信じられないほど優れた最先端のモデルにアクセスし、評価し、潜在的な改善点を指摘しました。 InterCodeベンチマークは、インタラクティブなコード生成タスクの標準化された評価プラットフォームとして機能し、異なるモデルのパフォーマンスを共通のフレームワークを使用して比較することができます。これにより、静的なコードの新しいデータセットをインタラクティブな活動に変換することができます。 結論として、InterCodeは、人工知能の分野の進歩において有望なアプローチであり、インタラクティブなコード生成を大幅に進化させ、標準化された評価プラットフォームを提供し、この領域のさらなる研究と開発を促進します。
UCLAの研究者が、最新の気候データと機械学習モデルに簡単で標準化された方法でアクセスするためのPythonライブラリ「ClimateLearn」を開発しました
極端な気象条件は、特に最近の数年間においては典型的な出来事となっています。気候変動が、パキスタンで見られる豪雨による大規模な洪水から、ポルトガルとスペイン全土で野火を煽った熱波まで、このような極端な天候現象の主な要因です。もし適切な対策が早急に講じられない場合、地球の平均地表温度は次の10年間で約4度上昇すると予測されています。科学者によると、この温度上昇はより頻繁な極端な天候事象の発生にさらに寄与するでしょう。 一般循環モデル（GCM）は、科学者が将来の天候と気候を予測するために使用するツールです。GCMは、温度、風速、降水量などのさまざまな変数の予測を生成するために時間をかけて積分できる微分方程式のシステムです。これらのモデルは非常に理解しやすく、非常に正確な結果を提供します。ただし、これらのモデルを実行するには、かなりの計算能力が必要です。さらに、多くのトレーニングデータがある場合、モデルの微調整が困難になります。 ここで、機械学習の技術が役立つことが証明されています。特に「天気予報」と「空間ダウンスケーリング」において、これらのアルゴリズムは確立された気候モデルと競争力を持つことが証明されています。天気予報は将来の気候変数を予測することを指し、例えば、前の週の日降水量（cm）の情報を使用して、来週のメーガラヤでの降水量を予測する必要があります。空間ダウンスケーリングとは、例えば100 km x 100 kmのグリッドから1 km x 1 kmにスケーリングすることを指す、空間的に粗い気候モデルの予測の問題です。 予測とダウンスケーリングは、さまざまなコンピュータビジョンのタスクに類似することがあります。ただし、天気予報、空間ダウンスケーリング、および他のCVタスクの主な違いは、機械学習モデルがさまざまな形式の外部入力を利用する必要があることです。例えば、湿度や風速などの要素と過去の地表温度は、将来の地表温度に影響を与えます。これらの変数は、地表温度と共にモデルへの入力として提供される必要があります。 深層学習の研究は近年急速に進展しており、機械学習と気候変動を研究する科学者たちは、深層学習の技術が天気予報や空間ダウンスケーリングの問題にどのように対処できるかを調査しています。機械学習の適用においては、2つは対照的なアプローチを取ります。機械学習を研究する科学者たちは、どのアーキテクチャがどの問題に最適であり、どのようにデータを処理すれば現代の機械学習手法に適しているかに重点を置きます。一方、気候科学者は物理方程式をより多く活用し、必要な評価指標を念頭に置きます。 ただし、気候モデリングにおける「バイアス」と機械学習における「バイアス」といった曖昧な言語、気候科学の課題に対する機械学習のアプリケーションの標準化の欠如、気候データの解析に対する専門知識の不足などが、その全体的な能力を引き出すことを妨げています。これらの問題に対処するため、カリフォルニア大学ロサンゼルス校（UCLA）の研究者たちは、ClimateLearnというPythonパッケージを開発しました。これにより、巨大な気候データと最先端の機械学習モデルに簡単に、標準化されたアクセスが可能となります。パッケージを介して、さまざまなデータセット、最新の基準モデル、および一連のメトリックと可視化がすべて利用可能であり、天気予報と空間ダウンスケーリング技術の大規模なベンチマーキングが可能となります。 ClimateLearnは、現在の深層学習アーキテクチャが簡単に利用できる形式でデータを提供します。パッケージには、歴史的なグローバル気候の第5世代再解析であるERA5のデータや、ヨーロッパ気象衛星の気象データ（ECMWF）が含まれています。再解析データセットは、モデリングとデータ同化技術を使用して、歴史的データをグローバルな推定値に統合します。この実データとモデリングの組み合わせにより、再解析ソリューションは合理的な精度で完全なグローバルデータを持つことができます。ClimateLearnは、生のERA5データに加えて、データ駆動型天気予測のためのベンチマークデータセットであるWeatherBenchの前処理済みERA5データもサポートしています。 ClimateLearnに実装されている基準モデルは、気候タスクに適した調整が行われており、気候科学の他の下流パイプラインにも容易に拡張できます。線形回帰、持続性、気候論などの単純な統計的技術は、ClimateLearnがサポートする標準的な機械学習アルゴリズムの範囲の一部です。リザイドコンボリューショナルニューラルネットワーク、Uネット、ビジョントランスフォーマなど、より高度な深層学習アルゴリズムも利用可能です。さらに、ClimateLearnは、（緯度に重みを付けた）平均二乗誤差、異常相関係数、ピアソンの相関係数などのメトリックを使用して、モデルの予測を素早く可視化するサポートも提供します。さらに、ClimateLearnはモデルの予測、真の値、およびその間の差異の可視化も提供します。 ClimateLearnを開発する研究者の主な目標は、気候科学と機械学習のコミュニティ間のギャップを埋めることです。これを実現するために、気候データセットへの容易なアクセス、比較のためのベースラインモデルの提供、モデルの出力を理解するための可視化メトリクスを提供しています。近い将来、研究者はCMIP6（第6世代気候モデリング相互比較プロジェクト）などの新しいデータセットのサポートを追加する予定です。チームはまた、新たな不確実性の定量化メトリクスやベイズニューラルネットワークや拡散モデルなどのいくつかの機械学習手法による確率予測もサポートします。モデルの性能、表現力、頑健性についてより詳しく知ることで、機械学習の研究者が開拓できる追加の機会について、研究者たちは非常に熱心です。さらに、気候科学者は入力変数の値を変更することで結果の分布がどのように変化するかを理解することができます。チームはまた、パッケージをオープンソース化し、コミュニティの貢献を期待しています。 新しいPyTorchライブラリClimateLearnをご紹介します。気候データセット、最先端のMLモデル、高品質なトレーニングおよび可視化パイプラインにアクセスするためのものです。ブログ：https://t.co/BarGdNWQiT ドキュメント：https://t.co/RBiQFbeqaJ クイックスタートColab：https://t.co/RjgqOo2tX0 (1/n) — Aditya Grover…
この人工知能ベースのタンパク質言語モデルは、汎用のシーケンスモデリングを解除します
人々が生命の言語を学ぶ方法は、自然言語の構文意味とタンパク質のシーケンス機能を比較することによって根本的に変わりました。この比較は、NLPのプロテインドメインへの応用を向上させた歴史的なマイルストーンとしての固有の価値を持っていますが（言語モデルなど）、NLPの領域の結果は完全にプロテインの言語に翻訳されているわけではありません。NLPモデルのサイズをスケーリングアップするだけでなく、プロテインの言語モデルのスケーリングアップは、NLPモデルのサイズをスケーリングアップするよりもはるかに大きな影響を与える可能性があります。 巨大なパラメータ数で訓練された言語モデルが多数のステップで訓練を受けても、まだ学習グラデーションが顕著であり、過適合と見なされる傾向があります。そのため、モデルのサイズと学習された表現の豊かさとの間に比例関係があるという誤解が生じます。その結果、より正確または関連性のあるプロテイン表現を選択することは、徐々により大きなモデルを選択することに変わってきています。これには、より多くの計算能力が必要であり、したがってアクセスしにくくなります。特に、PLMのサイズは最近106から109のパラメータに増加しました。彼らは、ProtTransのProtT5-XL-U50を利用して、UniRef50データベースで事前に訓練されたエンコーダーデコーダートランスフォーマを使用して、トレーニング用のパラメータが3B、推論用のパラメータが1.5Bであるサイズパフォーマンスのベンチマークを基にしています。これにより、プロテイン言語モデルの最新の最先端技術が明らかになりました。 プロテイン配列モデリングのスケーリング原則を開発するために、その方向性の第一歩であるRITAファミリーの言語モデルを使用して、モデルのパフォーマンスがサイズによってどのように変化するかを示しました。RITAは、85Mから300M、680M、1.2Bのパラメータに比例してサイズが増加する4つの代替モデルを提供します。同様のパターンが後にProGen2によって確認されました。これは、さまざまなシーケンシングデータセットでトレーニングされ、6.4Bのパラメータを含むプロテイン言語モデルのコレクションです。最後に、この研究が公開された時点では、ESM-2は、650Mから3B、15Bのパラメータに比例してサイズが増加する一般的なプロテイン言語モデルの調査であり、モデルのスケーリングアップを推奨する最新の追加です。 より大きくて明らかに優れたPLMの間にある単純な関係は、コンピューティングコストやタスクに依存しないモデルの設計と展開など、いくつかの要素を無視しています。これにより、革新的な研究への参入のハードルが高くなり、スケールする能力が制限されます。モデルのサイズは確かに上記の目標の達成に影響を与えることは疑いようがありませんが、それが唯一の要素ではありません。同じ方向に向けた事前訓練データセットのスケーリングは条件付きであり、つまり、より大きなデータセットが常により品質の高い小さなデータセットよりも好ましいわけではありません。彼らは、言語モデルのスケーリングアップは条件付きであり、最適化のためのプロテインの知識によってガイドされた手段の小さなモデルよりも大きなモデルが必ずしも優れているわけではないと主張しています。 この研究の主な目標は、知識による最適化を反復的な経験的フレームワークに組み込み、実用的なリソースを通じて研究のイノベーションへのアクセスを促進することです。彼らのモデルは、その「文字」であるアミノ酸のより良い表現を学ぶことによって、生命の言語を「解放」するためのものであり、そのために彼らのプロジェクトを「アンク」と名付けました（生命の鍵を示す古代エジプトの記号に言及しています）。これは、アンクの一般性と最適化を評価するための2つの証拠としてさらに開発されています。 High-N（ファミリーベース）およびOne-N（シングルシーケンスベース）のアプリケーションにおけるプロテインエンジニアリングのための世代研究は、入力シーケンスの数であるNの範囲の構造と機能のベンチマークのパフォーマンスを上回るための第一歩です。第二のステップは、モデルのアーキテクチャだけでなく、モデルの作成、トレーニング、展開に使用されるソフトウェアやハードウェアなど、最適な属性の調査によってこのパフォーマンスを達成することです。アプリケーションのニーズに応じて、Ankh bigとAnkh baseという2つの事前訓練モデルを提供しています。それぞれ2つの計算方法を提供しています。彼らは、AnkhのフラッグシップモデルであるAnkh bigを便宜上Ankhと呼んでいます。事前訓練済みのモデルは、彼らのGitHubページで入手可能です。コードベースの実行方法も詳細に説明されています。
2023年のトップDNSプライバシーツール
オンラインの世界は以前にも増して膨大なデータを利用できるようになった一方で、サイバー犯罪者が攻撃を行うのも容易になっています。ウェブを閲覧している際には、不注意なクリック一つでマルウェアをダウンロードしたり、フィッシング詐欺の被害に遭うことがあります。サイバー犯罪から身を守るため、企業はDNS保護ソリューションにますます頼るようになっています。 ネットワーク向けのDNSセキュリティツールとしての私たちのトップピックは以下の通りです。 CleanBrowsing CleanBrowsingは、ユーザーのブラウザーに結果を返す前にインターネットのクエリをフィルタリングし、防止するDNSリゾルバです。URLからIPアドレスのマッピングのデータベースを保持する代わりに、DNSリゾルバはリモートのDNSサーバーからこの情報を要求します。CleanBrowsingシステムは、要求されたURLのクイックスキャンを実行して、それが正当であり、トロイの木馬やその他のマルウェアのダウンローダーを含んでいないことを確認します。要求されたページが有効な場合、DNSリゾルバはページのIPアドレスで応答します。 Vercara UltraDNS ウェブサイトのダウンタイムから保護する場合、Vercara UltraDNSは素晴らしい選択肢です。Vercaraの近くに拠点を持つ企業は、Vercara UltraDNSの高いスループット、低遅延、およびインスタントキャッシュホストを利用することができます。会社のウェブサイトが攻撃を受けやすい場合、Vercara UltraDNSの利用を検討してください。また、何らかの理由でサイトのDNSエントリが壊れる可能性もあります。DNSエントリが誤ったIPアドレスを与えると、誰もあなたのサイトを見ることができません。このサービスは、6つの大陸に広がる29のノードが存在するため、技術的および地理的な災害の影響から保護されています。アプリケーション自体には、DDoS攻撃を防止するためのローカルミチゲーション機能が備わっています。 Comodo Dragon Secure Internet Gateway Comodo Dragon Secure Internet Gatewayのバックボーンを形成するのはDNSサービスであり、エッジサービスを提供しています。プラットフォームの機能を利用するには、ネットワークのインターネットゲートウェイのデフォルトのDNSサーバー設定を変更する必要があります。サービスを安全に利用するためには、リモートワーカーは個人のコンピューターのDNSサーバー設定を変更する必要があります。iOSおよびAndroidモバイルデバイスの保護も、このシステムの使用目的の一つです。このクラウドベースのサービスは、インターネット上のコンテンツをフィルタリングします。特定のウェブサイトへのアクセスをユーザーからブロックし、ビジネス用のコンテンツコントロールを含みます。ホワイトリストとブラックリストも、このツールが提供する追加の機能です。 Cloudflare Cloudflareは、第一級の代替DNSサービスです。すべてのドメインを1か所から制御することができます。Cloudflareの平均DNSルックアップ速度は11msであり、このサービスの人気の大きな要因です。CloudflareがセカンダリDNSプロバイダーとして設定されている場合、プライマリDNSプロバイダーが更新されるたびにそのレコードをすぐに更新します。Cloudflareには自動フェイルオーバーと負荷分散の機能が組み込まれており、最大限の安全性が確保されています。故障や停止時にも、これらの機能によりDNSは正常に機能し続けます。 Palo Alto…
DiffCompleteとは、不完全な形状から3Dオブジェクトを完成させることができる興味深いAIメソッドです
3D範囲スキャンの形状補完は、不完全または部分的な入力データから完全な3D形状を推測する難しい課題です。この分野の以前の手法は、それぞれ制約がある決定論的または確率的なアプローチに焦点を当ててきました。しかし、CUHK、Huawei Noah’s Ark Lab、MBZUAI、TUMの研究者たちは、最近、DiffCompleteと呼ばれる画期的な拡散ベースのアプローチを紹介しました。DiffCompleteは、形状補完において不完全な形状を条件とした生成的なタスクとしてアプローチし、拡散ベースの技術を活用することで、2つの大規模な3D形状補完ベンチマークで驚異的な結果を達成し、最先端のパフォーマンスを上回っています。DiffCompleteの一つの重要な側面は、条件付き入力の局所的な詳細と広範な文脈の両方を捉える能力であり、形状補完プロセスの包括的な理解を提供します。 DiffCompleteは、空間的に一貫した方法で条件付け特徴を注入する階層的な特徴集約メカニズムを組み込んでいます。このメカニズムにより、モデルは局所的な情報とグローバルな情報を効果的に組み合わせることができ、細かい詳細を捉えながら完成した形状の一貫性を保ちます。条件付き入力を慎重に考慮することで、DiffCompleteは生成された形状が現実的であり、グラウンドトゥルースに高い忠実度を示すことを保証します。 階層的な特徴集約に加えて、DiffCompleteはモデル内での占有情報に基づく融合戦略を導入しています。この戦略により、複数の部分的な形状の補完が可能となり、入力条件の柔軟性が向上します。占有情報を考慮することで、DiffCompleteは複数のオブジェクトや遮蔽物のある複雑なシナリオを扱うことができ、より正確で多様性のある形状補完を実現します。 DiffCompleteのパフォーマンスは本当に印象的です。決定論的な手法と比較して、DiffCompleteは現実的な外観を持つ完成した形状を提供します。入力の詳細を捉えつつ、グラウンドトゥルースに似た一貫した形状を生成することに成功しています。さらに、DiffCompleteは確率的な代替手法を上回り、グラウンドトゥルースとの類似性が高く、l_1エラーを40%削減します。 DiffCompleteの顕著な利点の一つは、その強力な汎用性です。DiffCompleteは、合成データと実データの設定で見られる未知のクラスのオブジェクトでも優れたパフォーマンスを発揮します。この汎用性により、DiffCompleteをさまざまな実世界のアプリケーションに適用する際のモデル再学習の必要性がなくなり、非常に実用的で効率的なものになります。 まとめると、DiffCompleteは範囲スキャンにおける3D形状補完を大幅に進化させています。拡散ベースのアプローチを採用し、階層的な特徴集約と占有情報に基づく融合を組み込むことで、DiffCompleteは最先端のパフォーマンスを発揮します。現実感、多様性、高い忠実度のバランスを取る能力により、DiffCompleteは以前の手法とは一線を画しています。大規模なベンチマークでの印象的な結果と強力な汎用性により、DiffCompleteはさまざまな実世界のアプリケーションにおける形状補完の向上に大いなる期待を持っています。
北京大学の研究者たちは、ChatLawというオープンソースの法律用の大規模言語モデルを紹介しましたこのモデルには、統合された外部知識ベースが搭載されています
人工知能の成長と発展により、大規模な言語モデルが広く利用可能になりました。ChatGPT、GPT4、LLaMA、Falcon、Vicuna、ChatGLMなどのモデルは、さまざまな伝統的なタスクで優れたパフォーマンスを発揮し、法律業界にとっても多くの機会を開いています。ただし、信頼性のある最新かつ高品質なデータを収集することが、大規模な言語モデルの構築には不可欠です。したがって、効果的かつ効率的なオープンソースの法律言語モデルの作成が重要になっています。 人工知能による大規模モデルの開発は、医療、教育、金融など、いくつかの産業に影響を与えています。BloombergGPT、FinGPT、Huatuo、ChatMedなどのモデルは、難解な問題の解決や洞察に有用で効果的であることが証明されています。一方で、法律の領域では、その固有の関連性と正確さの必要性から、徹底的な調査と独自の法的モデルの作成が求められます。法律は、コミュニティの形成、人間関係の規制、そして正義を確保する上で重要です。法律実務家は、賢明な判断を下し、法律を理解し、法的助言を提供するために正確で最新の情報に頼る必要があります。 法的用語の微妙なニュアンス、複雑な解釈、法律の動的な性質は、特殊な問題を引き起こし、専門的な解決策を必要とします。最先端のGPT4などのモデルでも、法的な困難に関しては頻繁に幻覚現象や驚くべき結果が生じることがあります。多くの人々は、関連するドメインの専門知識でモデルを改善することが良い結果をもたらすと考えています。しかし、早期の法的LLM（LawGPT）にはまだ多くの幻覚と不正確な結果が存在するため、これは事実ではありません。当初は中国の法的LLMの需要があることが理解されました。しかし、13億以上のパラメータを持つ中国のモデルは、商業的に利用可能な時点では存在しませんでした。MOSSなどのソースからのトレーニングデータを組み合わせ、中国語の語彙を増やすことで、経済的に実現可能なモデルであるOpenLLAMAの基盤が改善されました。これにより、北京大学の研究者は、中国語の基本モデルを構築し、それに法律特有のデータを追加してChatLawという法的モデルをトレーニングすることができました。 以下は、論文の主な貢献です： 1. 幻覚を減らすための成功した方法：モデルのトレーニング手順を改善し、推論時に「相談」「参照」「自己提案」「応答」という4つのモジュールを組み込むことにより、幻覚を減らす方法を提案しています。参照モジュールを介して垂直モデルと知識ベースを統合することで、幻覚がより少なくなり、ドメイン固有の知識がモデルに組み込まれ、信頼性のあるデータが知識ベースから使用されます。 2. ユーザーの日常言語から法的特徴語を抽出するモデルがトレーニングされました。これはLLMに基づいています。法的な意味を持つ用語を認識するこのモデルの助けを借りて、ユーザーの入力内の法的状況を迅速かつ効果的に特定し、分析することができます。 3. BERTを使用して、ユーザーの普通の言語と930,000件の関連する裁判文書のデータセットとの類似度を測定するモデルがトレーニングされました。これにより、類似した法的文脈を持つ文章を迅速に検索し、追加の研究や引用が可能になります。 4. 中国語の法的試験評価データセットの開発：中国語を話す人々の法的専門知識を評価するためのデータセットを作成しました。また、さまざまなモデルが法的な多肢選択問題でどれだけ優れたパフォーマンスを発揮するかを判断するためのELOアリーナスコアリングシステムも作成しました。 また、一つの汎用的な法的LLMは、この領域で一部のタスクに対してのみうまく機能する可能性があります。そのため、彼らは複数の状況に対応するために、多肢選択問題、キーワード抽出、質問応答などのさまざまなモデルを開発しました。HuggingGPT技術を使用して、大規模なLLMをコントローラーとして使用し、これらのモデルの選択と展開を管理しました。ユーザーの要求に基づいて、このコントローラーモデルは動的に特定のモデルを選択してアクティブにし、タスクに最適なモデルを使用することを保証します。
スタンフォード大学の研究者たちは、「HyenaDNA」という名前の遠距離ゲノム基盤モデルを導入しましたこのモデルは、シングルヌクレオチド解像度で最大1百万トークンのコンテキスト長を持っています
過去数年間、人工知能（AI）の分野では急速な進歩があり、これにより産業を完全に変革し、可能性の限界を押し上げる可能性があります。研究者たちによって注目されている分野の一つは、自然言語のタスクにおいてより堅牢かつ効率的なモデルの開発です。この文脈では、研究者たちはモデルがテキストを処理し理解する能力を決定するトークンの数を増やすことで、より長いトークンを処理できるモデルの開発に取り組んでいます。さらに、より多くのトークンを持つことにより、モデルはより広範なコンテキストを考慮に入れることができ、大規模なデータシーケンスを処理することができます。ただし、長期のコンテキストモデルに関しては、自然言語に対して大部分の関心が向けられており、長いシーケンスを扱うこと自体が本質的な問題であるジェノミクスには重要な見落としがあります。ジェノミクスは、生物の遺伝的な材料の構造、進化的要素などの異なる側面を研究することを含む分野です。自然言語モデルと同様のアプローチを取り入れ、研究者たちはジェノミクスにおいても非構造化のゲノムデータから一般的な特徴を獲得するために基礎モデル（FM）の使用を提案しています。これらのFMは、遺伝子の位置特定、制御要素の識別などのさまざまなタスクに対してファインチューニングすることができます。 しかし、Transformerアーキテクチャに基づいた既存のゲノムモデルは、DNA配列の処理において固有の課題に直面しています。そのような制限の一つは、DNA内の長距離相互作用のモデリングを制限するアテンションの二次スケーリングです。さらに、一般的なアプローチでは、有意義なDNA単位を集約するために固定されたk-merとトークナイザを使用しますが、これにより個々のDNAの特徴が失われることがあります。しかし、自然言語とは異なり、この損失は重要です。なぜなら、微妙な遺伝的な変異でもタンパク質の機能に深刻な影響を与える可能性があるからです。最近導入されたHyenaというLLMは、暗黙の畳み込みを利用することで、アテンションベースのモデルに対する有望な代替手法として登場しました。この革新的なアプローチにより、長いコンテキストの長さを処理できるようになり、計算時間の複雑さを大幅に削減しながら、アテンションベースのモデルと同等の品質を示しました。これらの発見に触発され、スタンフォード大学とハーバード大学の研究者チームは、Hyenaの能力を活用して、ゲノミックシーケンスの分析に必要な本質的な長距離の依存関係と個々のDNAの特徴を効果的に捉えることができるかどうかを調査しました。 これにより、HyenaDNAの開発が行われました。これは、既存のアテンションベースのモデルに比べて、単一ヌクレオチドレベルで最大100万トークンのコンテキスト長を処理できる前例のない能力を持つゲノミックFMです。Hyenaの長距離能力を活用することで、HyenaDNAはFlashAttentionを装備したTransformerよりも160倍高速に訓練することができます。HyenaDNAは、DNAとその複雑な相互作用をモデル化するために、Hyenaオペレータのスタックを利用しています。このモデルは非教示学習を使用してDNA配列の分布を学習し、遺伝子がどのようにエンコードされ、非コーディング領域が遺伝子発現の制御機能を果たすかを理解します。このモデルは、長距離種分類タスクなどのいくつかの難しいゲノムタスクで優れた性能を発揮します。さらに、少ないパラメータと事前トレーニングデータを使用しながら、Nucleotide Transformerに比べて17のデータセットのうち12つで最先端の結果を達成します。 前述のように、HyenaDNAは事前トレーニング中に最大100万トークンのコンテキスト長を実現し、ゲノム配列内の長距離の依存関係を効果的に捉えることができます。さらに、各層で利用可能なグローバルコンテキストを持つ単一ヌクレオチドの分解能とトークナイゼーションを利用して、モデルの能力をさらに向上させています。トレーニングの不安定さに対処し、プロセスをさらに迅速化するために、研究者たちはシーケンス長ウォームアップスケジューラを導入しました。これにより、種分類に関連するタスクのトレーニング時間が40％削減されました。HyenaDNAのもう一つの重要な利点は、パラメータの効率性です。研究者たちはモデルサイズと品質の関係について画期的な観察を行い、長いシーケンスと小さなボキャブラリーを持つ場合でも、HyenaDNAは以前のゲノミックFMに比べて大幅にサイズが小さいにもかかわらず、優れたパフォーマンスを発揮することを示しています。 研究者たちはHyenaDNAのパフォーマンスをいくつかのダウンストリームタスクで評価しました。GenomicBenchmarksデータセットでは、事前トレーニングモデルは以前のアプローチを大幅に上回る最先端のパフォーマンスを発揮しました。さらに、Nucleotide Transformerからのベンチマークでは、HyenaDNAは12つのデータセットで最先端の結果を達成し、パラメータが少なく、事前トレーニングデータも少ないことが特徴です。また、ジェノミクスにおけるコンテキスト内学習（ICL）の潜在能力を探るために、研究者たちは一連の実験を行いました。彼らはソフトプロンプトトークンの概念を導入し、凍結された事前トレーニングされたHyenaDNAモデルの入力が重みの更新やデコーダヘッドの追加なしで出力をガイドすることができるようにしました。ソフトプロンプトトークンの数を増やすことで、GenomicBenchmarksデータセットの精度が著しく向上しました。このモデルは、超長距離タスクにおいても優れた性能を発揮します。HyenaDNAは、難しいクロマチンプロファイルタスクにおいて、SOTAのスパーストランスフォーマモデルであるBigBirdと効果的に競合します。さらに、超長距離種分類タスクでは、コンテキスト長を450Kと1Mトークンに増やした場合でも、成功した結果を達成します。 これらの結果は、HyenaDNAが複雑なゲノムタスクを処理する能力と、長距離依存性と種の差異を解決する可能性を強調しています。彼らは、この進歩がAI支援の薬剤探索と治療イノベーションにおいて重要であると予想しています。さらに、これによりゲノム基盤モデルが個別の方法で患者のゲノム全体を学習・分析する能力が可能になり、ゲノムの理解と応用がさらに向上する可能性があります。
Find the right Blockchain Investment for you
Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.