Search Results A

「架空の世界から現実へ：ChatGPTと真のAI会話のSF夢」

「SFの夢は現実になったのか？」

Artificial Intelligence

「AIのための機会の議題」

今日は、できる限り多くの人々に利益をもたらすための具体的な政策提言を提供するためのAI機会アジェンダを共有しています

再生医療テキスト生成が臨床NLPタスクを革命化することができるのか？クリニカルナレッジ抽出とコンテキストに基づいたLLMプロンプトを組み込んだAIモデル「ClinGen」に会いましょう

医療データの抽出、分析、解釈は、クリニカルナチュラルランゲージプロセッシング（NLP）と呼ばれる新興の学問領域に含まれています。しかし、クリニカル NLP の方法論を開発する際には、特有の困難が生じます。例えば、クリニカルテキストには頻繁に略語や専門的な医療用語が使用されるため、一般的な NLP モデルを混乱させる可能性があります。幸いなことに、大規模な言語モデルの最近の発展により、これらの問題に対する有望な解決策が提供されています。これらのモデルは大規模なコーパスで事前学習され、十分なクリニカル情報を自然に取り込むため、特に役立ちます。こうした進展は、クリニカル環境での使用に適したLLM（Large Language Models）の変更方法を開発する必要性を強調しています。これには、用語の複雑さに対処するだけでなく、クリニカルデータを微調整してモデルを向上させる方法も含まれます。一般的なLLMには多くのポテンシャルがありますが、それらを直接使用してクリニカルテキストデータに関する推論を行うことは、現実世界の状況では必ずしも望ましくありません。まず第一に、これらのLLMはしばしば数十億のパラメータを備えており、コンセプト段階でもかなりの処理能力を必要とします。これにより、インフラストラクチャのコストが高くなり、推論時間が長くなります。また、クリニカルテキストの機密性の高い患者情報は、プライバシーや規制の遵守に関する懸念も引き起こします。LLMを使用して合成トレーニングデータを作成することは、リソースとプライバシーに配慮した方法でLLMの能力を活用するための潜在的な手法です。これらの合成データにトレーニングされたモデルは、実世界のクリニカルデータを再現することで、高性能レベルで動作しながらデータプライバシー法を遵守することができます。一般的な機械学習では、基礎モデルを使用して合成データを作成することが最も一般的です。ただし、LLMを使用してクリニカルデータを作成する場合、元のデータセットの分布に沿った高品質のデータを提供するためには、特別な障壁があります。既存の技術によって生成されたデータの品質を評価するために、多様性と分布に焦点を当てた徹底した分析を行います。Central Moment Discrepancy（CMD）スコアとt-SNE埋め込み可視化は、データの分布に notable shift があることを示しています。また、合成データ中の臨床関連エンティティの量と頻度も調査しており、合成データとグラウンドトゥルースデータを比較すると、著しい減少が見られます。言語モデルを使用して臨床データを作成する研究はいくつかありますが、これらの取り組みの多くは特定のタスクに特化しています。電子健康記録、臨床ノート、医療テキストマイニング、医療対話などがその例です。これらの研究では、過剰なトレーニングデータを使用し、テキストの生成に直接言語モデルを使用することがよくあります。クリニカルダウンストリームアプリケーションでのLLMの修正方法を改善するための結束したアイデアは限られています。上記の研究にインスパイアされ、Emory大学とGeorgia Institute of Technologyの研究者は、CLINGENという高品質のクリニカルテキストを数ショットのシチュエーションで生成するための臨床知識を持つ汎用フレームワークを提案しました。彼らの最終的な目標は、生成されるテキストの主題の多様性を促進し、合成データと実データとのギャップを縮めることです。これを実現するために、彼らはクリニカルナレッジエクストラクションを使用してプロンプトを文脈化する方法を提供しています。これには、KG（知識グラフ）とLLMからのクリニカルテーマのアイデアと、LLMからの文章スタイルのアドバイスを取得することが含まれます。このように、CLINGENは大規模な言語モデルに内在する内部パラメトリック情報と、外部のクリニカルナレッジグラフから得られるノンパラメトリックな情報を組み合わせることで、医療分野における非常に少ない追加の人的作業を必要とします。 CLINGENは、さまざまな基本的なクリニカルNLPタスクに簡単に使用でき、非常に少ない追加の人的作業が必要です。以下に彼らの貢献の概要を示します:…

新しい研究論文が、化学の論文がChatbot ChatGPTを使用して書かれた時に簡単に見分けることができる機械学習ツールを紹介しています

AIの進歩が支配的な時代において、特に科学論文における人間とAIによるコンテンツの区別はますます重要になっています。この論文では、化学論文に対して人間とAIによる文章を正確に識別・差別化するための堅固な解決策を提案しています。最新のOpenAI分類器やZeroGPTなどの現在のAIテキスト検出ツールは、AIによるコンテンツの識別に重要な役割を果たしてきました。しかし、これらのツールには制約があり、研究者たちは科学的な文章に特化した解決策を導入する必要がありました。この新しい方法は、複雑なプロンプトや異なる文章スタイルにおいても高い正確性を維持する能力により、この分野での大きな進歩を示しています。研究者たちは、汎用の検出器よりも専門の解決策を提唱しています。彼らは科学的な言語とスタイルの微妙なニュアンスを把握するツールの必要性を強調しています。提案された方法は、複雑な指示に基づいて導入を作成するなど、複雑なプロンプトに直面しても優れた正確性を示す点で優れています。提案された解決策の核心には、科学論文の微妙な特徴を捉えるために工夫された20の特徴があります。10の異なる化学ジャーナルとChatGPT 3.5からの例に基づいてトレーニングされたこのモデルは、高度なGPT-4を含むさまざまなChatGPTのバージョンにわたる一貫したパフォーマンスを維持する柔軟性を持っています。最適化と堅牢な特徴抽出技術のためのXGBoostの統合は、モデルの適応性と信頼性を強調しています。特徴抽出には、文や単語の数、句読点の存在、特定のキーワードなど、さまざまな要素が含まれます。この包括的なアプローチにより、人間とAIによるテキストの異なる特徴の微妙な表現が保証されます。本文では、トレーニングセットに含まれない新しいドキュメントに適用した場合のモデルのパフォーマンスについて詳しく説明しています。その結果、これは使用される言語モデルの異なるイテレーションにわたってテキストを分類するための効果的な手段であることがわかりました。結論として、提案された方法は、科学論文におけるAIによるテキストの検出という普遍的な課題への称賛すべき解決策です。様々なプロンプト、異なるChatGPTのバージョン、ドメイン外のテストにおける一貫したパフォーマンスは、その堅牢さを示しています。この記事では、約1か月でのサイクルを完了するモデルの開発の俊敏さが強調されており、変化する言語モデルの進化に適応する実用的でタイムリーな解決策と位置づけられています。可能な回避策についての懸念を考慮し、研究者たちは意図的にオンラインで動作する検出器を公開しないことを戦略的に決定しました。この慎重な手法により、AIによるテキストを検出を回避するためにAIによるテキストを操作しようとする著者を抑止する要素が加えられます。こうしたツールは責任あるAIの使用に貢献し、学術不正行為の可能性を低下させます。将来を見据えて、研究者たちはAIテキスト検出を解決できない軍拡競争とは見なさないべきだと主張しています。代わりに、それは編集作業として、自動化可能で信頼性のある作業と見なすことができます。科学的な出版物におけるAIテキスト検出の効果を示したことにより、このようなツールは学術的な信頼性を保ちながら学術出版プラクティスに組み込まれる道を開くものとなっています。

新しいOpenAIのGPTsサービスが小規模ビジネスにとってゲームチェンジャーになる方法

オープンAIは、小規模ビジネス向けに、ChatGPTのカスタムバージョンであるGPTsを発表しましたこれにより、小規模ビジネスはChatGPTをより役立つものにカスタマイズし、日常の業務に活用することができます

「トランスフォーマーブロックは、効率を損なうことなく簡素化することはできるのか？このAIの研究論文は、設計の複雑さと性能のバランスを探求しますETHチューリッヒ大学の論文」

ETHチューリッヒの研究者が、ディープトランスフォーマーの設計における単純化を探求し、より堅牢で効率的なものにすることを目指しています。シグナル伝播理論と経験的観察を組み合わせてさまざまな部品を削除するための修正を提案し、訓練速度やパフォーマンスに影響を与えることなく、標準トランスフォーマーブロックから削除することができます。この研究は、ディープニューラルネットワークのトランスフォーマーブロックの単純化に関する研究であり、特に標準的なトランスフォーマーブロックに焦点を当てています。シグナル伝播理論からインスピレーションを受け、アテンションやMLPのサブブロック、スキップ接続や正規化レイヤーを組み込んだ同一のビルディングブロックの配置を探求しています。また、MLPとアテンションのサブブロックを並列に計算するためのパラレルブロックを導入し、効率の向上を図っています。この研究は、ディープニューラルネットワークのトランスフォーマーブロックの単純化を具体的に検討し、特にブロック内のさまざまなコンポーネントの必要性を調査し、訓練速度を損なうことなく削除する可能性を探求しています。単純化の動機は、現代のニューラルネットワークのアーキテクチャの複雑さと、ディープラーニングにおける理論と実践の間のギャップから生じています。この手法では、シグナル伝播理論と経験的観察を組み合わせてトランスフォーマーブロックの単純化のための修正を提案しています。この研究では、自己回帰デコーダ専用のモデルとBERTエンコーダ専用のモデルで実験を行い、単純化されたトランスフォーマーのパフォーマンスを評価しています。さらに、アテンションのサブブロックからスキップ接続を削除した場合の信号変性についても追加の実験と異なる手法の影響を研究しています。研究では、スキップ接続、投射/値パラメータ、シーケンシャルサブブロック、正規化レイヤーを削除することでトランスフォーマーブロックを単純化する修正案を提案しています。これらの修正は、標準的なトランスフォーマーの訓練速度とパフォーマンスを維持しながら、より高速な訓練スループットを実現し、パラメータを少なく利用します。研究はまた、単純化されたトランスフォーマーのパフォーマンスに異なる初期化方法が与える影響を調査しました。提案された単純化されたトランスフォーマーは、標準的なトランスフォーマーと同等のパフォーマンスを実現しながら、パラメータを15%削減し、訓練スループットを15%向上させます。この研究は、大規模トランスフォーマーモデルのコストを削減できる単純化されたディープラーニングアーキテクチャを提供しています。実験結果は、さまざまな設定での単純化の有効性を支持し、最適な結果のための適切な初期化の重要性を強調しています。推奨される将来の研究は、提案された単純化が最大のトランスフォーマーモデルに対してどれほど効果的かを調査することです。この研究では、比較的小さいモデルに焦点を当てているため、包括的なハイパーパラメータの検索を実施し、単純化されたブロックのパフォーマンスを向上させることを提案しています。また、ハードウェア固有の実装を探求し、訓練速度とパフォーマンスをさらに向上させる可能性があります。

「加速、効率的なAIシステムの新しいクラスがスーパーコンピューティングの次の時代を示す」

エヌビディアは、今日のSC23で、科学や産業の研究センターを新たなパフォーマンスとエネルギー効率のレベルに引き上げる次世代のテクノロジーを発表しました。同社の高性能コンピューティングおよびハイパースケールデータセンター事業の副社長であるイアン・バックは、この会議での特別なスピーチで、「エヌビディアのハードウェアとソフトウェアのイノベーションは、新しいAIスーパーコンピュータのクラスを創り出しています」と述べました。これらのシステムの一部は、メモリ強化型のNVIDIA Hopperアクセラレータを搭載し、他のシステムは新しいNVIDIA Grace Hopperシステムアーキテクチャを搭載しています。すべてのシステムは、拡張された並列処理を使用して、生成AI、HPCおよびハイブリッド量子コンピューティングのためのスタックを実行するための加速ソフトウェアを使用します。バックは新しいNVIDIA HGX H200を「世界最高のAIコンピューティングプラットフォーム」と表現しました。 NVIDIA H200 Tensor Core GPUsは、成長する生成AIモデルを実行するためのHBM3eメモリを搭載しています。このGPUは、最初のAIアクセラレータとして超高速技術を使用した141GBのHBM3eを搭載しています。GPT-3などのモデルを実行する場合、NVIDIA H200 Tensor Core GPUsは前世代のアクセラレータに比べて18倍のパフォーマンス向上を提供します。ほかの生成AIベンチマークの中でも、彼らはLlama2-13Bの大規模な言語モデル(LLM)で1秒あたり12,000トークンを処理します。バックは、4つのNVIDIA GH200 Grace Hopper…

Learn more about Search Results A - Page 88

「架空の世界から現実へ：ChatGPTと真のAI会話のSF夢」

「AIのための機会の議題」

再生医療テキスト生成が臨床NLPタスクを革命化することができるのか？クリニカルナレッジ抽出とコンテキストに基づいたLLMプロンプトを組み込んだAIモデル「ClinGen」に会いましょう

新しい研究論文が、化学の論文がChatbot ChatGPTを使用して書かれた時に簡単に見分けることができる機械学習ツールを紹介しています

新しいOpenAIのGPTsサービスが小規模ビジネスにとってゲームチェンジャーになる方法

「トランスフォーマーブロックは、効率を損なうことなく簡素化することはできるのか？このAIの研究論文は、設計の複雑さと性能のバランスを探求しますETHチューリッヒ大学の論文」

「加速、効率的なAIシステムの新しいクラスがスーパーコンピューティングの次の時代を示す」

「注目のAI GitHubリポジトリ：2023年11月13日の週」

オープンAIは、人工汎用知能への追加資金を推進しています

新たなAIツールは、より高度な天体生物学の研究を可能にするドアを開く

Find the right Blockchain Investment for you