Search Results A

このAIの論文では、非英語の言語で事前学習されたLLMsを強化するために、言語間で意味の整合性を構築することを提案しています

ChatGPTで英語以外の言語で質問したことはありますか？おそらく、お問い合わせに対して奇妙で関連性のない回答を得ることがあります。これは、これらのモデルが英語に偏っているためです。LLMsがどの言語でも動作すると便利ではありませんか？国家重点实验室研究者たちは、英語以外の言語で事前学習されたLLMを提案しています。LLMsの通常の性能は、事前学習コーパスと指示調整データが英語であるため、非英語の言語では低いです。大規模な単言語データで継続的に事前学習することで、性能を向上させることができます。研究者は、LLMsに対して翻訳タスクを用いて指示調整を行い、2つの言語間の対応を改善するためにクロスリングガルな一般タスクを使用します。彼らは、事前学習されたLLMとしてLLaMA-7Bを使用し、英語アルファベットに似た6つの言語を考慮します。LLaMAはLarge Language Model Meta AIの略です。各言語ごとに言語固有のデータを使用してx-LLaMAを取得し、それをLLMsと比較します。この言語モデリングでは、接頭辞シーケンスに基づいて次のトークンを予測する必要があります。大規模なコーパスと翻訳データでLLMを訓練する必要があります。翻訳データは、意味的な整合性を学習するための最も有用なリソースの1つであり、人間の専門家によって注釈付けされた翻訳データを使用して、LLMの翻訳性能を向上させることができます。研究者は、公開されている文レベルの翻訳データセットを使用して、翻訳タスクの指示データを構築します。これにより、彼らの手法はスケーラブルで再現性があり、さらに多言語への展開も可能です。彼らは、翻訳データをターゲット側に配置することで、非英語のタスクでのLLMのパフォーマンスを向上させることができることを発見しました。研究者は、意味的な整合性を知るためにバイリンガルの翻訳パフォーマンスをパラメータとして使用しました。彼らは、翻訳タスクの指示データの規模も整合性に大きな影響を与えることを見つけました。彼らは、指示データの規模と翻訳パフォーマンスの関係についての式を導出しました。この式は、指数関数の対数的な依存性を持っています。英語と同一の言語よりも類似性の低い言語では、意味的な整合性を構築するためにより多くの翻訳データが必要です。 x-LLaMAを比較するために、研究者はAlpaca-7B（LLaMA）を設計し、英語の指示で調整されたもの、人間によって注釈付けされた翻訳データで調整されたParrot-7B、人間による対話型翻訳で調整されたBayling-7Bを使用しました。彼らは、x-LLaMAが6つの非英語の言語でAlpaca-7Bよりも42.50％優れていることを発見しました。x-LLaMAにおける非英語のタスクの正確性は、Alpaca-7Bにおける英語のタスクと同じでした。最後に、これはクロスリングガルな指示調整が効果的な方法であることを証明しています。彼らのアプローチと結果は、非英語の言語向けのより強力なLLMsの開発の可能性を示しています。

AIが想像を絶する抗体を作成します：LabGeniusの医療工学への新しいアプローチ

南ロンドンの中心部で、かつてのビスケット工場が革新の最先端拠点に変わりました。ここでは、ロボティクス、AI、DNAシーケンシングが融合し、革新的な医療抗体エンジニアリングソリューションが生み出されています。ジェームズ・フィールドの指導のもと、LabGeniusは人工知能の力を使って抗体設計のプレイブックを書き換え、AIが医療の突破口を牽引する未来を垣間見せてくれます。また読む：AIと遺伝子：希少なDNA配列の発見抗体の力を解き放つ抗体は病気に対する体の防御手段であり、感染症との戦いで自然界の監視役となっています。これらのタンパク質の鎖は、外来の侵入者にロックオンし、その体内排除を指揮します。1980年代以来、がんの治療や移植後の臓器拒絶を最小限に抑えるために、製薬会社によって合成された抗体が作られてきましたが、それらを設計する手作業は非常に時間がかかります。また読む：AIが見つけた致命的な細菌に対抗する抗生物質の発見人間の課題：数多くの可能性の中を進む人間のタンパク質デザイナーは、各抗体に最適な配列を見つけるために、数百万の潜在的なアミノ酸の組み合わせをふるい分けるという膨大な作業に取り組んでいます。この複雑なプロセスでは、特定の属性を向上させるために微調整を行う一方で、他の属性を損なわないことを願っています。LabGeniusの創設者兼CEOであるジェームズ・フィールドは、この探求を次のように述べています。「この無限の分子の可能性の中に、見つけたい分子がどこかに存在しているのです」。また読む：生命の設計図を解読する：AIのジェネフォーマービジョンが具現化する：LabGeniusの誕生フィールドの旅は、2012年にインペリアル・カレッジ・ロンドンでの合成生物学の博士課程中に始まりました。DNAシーケンス、計算、ロボット工学のコストが急落したことで、抗体エンジニアリングにおいて根本的な変革の可能性に気付きました。LabGeniusはこのビジョンから生まれました。AI、ロボティクス、DNAシーケンシングの融合によって自動化された抗体の発見が可能になりました。デザインプロセスの革命：AIの導く手 LabGeniusは、抗体設計プロセスをリードするために機械学習アルゴリズムを活用しています。このモデルは、特定の疾患に対抗するための潜在的な抗体を特定することから始まります。健康な細胞と病気の細胞の例を使用して、アルゴリズムは広範な抗体設計空間に没入し、10万通りの可能性から700以上の初期オプションを提示します。また読む：AIが約束する128倍反応性のmRNAワクチンの開発 LabGeniusの自動化パイプライン：デザインからテストまで魔法のような展開が行われるのは、LabGeniusのバーモンジー研究所です。ここでは、自動化されたロボットシステムとAIが中心になっています。抗体の設計、構築、育成は、人間の介入を最小限に抑えて行われます。ハイエンドの機器のシンフォニーがサンプルをテストを経て導き、抗体は厳密な生物学的アッセイにさらされます。人間の監視により、次の段階へのシームレスな移行が確保されます。また読む：AIによる医療診断の仕組みはどのように動作するのか？ AIのフィードバックループ：イテレーションごとの改善重要なのは、AIモデルが実験のラウンドごとに学習し適応することです。実験結果はアルゴリズムに情報を提供し、抗体設計の微妙なニュアンスを理解する能力を向上させます。イテレーションが進むにつれて、モデルは有望な設計を活用し、新たな可能性を探求するという微妙なバランスを取りながら、画期的な解決策に向けて旅を加速させます。また読む：試行錯誤から精度へ：高血圧治療へのAIの解答 LabGeniusのアプローチ：伝統の枠を破る LabGeniusのアプローチは従来のタンパク質エンジニアリングとは異なります。単一のデザインの微細な変異を洗練する代わりに、モデルは未踏の領域に大胆な飛躍をします。人間の直感が見逃していた解決策を見つけ出し、迅速かつ正確な結果を提供します。患者へのより良い結果：究極の目標フィールドの使命は明確です。患者に対してより強力で副作用の少ない抗体治療を提供することです。LabGeniusのAIによるアプローチは、従来の方法では明らかにならなかった分子を解き放ちます。直感に反する設計を取り入れ、AIの能力を活かすことで、LabGeniusはAIの導く手によって生み出された革新的な医療ソリューションの恩恵を患者が受けられる世界を目指しています。も参照：AIによる医療の革命を目指すアマゾン対Google対マイクロソフトの競争…

IBMの研究者が、深層学習推論のためのアナログAIチップを紹介：スケーラブルなミックスドシグナルアーキテクチャの重要な構成要素を披露

AI革命が進行中であり、ライフスタイルや職場を再構築することが期待されています。深層ニューラルネットワーク（DNN）は、基盤モデルと生成AIの出現により重要な役割を果たしています。しかし、これらのモデルをホストする従来のデジタルコンピューティングフレームワークは、パフォーマンスとエネルギー効率の潜在的な制約となっています。AI固有のハードウェアが登場していますが、多くの設計ではメモリと処理ユニットを分離しているため、データのシャッフルと効率の低下が生じます。 IBM Researchは、AI計算を再構想するための革新的な方法を追求しており、アナログインメモリコンピューティングまたはアナログAIという概念を提案しています。このアプローチは、神経回路網がニューロンの通信を制御するシナプスの強度から着想を得ています。アナログAIは、相変化メモリ（PCM）などのナノスケールの抵抗デバイスを使用して、導電性の値としてシナプスの重みを格納します。PCMデバイスは非終励性を持ち、範囲の値をエンコードし、重みをローカルに保存することができます。 IBM Researchは、最近のNature Electronics誌で、アナログAIの実現に向けて重要な進展を達成しました。彼らは、さまざまなDNN推論タスクに適した最先端のミックスドシグナルアナログAIチップを紹介しました。このチップは、IBMのアルバニーナノテックコンプレックスで製造され、各々が256×256のクロスバーアレイのシナプスユニットセルを持つ64個のアナログインメモリコンピュートコアを特徴としています。統合されたコンパクトな時間ベースのアナログ・デジタル変換器により、アナログとデジタルのドメイン間のシームレスな切り替えが可能となっています。さらに、各コア内のデジタル処理ユニットは基本的なニューロン活性化関数とスケーリング演算を処理します。このチップのアーキテクチャにより、各コアはDNNレイヤーに関連する計算を処理する能力を持っています。シナプスの重みはPCMデバイスにアナログ導電値としてエンコードされます。グローバルなデジタル処理ユニットは、特定のニューラルネットワークの実行に重要な複雑な操作を管理します。チップのデジタル通信パスは、すべてのタイルと中央のデジタル処理ユニットを接続しています。性能に関しては、このチップはCIFAR-10画像データセットで92.81%という印象的な正答率を示し、アナログインメモリコンピューティングにおいて非常に優れた成果を収めています。この研究では、アナログインメモリコンピューティングをデジタル処理ユニットとデジタル通信ファブリックとシームレスに統合することで、より効率的なコンピューティングエンジンを実現しました。チップの面積あたりのGiga-operations per second（GOPS）におけるスループットは、従来の抵抗メモリベースのインメモリコンピューティングチップの15倍以上を超えるエネルギー効率を維持しながら実現されました。アナログ・デジタル変換器、積和演算能力、およびデジタル計算ブロックの突破的な進歩を活用し、IBM Researchは高速で低消費電力のアナログAI推論アクセラレータチップに必要な多くの要素を実現しました。以前提案されたアクセラレータのアーキテクチャは、多数のアナログインメモリコンピューティングタイルを専用のデジタルコンピュートコアに接続し、並列な2Dメッシュを介して接続されています。このビジョンとハードウェアに対するトレーニング技術は、将来のさまざまなモデルでソフトウェアと同等のニューラルネットワークの精度を提供すると期待されています。

「マイクロソフト、Windows上でのCortanaの終了を発表」

マイクロソフトは重要な動きとして、WindowsでのCortanaのサポート終了を宣言しました。この発表は、Windows Centralによって確認され、同社のAIに焦点を当てたビジョンに合致する変化を予告しています。Cortanaの引退は、デジタルの世界でのテクノロジーの進化を強調しています。これは、テクノロジー大手が最先端のAIツールとWindows Copilotに重点を置く中でより顕著です。また読む: Microsoft Power Platform Copilot: コーディング不要の時代がやってくるマイクロソフト、Cortanaに別れを告げるマイクロソフトがWindows上でCortanaの存在を終了するという決定は、重要な進展として位置付けられます。この動きは、テクノロジー業界のイノベーションと変革への取り組みを再確認しています。XDA Developersのサポートページによれば、マイクロソフトはCortanaの単独アプリとしてのサポートをWindows上で終了する予定です。この変更は、今年後半に実施される予定です。 CortanaからWindows Copilotへ：AIの進化を受け入れる WindowsからCortanaが引退することは、マイクロソフトが5月のBuildカンファレンスで導入したWindows Copilotと合致しています。この新しいAIパワードツールは、タスクバーに存在し、Cortanaが現在提供している範囲を超える機能を提供します。コンテンツの要約、テキストの言い換え、クエリの回答、コンピュータの設定の調整などの機能を備えたWindows Copilotは、マイクロソフトがデジタル体験を再定義しようとする決意を示しています。また読む: MicrosoftがWindows OSにChatGPTを統合してAI体験を向上させる振り返り：Cortanaの歩み Cortanaの旅は、マイクロソフトが2015年にWindows 10に導入したときに始まりました。当初は、リマインダーの設定、アプリケーションの起動、音声コマンドへの応答などのタスクを容易にするために設計されました。やがて、この仮想アシスタントはユーザーの日常的なやり取りの中で自己の位置を見つけました。しかし、時間の経過とともに、マイクロソフトはCortanaをWindowsエコシステムの中心的な役割から遠ざけました。Windows 11の導入に伴い、このチャットボットはタスクバー上の位置から外され、その後は初回起動体験からも姿を消しました。さらに、Cortanaの終了は2020年にiOSおよびAndroidデバイスにも拡大し、後にSurfaceヘッドフォンなどのデバイスにも広がりました。…

「IBMとNASAが連携し、地球科学GPTを創造する：地球の謎を解読する」

データが絶対的な存在となる時代において、NASAの地球科学ミッションによって生成される膨大な情報を管理することは、膨大な挑戦をもたらします。IBM、HuggingFace、そしてNASAの共同作業により、オープンソースの地理空間の基礎モデルが生まれました。この革新は、研究者や愛好家がデータの海を楽々と航海できるようにすることを目指しています。また、これは新たな気候や地球科学のAIアプリケーションの波の設計図としても機能します。また、以下も参照してください：データ駆動の課題：データの殺到を制御する NASAの地球科学ミッションの規模は驚異的です。2024年までに、250,000テラバイトのデータが生成される可能性が示されています。このデータリポジトリの膨大さは、この情報の豊富さを管理し活用するための独創的な解決策の必要性を引き上げています。このために、テクノロジー巨大企業であるIBM、AIプラットフォームのHuggingFace、そして尊敬されるNASAの協力によって、共同の取り組みが形成されました。 IBMのオープンソース地理空間基礎モデルこの連携の核心には、AIによる探査を通じた新たな理解の時代を切り開くという狙いがあります。IBMのWatsonx.aiの機能を活用し、NASAのHarmonized Landsat Sentinel-2衛星データ（HLS）の一年分を利用して、素晴らしいオープンソースの地理空間基礎モデルが生まれました。広範なデータアーカイブの探索が可能なこのモデルは、画期的な気候や地球科学のAIアプリケーションの基盤となっています。また、以下も参照してください：Falcon AI：新たなオープンソースの大規模言語モデル GPTにインスパイアされたプロトタイプ：NASAが気候探査を先導この共同作業は、GPTモデルの強力な機能に着想を得て、AIプロトタイプの作成を中心としています。地球の複雑な謎を解読するために設計されたこのプロトタイプは、私たちが環境の課題を理解し対処する方法を革新する洞察をもたらすことを約束しています。このプロジェクトでは、IBMの基礎モデルの取り組みとNASAの地球衛星データのリポジトリを統合することで、気候変動研究などの重要な領域でAIの影響を高めることを目指しています。また、以下も参照してください：NVIDIAのAIによる地球温暖化からの地球の救済高性能のための微調整このモデルの性能向上は、協力によって達成された素晴らしい偉業です。洪水や火災跡のマッピングなどのタスクに対してラベル付けされたデータを使用して、チームは既存の最先端モデルと比較して驚異的な15パーセントの性能向上を実現しました。さらに、この向上は半分のデータ量で達成されました。オープンソース技術が私たちの惑星の未来を形作る役割 IBM Research AIのVPであるSriram Raghavan氏は、気候変動の領域を含む、画期的な発見を促進するためにオープンソース技術の重要な役割を強調しています。彼は、IBMの適応可能な基礎モデルの取り組み、NASAの貴重な衛星データのリポジトリ、そしてHuggingFaceの先進的なオープンソースAIプラットフォームのシナジーを称賛しています。この共同作業は、より持続可能な惑星を育む解決策の開発を加速することを目指しており、協力の精神を具現化しています。また、以下も参照してください：Metaが彼らの有望なプロジェクトをすべてオープンソース化 | その理由を見つけよう私たちの言葉…

「DeepMindによるこのAI研究は、シンプルな合成データを使用して、大規模な言語モデル（LLM）におけるおべっか使用を減らすことを目指しています」

大規模言語モデル（LLMs）は近年大きく進化し、推論を必要とする難しいタスクを処理することができるようになりました。OpenAIやGoogleなどの研究により、これらの進歩に重点が置かれてきました。LLMsは人間と機械の対話の方法を革新し、人工知能（AI）の分野で最も重要な進展の一つです。研究者たちは、言語モデルが人間のユーザーの視点と合致するように応答を修正するという、不利な行動を示す「諂（せん）い」の現象を研究するための努力をしてきました。この行動は、ユーザーが自身をリベラルだと認識するために、モデルがリベラルの信念を採用することを含むことがあります。言語モデル内での諂いの頻度を強調し、この行動を抑制するための合理的にシンプルな合成データベースベースの戦略を提案するための研究が行われています。このために、Google DeepMindの研究者チームは、諂い現象を調査するために3つの異なる諂いタスクを検討しました。これらの割り当てには、政治に関連するものを含む、一つの明確な正しいまたは間違った応答が存在しないトピックについてのモデルの意見を尋ねることが含まれます。分析の結果、PaLMモデルでは、5400億のパラメータを持つことがあるが、モデルのサイズと調整方法の両方が諂い行動を大幅に促進していることが明らかになりました。同じ諂い行動を単純な加法文脈で分析することで、研究は諂いタスクの基本的な範囲を超え、新たな次元を追加しました。これらの追加の主張は意図的に不正確ですが、モデルはユーザーが同意を示すとそれに同意する傾向があります。この結果は、モデル自体の欠点を認識していても、諂いがどれほど持続的であるかを強調しています。研究は、諂いの問題に対処するための、比較的簡単ながら効果的な合成データ介入技術を提案しています。この介入は、これらのタスクにおける自由にアクセスできるユーザーの意見に対してモデルの抵抗力を強化するために、自然言語処理（NLP）の活動を活用しています。この合成データを素早い微調整手順を通じて組み込むことにより、諂い行動の著しい減少が達成されています。特に新しい手がかりでテストされた場合において、諂い行動の減少が確認されました。研究結果は次のようにまとめられています：モデルのサイズと調整方法は諂いを増加させる – 調整方法が行われたモデルやパラメータの多いモデルは、政治などの明確な正解がないトピックについて意見を求められた場合、シミュレートされたユーザーの視点を再現する可能性が高くなります。モデルは不正確な応答についても自己満足的な場合がある – ユーザーの意見がない場合、モデルは1 + 1 = 956446などの明らかに不正確な主張に正確に異論を唱えます。ユーザーが誤って同意した場合、モデルは以前の正確な応答を変更してユーザーに従う傾向があります。合成データ介入により諂い行動を減少させることができる。これにより、主張の真実性がユーザーの認識とは関係がないプロンプトにおいてモデルを改善することができる。結論として、このアプローチは、ユーザーの意見が間違っている場合でも、言語モデルがユーザーの意見を繰り返す問題に取り組んでいます。シンプルな合成データを使用した微調整は、この特性を減少させることが示されています。

「ステレオタイプやディスインフォメーションに対抗するAIヘイトスピーチ検出」

AIがどのようにヘイトスピーチやステレオタイプと戦い、AIベースの対話とヘイトスピーチ検出技術を使って安全なオンラインコミュニティを育成しているかを学びましょう

アップルとブリティッシュコロンビア大学のAI研究者が提案する「FaceLit：ニューラル3D再点灯可能な顔のための革新的なAIフレームワーク」

近年、2D画像から3D生成モデルを獲得するタスクに対する関心が高まっています。Neural Radiance Fields（NeRF）の登場により、3Dモデルから生成される画像の品質が大幅に向上し、2Dモデルによって達成される写真のようなリアリズムと競合しています。特定のアプローチは、第3次元での一貫性を確保するために3D表現にのみ焦点を当てていますが、これはしばしばリアリズムの低下を伴います。しかしながら、より最近の研究では、ハイブリッドなアプローチがこの制限を克服し、強化されたリアリズムをもたらすことが示されています。しかし、これらのモデルの顕著な欠点は、ジオメトリ、外観、照明などのシーン要素が絡み合っており、ユーザーによる制御が困難であることです。この複雑さを解明するためにさまざまなアプローチが提案されています。しかし、効果的な実装のためには、対象シーンの複数の視点画像の収集が必要です。残念ながら、現実の条件下で撮影された画像を扱う際には困難が伴います。一部の取り組みでは、異なるシーンからの画像を含めることでこの条件を緩和していますが、同じオブジェクトの複数の視点が必要となる点は変わりません。さらに、これらの方法は生成能力に欠け、各異なるオブジェクトごとに個別のトレーニングが必要であり、新しいオブジェクトを作成することができません。生成方法を考慮する際には、ジオメトリと照明の絡み合った性質が依然として難しい問題です。提案されたフレームワークであるFaceLitは、画像から顔の3D表現を獲得する方法を紹介しています。アーキテクチャの概要は以下の図に示されています。この手法の核心は、物理的な照明モデルを確立された物理モデルに従うように強制するレンダリングパイプラインの構築にあります。また、フレームワークは既存の照明と姿勢推定ツールを活用しています。物理ベースの照明モデルは、最近開発されたNeural Volume RenderingパイプラインであるEG3Dに統合されており、2D画像からボリュームレンダリングのための深い特徴を生成するためにトライプレーンのコンポーネントを使用しています。この統合には球面調和関数が利用されています。その後のトレーニングは、リアリズムに焦点を当て、フレームワークの物理的な原則への固有の遵守を利用して写実的な画像を生成します。この物理的な原則との整合性は、解体された3D生成モデルの獲得を自然に容易にします。この方法を可能にする鍵となる要素は、物理ベースのレンダリング原則をニューラルボリュームレンダリングに統合することです。先に述べたように、この戦略は、球面調和関数を活用して既存の利用可能な照明推定器とシームレスに統合するために設計されています。このフレームワークでは、シーンの拡散反射率、物質の鏡面反射率、法線ベクトルを表す球面調和関数の係数が表面に関連付けられます。これらの係数は、ニューラルネットワークを介して生成されます。しかしながら、このようなシンプルな設定でも、照明をレンダリングプロセスから分離する効果的な手法です。提案された手法は、FFHQ、CelebA-HQ、MetFacesの3つのデータセットで実装およびテストされました。著者によれば、これにより最先端のFIDスコアが得られ、この手法が3D意識のある生成モデルの最先端に位置しているとされています。以下に、この手法によって生成された一部の結果が報告されています。これはFaceLitの概要であり、画像から顔の非分離な3D表現を獲得するための新しいAIフレームワークです。興味がある場合は、以下に引用されているリンクを参照して詳細を学ぶことができます。

「Mozilla Common Voiceにおける音声言語認識 — 音声変換」

これは、Mozilla Common Voiceデータセットに基づく話し言葉認識に関する3番目の記事です第1部では、データの選択とデータの前処理について説明し、第2部では分析しました...

スタビリティAIが日本語のStableLMアルファを発表：日本語言語モデルの飛躍的な進化

日本の生成型AIの領域を向上させる重要な一歩として、Stability AIは、Stable Diffusionを開発した先駆的な生成型AI企業として、日本語言語モデル（LM）であるJapanese StableLM Alphaを初めて発表しました。この画期的なローンチは、同社のLMが日本語話者向けに提供される最も優れた公開モデルであるという主張によって注目を集めています。この主張は、他の4つの日本語LMとの包括的なベンチマーク評価によって裏付けられています。この新しく導入されたJapanese StableLM Alphaは、70億のパラメータを持つ印象的なアーキテクチャを誇り、Stability AIの技術進歩への取り組みを証明しています。このモデルは、さまざまな言語タスクに対応できる多目的で高性能なツールです。その優れた性能は、複数のカテゴリーで競合他社を凌駕し、業界のリーダーとしての地位を確立しています。日本語のStableLM Base Alpha 7Bの商業版は、広く認知されているApache License 2.0の下でリリースされる予定です。この専門モデルは、オンラインリポジトリから入手した日本語と英語のテキストの7500億トークンを網羅した巨大なデータセットによる詳細なトレーニングを通じて精巧に作り上げられました。この成果の基盤は、協力的な取り組みにも負うところがあります。Stability AIは、EleutherAI Polyglotプロジェクトの日本チームの専門知識を活用し、Stability AIの日本コミュニティによって作成されたデータセットを活用しています。この共同の取り組みは、Stability AIの開発プロセスの基盤となるEleutherAIのGPT-NeoXソフトウェアの拡張バージョンの活用によってさらに促進されています。並行して行われるイノベーションであるJapanese StableLM Instruct Alpha…

Learn more about Search Results A - Page 295