Search Results A

「無料のColabでGradioとHugging Faceを使用してLLaMa 2チャットボットを作成する方法」

この記事を書いている時点では、LLaMa 2モデルが最も話題になっていますそのため、モデルとのチャット方法を学ぶ価値がありますこの記事では、Gradioを使用してチャットボットを構築する方法を学びます...

「このAI研究は、深層学習と進化アルゴリズムを用いて、シリコンMach-Zehnderモジュレータの設計を革新します」

NetflixやIoTの人気や分散コンピューティングおよびストレージアーキテクチャへの移行により、ネットワークの伝送容量要件が増加しています。ネットワークコストが高額な短距離アプリケーションでは、このような容量要求を満たすことは特に困難です。例えば、高速光インターコネクト（OI）は、広範囲に分散したハイパースケールのデータセンター間の接続性を可能にします。電光変調器が中心的な役割を果たす光トランスミッターは、コストと性能の両面でこのタイプのシステムの重要なコンポーネントです。長距離および都市部システムで広く使用されているリチウムニオブ酸塩モジュレータは、優れた性能を示しますが、大きなフットプリントと高い材料コストのために関連する電子機器と効率的に統合することができません。近年、統合フォトニクスはこの分野で多くの研究の焦点となっています。その互換性から、補完的金属酸化物半導体（CMOS）との互換性があり、ノウハウと成熟した製造インフラを活用できるため、シリコン（Si）フォトニクスは低コストかつ高性能な光モジュレータを実装するための高いポテンシャルを持つプラットフォームとして登場しています。光通信システムの重要なコンポーネントであるシリコン（Si）マッハ・ツェンダーモジュレータ（MZM）の性能限界が高速アプリケーションでテストされています。ただし、従来の最適化手法では、デザイン要素の数が非常に多く、これらのデバイスのモデリングの複雑さのため、高性能な構成を達成するには過度な時間とリソースが必要です。研究者たちは、ヒューリスティック最適化と人工ニューラルネットワークを使用した新しい設計手法を提案して、最適化プロセスを劇的に簡略化することを示唆しています。 SiベースのMZMの3D電磁シミュレーションをディープニューラルネットワークモデルで置き換えました。その後、このモデルをヒューリスティック最適化（差分進化法）内での性能評価に使用しました。この技術をCMOS互換のMZMに適用し、従来のベストプラクティスを改善する新しい構成を見つけました。これらの構成は、電光帯域幅、挿入損失、半波電圧などの領域で優れた性能を示します。Siは半導体なので、プラズマ分散効果（PDE）に依存する位相シフタを作成できます。位相シフタを作成するためには、リブウェーブガイドベースの位相シフタを作成するために、構造の屈折率を8つの電気制御で操作する必要があります。マイクロリング共振器（MRR）、ミッシェルソンモジュレータ（MM）、マッハ・ツェンダーモジュレータ（MZM）を使用した干渉計は、すべてシリコン位相シフタを使用して干渉パターンを操作することができます。 MRRとミッシェルソン干渉計モジュレータ（MIM）は、フットプリントが小さく、エネルギー消費量も少なく、信号の変調に非常に効率的ですが、帯域幅が制約されています。対照的に、MZMは、比較的大きなフットプリントと高い消費電力にもかかわらず、高速システムでの変調帯域幅、消費量、挿入損失の最適なトレードオフを提供します。先述の利点に加えて、MZMはより優れた耐熱性を持ち、モジュレートされた信号のチャープもMRRとMIMに比べて著しく少ないです。 Siフォトニクスは、CMOSとの相互運用性のために、MZMを実装する有望な基板として浮上しています。ただし、Siの電気光学効果が十分でないため、この技術を使用したMZMは、その全ポテンシャルを引き出すために、可能な限り多くの設計要素を調査し、広範な最適化が必要です。研究者は、この目的を達成するためのANNとDEに基づく最適化戦略を提案しました。提案されたモデルの推論時間は、従来の汎用ワークステーション上での通常のシミュレーションと比較して、7桁程度短縮されています。多エージェント最適化、特にDEを使用した高い集団数と最適化パラメータの調整は、実行時間の大幅な削減によって可能になりました。提案されたANNモデリングとDE最適化の組み合わせを利用することで、新しいMZM構成は、ランダムに得られたものよりも優れています。これは、ANNが統合MZMの作成に使用された初めての試みです。得られた結果は興味深く、提案された設計手法のポテンシャルを示していますが、作業は電極関連パラメータを含めたより複雑なMZMモデルへの拡張や、パーティクルスワーム最適化や遺伝的アルゴリズムなどの他のヒューリスティック最適化アルゴリズムのテストなどにも拡張できます。最適化されたモジュレータのシステム性能、実験結果を含む詳細な調査は、後続の研究で提示される予定です。

タイム100 AI：最も影響力のあるもの？

『タイム誌が、Time 100 AIリストを発表しましたこのリストは、リーダーやイノベーターなどのカテゴリーで、AIの100人の重要な人物を紹介していますこのリストは、AIの進歩の背後にある人間の努力を強調することを目的としていますこのリストは、メインストリームメディアがAIの風景をどのように見ているかを示すスナップショットとして機能し、様々な要素を提供します...』

Artificial Intelligence

「UCLAの研究者たちは、広帯域の回折光学ニューラルネットワークに基づいて設計されたマルチスペクトルQPIシステムを紹介する」

量子位相イメージング（QPI）は、多くの科学および顕微鏡の分野での最先端のイメージング手法です。透明または半透明の材料を通過する際の光の光路差の最小の違いを定量化し、視覚化することが可能です。サンプル内部の屈折率分布や厚さの変化を、この非侵襲的な、ラベルフリーの手法で学ぶことができます。マルチスペクトル量子位相イメージング（QPI）システムは、この基本原理に基づいて、興味のある波長またはスペクトルバンドの複数の位相画像を取得することにより、サンプルの屈折率と厚さに関する情報を導き出します。光が試料と相互作用する際に経験する位相シフトを評価することで、情報を得ます。 QPIは、伝統的な生物医学の分野以外でも、細胞生物学、病理学、生物物理学などを含むいくつかの科学分野で有用です。生物界面の評価のための表面科学や、光学部品や薄膜、ナノ粒子の特性評価のための材料科学などでも使用されます。その機能には、細胞内の構造やプロセスの研究、細胞の成長と挙動のリアルタイムモニタリング、がんの検出、病原体の検出、薄膜厚さの測定、光学的品質の評価、表面の粗さの解析などが含まれます。したがって、QPIについては、研究者による徹底的な研究が行われており、カリフォルニア大学ロサンゼルス校（UCLA）の電気・コンピュータ工学部の研究者たちは、マルチスペクトルQPIの新しい設計を紹介しました。この手法では、ディープラーニングを使用して、広帯域の回折光学ネットワークを作成し、単一のスナップショット内でさまざまなスペクトルバンドでの量子位相画像の取得を可能にします。光学ネットワークは複数の空間的に構造化された誘電性回折層を使用し、それぞれに数十万の透過型回折特性を最適化してディープラーニングを行います。製造された回折層を組み合わせた後、光学ネットワークはオールオプティカルな位相から強度への変換器として機能します。これにより、マルチスペクトルQPIの信号を出力面の予め決められた空間位置に光学的にルーティングし、モノクローム焦点面配列が生成された強度分布を測定し、予め決められた波長での入力オブジェクトの位相プロファイルを抽出します。この光学ネットワークは、ディープラーニングを通じて入力オブジェクトのマルチスペクトル位相情報を最適化し、それを出力視野において、各目標スペクトルバンドに対応するオブジェクトの位相情報を空間的に符号化した独自の強度分布に変換します。 QPIは、主に2つの主要なコンポーネントで構成されています。1つはイメージングフロントエンドで、必要な位相情報を光学干渉法によって強度レベルに変換し、デジタルイメージセンサを使用して記録する役割を担っています。2つ目はデジタル処理のバックエンドタスクで、これらの信号に基づいて定量的な位相画像の必要な画像処理と再構築を行います。システムの正確性をテストするために、研究者たちはこれまでに見たことのない新しいタイプのオブジェクトのイメージング能力を検証しました。この研究は、さまざまなアプリケーションに適した、汎用のマルチスペクトル量子位相イメージャーであることを示しています。

「CityDreamerと出会う：無限の3D都市のための構成的生成モデル」

近年、3D自然環境の作成は多くの研究の対象となっています。3D都市、3Dシナリオ、3Dアバターなど、さまざまな種類の3Dオブジェクトの作成において、大きな進歩がありました。都市は、都市計画、環境シミュレーション、ゲーム作成などの分野で、3Dコンポーネントとして重要な役割を果たしています。 GANCraftやSceneDreamerなどのモデルは、3Dシーン内の画像を体積ニューラルレンダリングアルゴリズム、3D座標、および意味ラベルを使用して生成しています。これらの技術は、SPADEの偽の正解写真を使用して、3D自然環境の作成において有望な結果を示しています。しかし、3D自然環境の作成はいくつかの制約があります。都市の作成は、自然の風景の作成よりも基本的に複雑です。なぜなら、建物は同じクラスのオブジェクトに属しているにもかかわらず、木などの自然の風景要素と比べてはるかに多様な外観を持っているからです。これらの課題を克服するために、CityDreamerというユニークなアプローチが導入されました。これにより、よりアクセス可能でリアルな3D都市の開発が可能になりました。CityDreamerは、無制限の3D都市のために特別に作成された合成的な生成モデルです。通常、都市には道路、公園、水の特徴など、他の背景要素も存在しますが、CityDreamerは建物のインスタンスの作成を他の要素から分離するというユニークな戦略を採用しています。この分割は、モデル内の複数のモジュールを介して達成されました。また、OSMとGoogleEarthという2つの大規模データセットが作成され、生成された3D都市のレイアウトと美的外観の信憑性を向上させるために使用されました。これらのデータベースには実際の都市の画像が大量に含まれています。実際の世界からの特徴と違いを追加することで、構築される3D都市のリアリズムを高めることを試みています。CityDreamerは、試行とレビューを通じて、3D都市開発の分野での先端技術に優れていることを証明しています。都市の複雑さや正確で高品質な結果の要求といった困難を克服し、さまざまなリアルな3D都市を作成する能力を示しました。 CityDreamerプロジェクトの主な貢献は次のとおりです。 CityDreamerモデル：この研究の中心的な貢献は、CityDreamerモデルの導入です。このモデルは、無制限の3D都市の生成に特化しています。建物のインスタンスの生成を道路、緑地、水などの他の背景オブジェクトから分離するというユニークなアプローチを採用しており、モデル内の異なるモジュールを使用してより正確な制御と向上したリアリズムを実現しています。データセットの構築：最初のデータセットであるOSMは、OpenStreetMapからデータを取得することでより現実的な都市のレイアウトを提供しています。道路、建物、緑地、水の位置に関する貴重な情報をセマンティックマップと高さフィールドで提供します。2番目のデータセットであるGoogleEarthは、Google Earth Studioでキャプチャされた画像を含んでおり、マルチビューの一貫性を備えており、より包括的で現実的な都市環境の表現が可能です。定量的および定性的評価：CityDreamerのパフォーマンスは、定量的および定性的な評価を通じて評価されています。大規模で多様な3D都市の生成能力を示すために、既存の最先端の3D生成モデルと比較されています。

Google AIは、高いベンチマークパフォーマンスを実現するために、線形モデルの特性を活用した長期予測のための高度な多変量モデル、TSMixerを導入します

近年、正確な時系列予測の重要性は、多くの現実世界のアプリケーションにおいて極めて重要となっています。需要トレンドの予測やパンデミックの拡大の予測など、正確な予測を行う能力は貴重です。多変量時系列予測には、ユニバリエートモデルとマルチバリエートモデルの2つのカテゴリが登場しています。ユニバリエートモデルは、シングル変数時系列データのトレンドや季節パターンをキャプチャすることに焦点を当てています。しかし、最近の研究では、マルチバリエートモデルはその有望さにもかかわらず、長期の予測ベンチマークにおいてシンプルなユニバリエート線形モデルに劣ることが明らかになりました。これは、クロスバリエート情報の効果や、そのような情報が有益でない場合にマルチバリエートモデルがそれでも自己を維持できるかについての重要な問題を提起しています。時系列予測の領域では、最近、Transformerベースのアーキテクチャがシーケンスタスクにおいて優れたパフォーマンスを発揮したことから、その存在が広まってきました。しかし、長期の予測ベンチマークにおけるそのパフォーマンスは、よりシンプルな線形モデルと比較してその効果に疑問を投げかけています。そこで、Google AIチームによって画期的な解決策が提案されました。それがTime-Series Mixer（TSMixer）です。ユニバリエート線形モデルの利点を綿密に分析した後に開発されたTSMixerは、大きな飛躍を遂げました。線形モデルの強みを活かしながら、クロスバリエート情報を効率的に組み込むことで、長期の予測ベンチマークにおいて最高のユニバリエートモデルと同等のパフォーマンスを発揮するモデルとなりました。線形モデルとTransformerの間の重要な違いの1つは、時間パターンのキャプチャ方法です。線形モデルは、固定された時間ステップに依存した重みを使用して静的な時間パターンをキャプチャするため、このようなパターンの学習に非常に効果的です。一方、Transformerは、データに依存した動的な重みを持つアテンションメカニズムに基づいており、動的な時間パターンをキャプチャし、クロスバリエート情報の処理を可能にしています。TSMixerアーキテクチャは、これら2つのアプローチを組み合わせることで、時間線形モデルの能力を保持しながら、クロスバリエート情報の力を利用しています。メトリクスは嘘をつかないし、TSMixerの場合は結果が物を言います。電力、交通、天候などを含む7つの人気のある長期予測データセットで評価された結果、TSMixerは他のマルチバリエートモデルやユニバリエートモデルに比べて平均二乗誤差（MSE）で大幅な改善を示しました。これは、精度と洞察力を持って設計されたマルチバリエートモデルが、ユニバリエートモデルと同等の性能を発揮することを示しています。結論として、TSMixerはマルチバリエート時系列予測の領域における画期的な瞬間を象徴しています。線形モデルとTransformerベースのアーキテクチャの利点を巧みに組み合わせることで、他のマルチバリエートモデルを凌駕するだけでなく、最先端のユニバリエートモデルと肩を並べることができます。時系列予測の分野が進化し続ける中、TSMixerはさまざまな領域でアプリケーションを革新することができるより強力で効果的なモデルの道を開拓しています。

「YaRNに会ってください：トランスフォーマーベースの言語モデルのコンテキストウィンドウを拡張するための計算効率の高い方法で、以前の方法よりもトークンが10倍少なく、トレーニングステップが2.5倍少なくて済みます」

Chat GPTのような大規模言語モデルは、テキストのより広範な文脈を考慮することができ、より一貫性のある文脈に即した応答を理解し生成することができます。これは、テキスト補完などのタスクにおいて、ドキュメント全体の文脈を理解することが重要な場合に特に役立ちます。これらのモデルは、トークンが多くなる場合であっても、ドキュメント内の複雑な関係や依存関係を捉えることができます。GPT-3やGPT-4のような大規模言語モデルにおける文脈ウィンドウの拡張とは、モデルが言語を生成または理解する際に考慮するテキストまたはトークンの範囲を指します。これは、要約文書のようなタスクにおいて、ドキュメントを包括的に理解した上で要約を行う必要がある場合に価値があります。 Rotary position embedding（RoPE）は、モデルが順序データを処理し、シーケンス内の位置情報を捉える能力を向上させます。ただし、これらのモデルは、彼らが訓練されたシーケンスの長さを超えて一般化する必要があります。Nous Research、Eleuther AI、およびジュネーブ大学の研究者は、このようなモデルの文脈ウィンドウを効率的に拡張する方法であるYaRN（Yet another RoPE extension method）を提案しています。 RoPEは、複素数の回転を使用する回転位置埋め込みであり、モデルが固定された位置埋め込みだけに頼らずに位置情報を効果的にエンコードすることを可能にします。これにより、モデルは長距離の依存関係をより正確に捉えることができます。回転を制御するパラメータは、モデルの訓練プロセス中に学習されます。モデルは適応的に回転を調整して、トークン間の位置関係を最もよく捉えることができます。彼らが行った手法は、文脈ウィンドウを拡張するために外部メモリメカニズムを使用する圧縮トランスフォーマです。彼らは外部メモリバンクから情報を保存し、取得することで、通常のウィンドウサイズを超えた文脈にアクセスすることができます。トランスフォーマのアーキテクチャの拡張により、メモリコンポーネントが開発され、モデルは過去のトークンや例から情報を保持し利用することができます。彼らの実験では、YaRNはわずか400ステップのトレーニングでLLMの文脈ウィンドウの拡張を成功させました。これは、モデルの元の事前トレーニングコーパスの0.1%に相当し、25からの10倍の削減、および7からの2.5倍のトレーニングステップの削減です。これにより、追加の推論コストなしで非常に計算効率が高くなります。全体的に、YaRNはすべての既存のRoPE補間手法を改善し、PIを置き換えるだけであり、実装努力も最小限です。微調整モデルは複数のベンチマークで元の機能を保持しながら、非常に大きなコンテキストサイズに対応することができます。将来の研究では、伝統的なNLPモデルと組み合わせることができるメモリ拡張が関与することができます。トランスフォーマベースのモデルは、外部メモリバンクを組み込むことで、質問応答や機械翻訳などの下流タスクに関連する情報をコンテキストに保存して利用することができます。

『あなた自身の個人用ChatGPT』

あなた自身のパーソナルChatGPTOpenAIのGPT-3.5 Turboモデルをカスタムデータで微調整し、新しいタスクを実行し、結果を分析する方法

『キャタリスト研究の変革：テキスト入力を使用したエネルギー予測のために設計された Transformer ベースの AI モデル、CatBERTaに出会ってください』

化学触媒の研究は、常に新しい長期的な解決策が求められるダイナミックな分野です。現代の産業の基盤である触媒は、化学反応を促進するために消費されずに使用され、より環境に優しいエネルギーの生成から医薬品の創造まで、さまざまな分野で活用されています。しかし、最適な触媒材料を見つけることは、複雑な量子化学計算と広範な実験テストが必要な困難で長期的なプロセスでした。持続可能な化学プロセスを作り出すための重要な要素は、特定の化学反応に最適な触媒材料を見つけることです。Density Functional Theory（DFT）などの技術はうまく機能しますが、さまざまな触媒を評価するために多くのリソースが必要となるため、いくつかの制約があります。単一のバルク触媒は多くの表面の向きを持ち、吸着物はこれらの表面のさまざまな場所に付着することができるため、DFT計算だけに頼ることは問題があります。これらの課題に取り組むために、研究者グループはエネルギー予測のためのTransformerベースのモデルであるCatBERTaを導入しました。CatBERTaは、優れた性能を示すディープラーニングモデルである事前学習済みのTransformerエンコーダをベースに構築されています。その特徴的な点は、人間が理解できるテキストデータを処理し、吸着エネルギー予測のためのターゲット特徴量を追加することができることです。これにより、研究者は人間が理解しやすい形式でデータを提供し、モデルの予測の利用性と解釈性を向上させることができます。このモデルは、入力テキストの特定のトークンに集中する傾向があります。これは、CatBERTaの注意力スコアの研究から導かれた主要な結論の1つです。これらの指標は、表面に付着する物質である吸着物、触媒の全体的な構成、およびこれらの要素間の相互作用と関連しています。CatBERTaは、吸着エネルギーに影響を与える触媒システムの重要な要素を特定し、重要視することができるようです。この研究は、吸着配置を説明するための有用な用語として相互作用する原子の重要性を強調しています。吸着物の原子がバルク材料の原子と相互作用する方法は、触媒にとって重要です。興味深いことに、リンクの長さやこれらの相互作用する原子の元素組成などの変数は、吸着エネルギーの正確な予測にほとんど影響を与えません。この結果は、CatBERTaが手元のタスクにとって最も重要な要素を優先し、テキスト入力から最も関連性の高い情報を抽出する可能性があることを示唆しています。精度の面では、CatBERTaは吸着エネルギーを平均絶対誤差（MAE）0.75 eVで予測することが示されています。この精度は、このような予測を行うために使用される広く使われているグラフニューラルネットワーク（GNN）と比較しても遜色ありません。また、化学的に同じシステムの場合、CatBERTaからの推定エネルギーは、互いに引いた場合に19.3%まで系統的なエラーを効果的に相殺することができます。これは、触媒のスクリーニングと反応性評価の重要な部分であるエネルギーの差の予測の誤りをCatBERTaが大幅に減らす可能性があることを示しています。結論として、CatBERTaは従来のGNNに対する可能性のある代替手段を提供します。エネルギー差の予測の精度を向上させる可能性を示し、より効果的かつ正確な触媒スクリーニング手続きの開発の道を開くことができるでしょう。

「Amazon SageMaker Pipelinesを使用した機械学習ワークフローの構築のためのベストプラクティスとデザインパターン」

この投稿では、SageMakerパイプラインの価値を最大化し、開発体験をシームレスにするためのベストプラクティスをいくつか紹介しますまた、SageMakerパイプラインを構築する際の一般的なデザインシナリオとパターンについても説明し、それらに対処するための例も提供します

Learn more about Search Results A - Page 229