Search Results A

UCLとGoogle DeepMindの研究者が、トランスフォーマーニューラルネットワークにおけるインコンテキスト学習（ICL）の一瞬のダイナミクスを明らかにします

モデルが推論時に入力を使用して重みを更新せずに動作を変更する能力は、インコンテキスト学習またはICLとして知られています。特に少数の例から望ましい振る舞いを学習する能力を備えたニューラルネットワークアーキテクチャが、最初にこの能力を示しました。モデルがトレーニングセットでうまく機能するためには、将来の予測を行うために、コンテキストからの実例-ラベルのマッピングを覚えておく必要がありました。これらの状況では、トレーニングは各エピソードごとに入力実例に対応するラベルを再配置することを意味しました。テスト時には新しい実例-ラベルのマッピングが提供され、ネットワークのタスクはこれを使用してクエリ実例を分類することでした。 ICLの研究は、トランスフォーマーの開発の結果として発展しました。研究者は、トレーニングの目的やデータを通じて特にそれを促そうとはしていなかったことに注目しました。むしろ、トランスフォーマーベースの言語モデルGPT-3は、適切なサイズで自己回帰的にトレーニングされた後にICLを示しました。それ以来、多くの研究がICLの実例を調査または文書化しています。巨大なニューラルネットワークにおける新しい機能の研究が行われています。ただし、最近の研究では、トランスフォーマーのトレーニングがICLを引き起こすわけではないことが示されています。研究者は、トランスフォーマーにおけるICLの発生は、バースティさや高い偏った分布など、特定の言語データの特性に大きく影響を受けることを発見しました。ユクルとGoogle Deepmindの研究者は、これらの特性が欠けるデータでトレーニングされたトランスフォーマーが通常インウェイト学習（IWL）に頼ることが明らかになりました。IWLレジームのトランスフォーマーは、新たに提供されたインコンテキスト情報を使用せず、モデルの重みに格納されたデータを使用します。重要なのは、ICLとIWLはお互いと相反するように見えることです。ICLは、トレーニングデータがバースティであるときに、つまりオブジェクトがランダムではなくクラスターとして表示され、トークンやクラスの数が多いときにより簡単に現れるようです。ICLの現象をトランスフォーマーでよりよく理解するためには、確立されたデータ生成分布を使用した制御された調査を行うことが重要です。図1：12層、埋め込み次元64、各クラス20の実例が含まれる1,600個のコースでトレーニングされ、インコンテキスト学習は一時的です。トレーニングセッションごとにバーストがあります。トレーニング時間が不十分なため、研究者はICLの一時的な変動を目撃することはありませんでしたが、これらの環境はICLを非常に奨励していることがわかりました。 (a) ICL評価器の精度。 (b) IWL評価器の精度。研究チームは、テストシーケンスが分布から外れているため、トレーニングシーケンスの精度が100％であるにもかかわらず、IWL評価器の精度の改善が非常に遅いことを確認しています。 (c) トレーニングログの損失。 2つの色調は2つの実験的な種を示しています。基本的に、過学習は、LLMでICLを調査する最近のほとんどの研究において内在的な前提に基づいています。モデルは、ICLに依存した機能が発生するため十分なトレーニングを受けたと、トレーニング損失が減少し続ける限り保持されると信じられています。ここでは、研究チームは永続性が存在するという広く信じられている考えを否定します。研究チームは、制御された環境でICLを徹底的に評価することを可能にする、一般的な画像ベースの少数派トレーニングデータセットを修正することでこれを行います。研究チームは、ICLが出現し、モデルの損失が減少し続けるにつれて消える簡単なシナリオを提供します。言い換えれば、ICLは新興現象として広く認識されているにもかかわらず、研究チームはそれが一時的なものである可能性も考慮すべきです（図1）。研究チームは、さまざまなモデルサイズ、データセットサイズ、およびデータセットの種類において一時性が起こることを発見しましたが、特定の属性が一時性を遅延させることも示しました。一般的には、長期間無責任に訓練されたネットワークは、ICLが現れるのと同じくらい速く消えてしまい、現代のAIシステムから期待されるスキルをモデルから奪うことがあります。

「異常検知への推測を排除する：ヒストグラムが閾値を設定します」

『異常検知の領域において、隠れた異常を追求することは、データの広大な風景の中で隠された宝物を探し求めることに似ていますしかし、最も高度な異常検知アルゴリズムを使用していても...』

「トランスフォーマーの再定義：シンプルなフィードフォワードニューラルネットワークが効率的なシーケンス・トゥ・シーケンスのタスクにおいて注意機構を模倣する方法」

ETHチューリッヒの研究者は、標準の浅いフィードフォワードネットワークを利用してトランスフォーマーモデルの注意メカニズムを模倣する効果を分析しました。トランスフォーマーモデルは、シーケンス間タスクの先進的なアーキテクチャです。トランスフォーマーモデルの主要な注意メカニズム要素は、知識蒸留を通じて訓練されたシンプルなフィードフォワードネットワークに置き換えられます。厳密な実験や置換ネットワークの種類とサイズに関する抜き打ち実験により、浅いフィードフォワードネットワークが注意メカニズムを模倣することの適応性が強調され、複雑なシーケンス間アーキテクチャを簡素化する可能性が示されます。この研究では、浅いフィードフォワードネットワークが注意メカニズムを再現する柔軟性に重点が置かれています。BLEUスコアを評価指標として使用します。エンコーダとデコーダの層で動作を成功裏に再現しながらも、クロスアテンションツールを置き換えることは挑戦となり、BLEUスコアが著しく低下します。このアプローチの限界と可能性に光を当てる研究です。本研究は、シーケンス間タスク、特に言語翻訳において、元のトランスフォーマーモデルの注意層を浅いフィードフォワードネットワークで置き換えることの実現可能性を探求しています。注意メカニズムに関連する計算負荷に触発され、外部フィードフォワードネットワークがその振る舞いを効果的に模倣できるかどうかを調査します。研究では、これらのネットワークを訓練し、主要な注意要素を置き換えることに焦点を当てています。そして、シーケンス間タスクにおけるこれらの方法の能力を評価することを目指しています。このアプローチでは、元のトランスフォーマーモデルの中間アクティベーションを教師モデルとして使用し、浅いフィードフォワードネットワークを知識蒸留で訓練します。抜き打ち実験を通じて、トランスフォーマーモデルのエンコーダにアテンションメカニズムを置き換えるための4つの方法を紹介します。BLEUメトリックを使用してIWSLT2017データセットで評価された提案手法は、元のトランスフォーマーモデルと同等のパフォーマンスを示しています。付録には、これらの手法がシーケンス間タスク、特に言語翻訳における有効性を実証するための具体的な実装詳細が提供されています。結果は、これらのモデルが元のモデルと同等のパフォーマンスを発揮できることを示し、フィードフォワードネットワークがアテンションレイヤーの代替として有効であることを実証しています。抜き打ち実験は、置換ネットワークの種類とサイズに関する洞察を提供し、その有用性を確認しています。しかし、デコーダのクロスアテンションメカニズムの置換はパフォーマンスの低下をもたらすため、浅いネットワークは自己アテンションに優れているものの、トランスフォーマーモデルの複雑なクロスアテンション相互作用を模倣する際には支援が必要となることを示しています。まとめると、注意メカニズムのないトランスフォーマーモデルの研究は、これらのモデルをゼロから訓練するための知識蒸留などの高度な最適化技術の必要性を強調しています。より一般的なアーキテクチャは高度なタスクに潜在的な可能性を持つかもしれませんが、デコーダのクロスアテンションメカニズムをフィードフォワードネットワークで置き換えると性能が著しく低下することから、複雑なクロスアテンション相互作用を捉えることには困難があることが明らかになります。今後の課題としては、ベイズ最適化のような高度なテクニックを使用してハイパーパラメータを最適化し、翻訳の品質を向上させ、サイズの制約に対処することが挙げられます。特にデコーダのクロスアテンションに対して、より複雑なフィードフォワードネットワークを探索することで複雑さを捉えることができるかもしれません。クロスアテンションの表現力を向上させるための代替アーキテクチャの探求は、有望な研究方向です。注意メカニズムのないトランスフォーマーモデルの一般化能力は、さまざまなシーケンス間タスクへの適用可能性を探求する価値があります。さらなる実験や抜き打ち実験により、アプローチを洗練化し、アテンションメカニズムを模倣するフィードフォワードネットワークを最適化するための深い洞察が得られるでしょう。

スタートアップの創業者が最適なインキュベーターを見つけるのを支援するマッチングツールの構築：エンド・トゥ・エンドのフリーランスプロジェクト

「Harnessは、共同創業者の起業の旅を支援するために設立されたスタートアップですが、彼らのコミュニティが最適なインキュベーターを見つけるのを支援するツールを開発するために私に依頼しました：そのツールはマッチングです…」

効果的にLLMをトレーニングする方法：小規模な導入のためのベストプラクティス

Large Language Models（LLMs）の新しい進歩に関するニュースの中で、あなたは「自分自身のLLMをどのように訓練すればいいのか」と思っているかもしれません。今日では、特定のニーズに合わせたLLMはますます重要な資産になっていますが、その「大規模」さには価格が付いています。LLMの印象的な成功は、モデルのパラメータ数とトレーニングデータのサイズの増加と相関があるスケーリングの法則によって大きく貢献しています。GPT-4、Llama2、Palm2などのモデルは、世界最大のクラスタで訓練され、完全なスケールのモデルを訓練するために必要なリソースは、個人や小規模企業には獲得困難なことがしばしばあります。 LLMの効率的な訓練は、速く、メモリ使用量を抑え、エネルギーを節約することに焦点を当てた研究の活動領域です。ここでの効率性とは、モデルの品質（例えばパフォーマンス）とそのリソース利用のバランスを達成することを指します。この記事では、データ効率またはモデル効率の訓練戦略を選ぶ際のアドバイスを提供します。詳しくは、最も一般的なモデルとそれぞれの参照が、添付の図に示されています。データ効率。訓練の効率を向上させるためには、データの戦略的な選択が大きく影響します。データフィルタリングは、訓練を前に行うことで、完全なデータセットと同等のモデルパフォーマンスを達成するために、十分な情報を含むコアデータセットを作成する方法です。カリキュラムラーニングは、訓練中にデータインスタンスを計画的にスケジュールすることを意味します。これは、より単純な例から徐々により複雑な例に進んだり、その逆の場合でもあります。また、これらの方法は、訓練中にデータセット全体にわたるさまざまなサンプリング分布を確立することも可能です。モデル効率。効率的なモデルを得る最も直接的な方法は、適切なアーキテクチャを設計することです。もちろん、これは容易ではありません。幸いなことに、ニューラルアーキテクチャの検索（NAS）やハイパーパラメータの最適化のような自動モデル選択方法によって、このタスクをより容易にすることができます。適切なアーキテクチャを持つことで、大規模なモデルのパラメータ数を減らしながらも、大規模なモデルのパフォーマンスを演算することが可能となります。多くの成功したLLMは、マルチレベルのシーケンスモデリングと並列化の能力で知られるトランスフォーマーアーキテクチャを使用しています。ただし、アテンションメカニズムは入力サイズの二乗に比例してスケールするため、長いシーケンスの管理は難しい課題です。この領域の進化には、アテンションメカニズムの改善に加え、再帰ネットワーク、長期メモリ圧縮、ローカルとグローバルなアテンションのバランスを取る手法などが含まれます。同時に、パラメータ効率の方法は、複数の操作での利用効率を向上させるために使用されることがあります。これには、メモリ使用量を削減するために類似の操作間で重み共有するウェイト共有などの戦略が含まれています。パラメータの一部のみを活性化するスパーストレーニングは、「宝くじ券仮説」を利用し、効率的に訓練されたサブネットワークが完全なモデルのパフォーマンスに匹敵することができるという概念を生かしています。モデルの圧縮も重要な要素であり、パフォーマンスを損なうことなく、計算負荷とメモリのニーズを減らすことが含まれます。これには、重要度が低いウェイトを削除するプルーニング、より小さいモデルを訓練するためのナレッジディスティレーション、およびスループットの向上のための量子化が含まれます。これらの方法は、モデルのパフォーマンスだけでなく、モバイルやリアルタイムのアプリケーションにおいても推論時間を高速化します。トレーニングセットアップ。利用可能なデータの膨大さにより、トレーニングをより効果的に行うために2つの一般的なテーマが浮かび上がっています。事前トレーニングは、大規模な未ラベルデータセットで自己教師付けの方法で行われる最初のステップであり、初期トレーニングには「Common Crawl – Get Started」といったリソースが使用されます。次の段階である「微調整」には、タスク固有のデータの訓練が含まれます。BERTのようなモデルをゼロからトレーニングすることは可能ですが、特殊なケースを除いて、既存のモデル（例えば「bert-large-cased · Hugging Face」）を使用する方が実用的です。効果的なモデルのほとんどは、リソースの制約により継続的なトレーニングには適していないため、Parameter-Efficient Fine-Tuning（PEFT）に焦点を当てています。「アダプタ」という技術がPEFTの最前線にあり、この技術ではモデルの残りの部分を固定したままでトレーニングを行う追加のレイヤが導入され、元のウェイトに対して独自の「修飾子」ウェイトを学習することや、スパーストレーニングや低ランクアダプテーション（LoRA）のような手法を使用することがあります。モデルの適用を適応させる最も簡単な方法は、プロンプトエンジニアリングです。ここではモデルそのものはそのままにし、タスクに最適な応答を生成するようなプロンプトを戦略的に選択します。最近の研究では、このプロセスを補完するための追加モデルが自動化されることを目指しています。まとめると、LLMの訓練の効率は、データの選択、モデルのアーキテクチャの最適化、革新的な訓練技術などのスマートな戦略にかかっています。これらの手法により、高度なLLMの使用が民主化され、さまざまなアプリケーションやユーザーにとってアクセスしやすく実用的になります。

見えない現実の暴露：アルバータ州における人身売買の明らかにする

私はデータフォーグッドのボランティアとしてアルバータ州での人身売買対策を推進するためにNot In My Cityが主催するPolicywiseとの協力の機会を得ました私たちの共通の目標は...

「包括的な時系列探索的分析」

「ここにはタイムスタンプでインデックスされたデータセットがありますデータはストレージの需要と供給に関するものかもしれませんが、あなたは戦略的な製品の適切な補充間隔を予測することが求められています...」

「snnTorchとは：スパイキングニューラルネットワークを利用した勾配ベースの学習を行うためのオープンソースのPythonパッケージ」

人工知能において、効率性と環境への影響が最も重要な関心事となりました。これに対応するために、UCサンタクルーズのジェイソン・エシュラギアン氏は、脳のデータ処理における驚異的な効率性からインスピレーションを得て、脳神経回路を実装するオープンソースのPythonライブラリであるsnnTorchを開発しました。研究で強調されるポイントは、従来のニューラルネットワークの非効率性とそのエネルギー消費の拡大による環境への影響です。従来のニューラルネットワークは、脳の処理メカニズムの洗練さに欠けています。脳神経回路は、データが入力された場合のみニューロンを活性化させることで、データを継続的に処理する従来のネットワークとは異なります。エシュラギアン氏は、生物学的システムで観察される効率性を人工知能に注入し、現在のニューラルネットワークのエネルギー消費の問題に対する具体的な解決策を提供することを目指しています。 snnTorchは、パンデミック発生時に生まれた情熱的なプロジェクトであり、100,000を超えるダウンロードを達成しました。その応用範囲は、NASAの衛星追跡からGraphcoreなどの企業との協力に及び、AIチップの最適化を目指します。snnTorchは、脳の効率性を活用し、それをAIの機能にシームレスに統合することを約束しています。チップ設計のバックグラウンドを持つエシュラギアン氏は、ソフトウェアとハードウェアの共同設計による最大の電力効率の実現によってコンピューティングチップの最適化の可能性を見出しています。 snnTorchの採用が拡大するにつれて、教育リソースの需要も増えています。エシュラギアン氏の論文は、ライブラリのコードを文書化するだけでなく、脳に触発された人工知能の教育リソースとしても役立ちます。この論文は、不確実性がある領域の不安を抱えた状況でさえも専門家が苦労する分野で学生が挫折することを避けるために、特に正直なアプローチを取っています。この研究の正直さは、従来の研究論文とは異なり、コードブロックを表示することによって示されています。これらのブロックは、説明付きで、特定の領域の不確定性を強調し、しばしば不透明な領域に透明性を提供します。エシュラギアン氏は、自身のコーディングの道程で願っていたリソースを提供することを目指しています。この透明性は、ニューロモーフィックハードウェアのスタートアップのオンボーディングで使用される研究の報告書としても好意的に受け入れられています。この研究は、脳に触発された深層学習の制限と可能性を探求し、脳プロセスとAIモデルの理解の隔たりを認識しています。エシュラギアン氏は、相関と相違点を特定することによって前進する道を提案しています。一つの重要な違いは、脳が過去のデータに再訪しないことで、リアルタイムの情報に焦点を当てる点です。これは、持続可能なAIにとって重要なエネルギー効率の向上の機会です。この研究は、脳神経科学の基本的な概念である「一緒に消耗する」に掘り下げます。これは、深層学習のバックプロパゲーションとは対立すると従来考えられていましたが、研究者は相補的な関係を提案し、探索の可能性を開きます。生体分子工学の研究者との協力により、生物学的モデルとコンピューティング研究のギャップが埋まります。ソフトウェア/ハードウェアの共同設計パラダイムに「ウエットウェア」を組み込むことで、この多分野のアプローチは脳に触発された学習についての洞察を約束します。まとめると、snnTorchとその論文は、脳に触発されたAIに向かう旅路における重要な節目です。その成功は、従来のニューラルネットワークに対する省エネルギーソリューションへの需要を示しています。研究者の透明で教育的なアプローチは、ニューロモーフィックコンピューティングの限界を押し広げるために献身的なコミュニティの形成を促しています。snnTorchの洞察に導かれるこの分野は、AIを革新し、人間の脳のプロセスに対する理解を深める可能性を秘めています。

「Pythonを用いた巡回セールスマン問題の実装、解決、および可視化」

この記事は、スプリント2で終了したところから旅を続けますここでは、前の記事で提案した数学モデルを取り上げ、Pyomoを使用してPythonで実装します

「CNNによる特徴抽出の探求」

「畳み込みニューラルネットワークは、機械学習を用いた画像分類タスクにおいて、今日の基礎となっていますただし、分類の前に行う別の非常に有用なタスクは、抽出することです...」

Learn more about Search Results A - Page 523