Search Results 9

USCとMicrosoftの研究者は、UniversalNERを提案します：ターゲット指向の蒸留で訓練され、13,000以上のエンティティタイプを認識し、43のデータセット上でChatGPTのNER精度を9%F1上回る新しいAIモデルです

ChatGPTと他の大規模言語モデル（LLM）は印象的な汎化能力を示していますが、その訓練および推論コストはしばしば制約があります。さらに、モデルの重みや推論確率へのホワイトボックスアクセスは、医療などのミッションクリティカルなアプリケーションにおいて説明可能性と信頼性に頻繁に重要です。その結果、学生モデルへのLLMの縮小を目的とした指示調整が人気を集めています。これらの学生モデルは、AlpacaとVicunaが示したように、ChatGPTを模倣する説得力のあるスキルを示しています。詳細な検討により、特に特定の対象となる下流アプリケーションにおいて、これらの学生モデルが理想的なLLMに追いつく必要があることが明らかになります。制約された計算リソースのため、一般的な蒸留では、考えられるすべてのアプリケーションに対して元のLLMの表面的な近似しか作成できません。代わりに、この研究ではターゲット指向の蒸留を調査しています。この研究では、オープン情報抽出のような多様なアプリケーションクラスのためのミッション重点の指示調整によって学生モデルを訓練します。彼らは、指定されたアプリケーションクラスに対してLLMの能力を最大限に再現できることを示しています。名前付きエンティティ認識（NER）は、自然言語処理における最も基本的な問題の1つであるため、彼らはケーススタディとしてそれを選びました。最近の研究では、多数の注釈付きインスタンスがある場合、LLMはエンティティタイプにおいて最も高度な教師ありシステムに追いつく必要があることが示されています。しかし、ほとんどのオブジェクト種類には注釈付けがほとんどできない必要があります。注釈付けの例を開発することは、特に専門知識が必要なバイオロジーなどの高価値セクターでは、コストがかかり、時間がかかります。新しいエンティティタイプが絶えず出現しています。教師ありNERモデルは、事前指定されたエンティティタイプとドメインで訓練されているため、新しいドメインやエンティティタイプに対して一般化能力が低いことも示されています。彼らはLLMのターゲット指向の蒸留のための一般的なプロセスを概説し、オープンドメインNERがそれを使用する方法を示しています。南カリフォルニア大学とマイクロソフトリサーチの研究者は、大量の未ラベルのオンラインテキストからNERのための指示調整データを作成し、LLaMAを使用してUniversalNERモデル（UniNERと略される）を作成する方法を示しています。彼らは、医学、プログラミング、ソーシャルメディア、法律、ファイナンスなど9つの異なる分野の43のデータセットからなる、これまでで最も大規模かつ多様なNERベンチマーク（UniversalNERベンチマーク）を提供します。LLaMAとAlpacaはこのベンチマークで悪いスコア（約0のF1）を受けます。Vicunaは比較的にはるかに良いパフォーマンスを示しますが、平均F1ではChatGPTよりも20以上の絶対ポイント遅れています。一方、UniversalNERは平均F1でVicunaを30以上の絶対ポイントで上回り、UniversalNERベンチマークの数万のエンティティタイプ全体で最新のNER精度を達成します。パラメータ数（70-130億）が少ないChatGPTのエンティティを認識する能力を再現するだけでなく、UniversalNERは平均F1でChatGPTのNER精度を7-9絶対ポイント上回ります。驚くべきことに、UniversalNERは、教師ありNERインスタンスを使用するInstructUIEのような最新のマルチタスク指示調整システムを大幅に上回ります。彼らはまた、指示プロンプトやネガティブサンプリングなどの異なる蒸留コンポーネントの効果を評価するために包括的な削除テストを行います。彼らは蒸留のレシピ、データ、およびUniversalNERモデルを提供し、ターゲット指向の蒸留に関するさらなる研究を支援するためのインタラクティブデモを提供します。

室温超伝導体であることが確認されたLK-99ではありません

データに抵抗する意味はありません

VoAGIニュース、8月9日：ChatGPTを忘れて、この新しいAIアシスタントは遥かに進んでいます•データクリーニングと前処理技術の習得のための7つのステップ

『ChatGPTを忘れてください、この新しいAIアシスタントははるかに進んでおり、あなたの仕事のやり方を永遠に変えるでしょう』 • データクリーニングと前処理技術のマスターへの7つのステップ • データサイエンティストとアナリストのための統計学の基礎 • 私は3日でAIアプリを作成しました • SHAP値を使用して…

NEWS

「このAIニュースレターが必要なすべて #59」

今週、Zoomの利用規約の変更（3月から）が、顧客のビデオデータの使用に関する懸念が拡散したことで注目されましたZoomの利用規約は、主に会社に自由な利用を許可するように見えました...

「LK-99超伝導体：突破かもしれない、新たな希望かもしれない」

「専門家たちは、室温超伝導体に関する非凡な主張に反対していますしかし、失敗しても新たな材料研究の道が開ける可能性があります」

このAI研究は、近くの電話によって記録されたキーストロークを聞くことで、95％の正確さでデータを盗むことができるディープラーニングモデルを紹介しています

ディープラーニングの進歩とマイクロフォンの普及に伴い、個人デバイスを通じたオンラインサービスの人気が高まる中、キーボードに対する音響サイドチャネル攻撃の潜在的な影響が増しています。イギリスの研究チームがシステムからデータを盗むAIモデルを訓練しました。このモデルは95%の高い精度を示しました。さらに、彼らはこのディープラーニングモデルをZoomの通話中にデモンストレーションした際には、93%の精度を記録しました。研究者たちは、ワイヤレスキーボードが電磁(EM)信号を放射し、それが解釈可能であることを研究によって発見しました。しかし、より広範な放射は、キーストロークの音であり、これは検出が容易で特定が簡単です。そのため、彼らはキーストローク音響を研究の対象としました。さらに、研究者たちは、キーボード音響が聞き取られることがある公共の場所でより利用可能なため、デスクトップコンピュータよりも持ち運びが容易なノートパソコンでキーストローク音響を研究しました。また、ノートパソコンはモジュール化されていないため、同じ型のノートパソコンには同じタイプのキーボードが装備されており、似たようなキーボード信号が放射されます。この研究では、自己注意トランスフォーマーレイヤーをキーボード攻撃の文脈で初めて導入しました。その後、新たに開発された攻撃の効果を実世界のシナリオで評価しました。具体的には、攻撃を同じ部屋で攻撃者のマイク（モバイルデバイスを使用）と隣接したノートパソコンのキーボードに対してテストしました。また、Zoom通話中のノートパソコンのキーストロークに対しても攻撃を評価しました。セットアッププロセスでは、チームはiPhoneのマイクを使用し、キーストロークを使ってAIを訓練しました。この驚くほど簡単なアプローチは、専門の機器を必要とせずにパスワードや機密データがどれほど容易に危険にさらされる可能性があるかを示しています。実験にはMacBook ProとiPhone 13 miniが使用されました。iPhoneはノートパソコンから17cm離れた場所に折り畳まれたマイクロファイバーの布の上に配置され、デスクの振動を最小限に抑えました。キーストロークをキャプチャするため、研究者たちはZoom通話ソフトウェアの内蔵録音機能を利用しました。第二のノートパソコンデータセットである「Zoomで録音されたデータ」では、Zoomビデオ会議アプリケーションの内蔵機能を使用してキーストロークをキャプチャしました。研究者たちが得た結果は印象的でした。近くの電話によって記録されたキーストロークで訓練されると、モデルは95%の精度を達成します。さらに、Zoomのビデオ会議ソフトウェアを使用して記録されたキーストロークで訓練された場合、モデルは93%の精度を示しました。研究者たちは、彼らの結果が市販の機器とアルゴリズムを使用したサイドチャネル攻撃の実用性を証明していると強調しています。将来的には、研究者たちは、単一の録音から個々のキーストロークを抽出するためのより堅牢な技術の開発を目指しています。これは重要なことです、なぜなら、すべてのASCAメソッドは適切な分類のためにキーストロークを正確に分離することに依存しているからです。また、分類のためにキーストロークを記録するためにスマートスピーカーを使用することもできます。これらのデバイスは常にオンであり、多くの家庭に存在しています。

「ストリーミング巨人Netflix、ライターストライキ継続中にAIジョブを$900,000でリストアップ」

「ストリームサービスが好きで、機械学習製品管理に熱心な方はいらっしゃいますか？もしそうなら、最近Netflixが掲示した求人情報に目を通してみると良いかもしれませんAIに特化したポジションで、年収は高い範囲の90万ドルとなっています...」

「9歳の子に機械学習を説明するとしたら、どうやって説明しますか？」

子供たちのために簡単に説明された機械学習とデータサイエンスの世界を探索してくださいわかりやすいガイドで教わりながら、教師あり学習と教師なし学習に深く入り込みましょう

VoAGIニュース、7月19日：ChatGPTが退位？？？•データサイエンティストのためのDocker •思考のツリープロンプティングによる推論

今週：ChatGPTは王座から陥落？ • データサイエンティストのためのDocker • 考えの木のプロンプティングによる推論 • さらに多くの内容！

NEWS

新たなディープ強化学習（DRL）フレームワークは、シミュレートされた環境で攻撃者に対応し、サイバー攻撃がエスカレートする前に95％をブロックすることができます

サイバーセキュリティの防御者は、技術の発展とシステムの複雑さのレベルが上昇するにつれて、自分たちの技術と戦術を動的に適応させる必要があります。過去10年間にわたる機械学習（ML）および人工知能（AI）の研究の進歩とともに、これらの技術のサイバーセキュリティに関連するさまざまな領域での利用事例も進化してきました。既存の多くのセキュリティアプリケーションでは、頑強な機械学習アルゴリズムによって支えられたいくつかの機能が、大規模なデータセットでトレーニングされています。そのような例の1つが、MLアルゴリズムを電子メールセキュリティゲートウェイに統合した2010年代初頭です。実世界のシナリオでは、自律型のサイバーシステム防御戦略と行動の推奨事項を作成することは非常に困難です。なぜなら、このようなサイバーシステムの防御メカニズムに対する意思決定支援には、攻撃者と防御者の間のダイナミクスの組み込みとシステム状態の不確実性の動的特性化が必要だからです。さらに、サイバー防御者は、コスト、労力、時間などのさまざまなリソース制約に直面することが多いです。AIを使用しても、積極的な防御が可能なシステムの開発は理想的な目標のままです。この問題に対する解決策を提供するため、米国エネルギー省太平洋北西国立研究所（PNNL）の研究者たちは、シミュレートされた環境で攻撃者に対応し、サイバー攻撃の95％をエスカレートさせる前に停止できる新しいDRL（深層強化学習）に基づくAIシステムを開発しました。研究者たちは、ネットワーク内で攻撃者と防御者の間で行われるマルチステージのデジタル紛争を示すカスタムのシミュレーション環境を作成しました。そして、報酬を最大化することに基づいて妥協を回避し、ネットワークの混乱を減らすことを目指した強化学習の原則を使用して、4つのDRLニューラルネットワークをトレーニングしました。このチームの研究成果は、また、ワシントンDCで開催された人工知能の進歩協会で発表され、多くの称賛を受けました。このようなシステムを開発する際のチームの理念は、まずDRLアーキテクチャを成功裏にトレーニングできることを示すことでした。洗練された構造に取り組む前に、彼らは有用な評価メトリックを示したいと考えました。研究者たちが最初に行ったことは、Open AI Gymツールキットを使用して抽象的なシミュレーション環境を作成することでした。次に、この環境を使用して、MITRE ATT&CKフレームワークの15のアプローチと7つの戦術から選ばれたサブセットに基づいてスキルと持続性レベルを示す攻撃者エンティティを開発しました。攻撃者の目標は、初期アクセスと偵察フェーズから他の攻撃フェーズまでの7つの攻撃チェーンステップを進むことで、最終目標である影響と流出フェーズに到達することです。重要なポイントとして、チームは環境内で攻撃を開始する敵をブロックするためのモデルを開発する意図はありませんでした。むしろ、システムが既に侵害されていると想定しています。その後、研究者たちは強化学習を使用して4つのニューラルネットワークをトレーニングしました。研究者たちは、強化学習を利用せずにこのようなモデルをトレーニングすることも可能ですが、良いメカニズムを開発するには長い時間がかかると述べています。一方、深層強化学習は、人間の行動の一部を模倣することで、この巨大な探索空間を非常に効率的に利用します。研究者たちがシミュレートされた攻撃環境でAIシステムをトレーニングすることができることを実証するための努力により、AIモデルがリアルタイムで攻撃に対する防御反応が可能であることが示されました。研究者たちは、実際のマルチステージの攻撃シーケンスに対する4つのモデルフリーDRLアルゴリズムのパフォーマンスを厳密に評価するために、いくつかの実験を実施しました。彼らの研究は、異なるスキルと持続性レベルを持つマルチステージの攻撃プロファイルでDRLアルゴリズムをトレーニングできることを示し、シミュレートされた環境で効果的な防御結果を生み出すことを示しました。

Learn more about Search Results 9 - Page 7