Search Results A

「8月号：データサイエンティストのための夏の読書」

「魅力的な夏の読書とは何か再評価する時期でしょうか？私たちはそう考えています常識的な知恵（そして多くのマーケティング部門）は、暖かい天候と...」

大規模言語モデル（LLM）は最近、プログラミング、コンテンツ作成、テキスト分析、ウェブ検索、遠隔学習などの多くの分野で生産性を向上させるための信頼性のあるツールとして証明されています。大規模言語モデルがユーザーのプライバシーに与える影響 LLMの魅力にもかかわらず、これらのモデルによって処理されるユーザークエリに関するプライバシーの懸念が残っています。一方で、LLMの能力を活用することは望ましいですが、他方で、LLMサービスプロバイダーに対して機密情報が漏洩するリスクがあります。医療、金融、法律などの一部の分野では、このプライバシーリスクは問題の原因となります。この問題への1つの解決策は、オンプレミス展開です。オンプレミス展開では、LLMの所有者がクライアントのマシンにモデルを展開します。これは、LLMの構築に数百万ドル（GPT3の場合は4.6Mドル）かかるため、最適な解決策ではありません。また、オンプレミス展開では、モデルの知的財産（IP）が漏洩するリスクがあります。 Zamaは、ユーザーのプライバシーとモデルのIPの両方を保護できると考えています。このブログでは、Hugging Face transformersライブラリを活用して、モデルの一部を暗号化されたデータ上で実行する方法を紹介します。完全なコードは、このユースケースの例で見つけることができます。完全同型暗号（FHE）はLLMのプライバシーの課題を解決できます ZamaのLLM展開の課題に対する解決策は、完全同型暗号（FHE）を使用することです。これにより、暗号化されたデータ上で関数の実行が可能となります。モデルの所有者のIPを保護しながら、ユーザーのデータのプライバシーを維持することが可能です。このデモでは、FHEで実装されたLLMモデルが元のモデルの予測の品質を維持していることを示しています。これを行うためには、Hugging Face transformersライブラリのGPT2の実装を適応し、Concrete-Pythonを使用してPython関数をそのFHE相当に変換する必要があります。図1は、GPT2のアーキテクチャを示しています。これは繰り返し構造を持ち、連続的に適用される複数のマルチヘッドアテンション（MHA）レイヤーから成り立っています。各MHAレイヤーは、モデルの重みを使用して入力をプロジェクションし、アテンションメカニズムを計算し、アテンションの出力を新しいテンソルに再プロジェクションします。 TFHEでは、モデルの重みと活性化は整数で表現されます。非線形関数はプログラマブルブートストラッピング（PBS）演算で実装する必要があります。PBSは、暗号化されたデータ上でのテーブルルックアップ（TLU）演算を実装し、同時に暗号文をリフレッシュして任意の計算を可能にします。一方で、PBSの計算時間は線形演算の計算時間を上回ります。これらの2つの演算を活用することで、FHEでLLMの任意のサブパート、または、全体の計算を表現することができます。 FHEを使用したLLMレイヤーの実装次に、マルチヘッドアテンション（MHA）ブロックの単一のアテンションヘッドを暗号化する方法を見ていきます。また、このユースケースの例では、完全なMHAブロックの例も見つけることができます。図2は、基礎となる実装の簡略化された概要を示しています。クライアントは、共有モデルから削除された最初のレイヤーまでの推論をローカルで開始します。ユーザーは中間操作を暗号化してサーバーに送信します。サーバーは一部のアテンションメカニズムを適用し、その結果をクライアントに返します。クライアントはそれらを復号化してローカルの推論を続けることができます。量子化まず、暗号化された値上でモデルの推論を実行するために、モデルの重みと活性化を量子化し、整数に変換する必要があります。理想的には、モデルの再トレーニングを必要としない事後トレーニング量子化を使用します。このプロセスでは、FHE互換のアテンションメカニズムを実装し、整数とPBSを使用し、LLMの精度への影響を検証します。量子化の影響を評価するために、暗号化されたデータ上で1つのLLMヘッドが動作する完全なGPT2モデルを実行します。そして、重みと活性化の量子化ビット数を変化させた場合の精度を評価します。このグラフは、4ビットの量子化が元の精度の96％を維持していることを示しています。この実験は、約80の文章からなるデータセットを使用して行われます。メトリクスは、元のモデルのロジット予測と量子化されたヘッドモデルを比較して計算されます。 Hugging Face GPT2モデルにFHEを適用する Hugging…

「ダウンストリームタスクのためのFine-tuningを通じたBERTの適応」

はじめに BERTを下流タスクに適応させるには、事前学習されたBERTモデルを利用し、特定のタスクに合わせてカスタマイズするためのレイヤーを追加し、そのターゲットタスクでトレーニングする必要があります。この技術により、モデルはトレーニングに使用されるデータのタスクの詳細に依存しながら、事前学習されたBERTモデルの広範な言語表現の知識を活用して学習することができます。Pythonのhugging face transformersパッケージを使用してBERTを微調整することができます。入力テキストとラベルを含むトレーニングデータを記述します。BertForSequenceClassificationクラスのfit()関数を使用して、データに基づいて事前学習されたBERTモデルを微調整します。学習目標この記事の目的は、BERTの微調整について詳しく説明することです。詳細な分析により、下流タスクのための微調整の利点が明らかにされます。下流の操作メカニズムについて包括的に説明されます。下流の活動に対してBERTを微調整するための完全な順次概要が提供されます。 BERTはどのように微調整されるのですか？ BERTの微調整では、トレーニングデータを使用して事前学習済みモデルを特定の下流タスクに合わせてトレーニングすることにより、新しいレイヤーでモデルを適応させます。このプロセスにより、モデルはタスク固有の知識を獲得し、対象のタスクでのパフォーマンスを向上させることができます。 BERTの微調整プロセスの主なステップ 1: hugging face transformersライブラリを使用して事前学習済みのBERTモデルとトークナイザーをロードします。 import torch # 使用可能なデバイスを利用します（CUDAまたはCPU） gpu_available = torch.cuda.is_available() device…

「Skill-it」とは、言語モデルの理解とトレーニングのためのデータ駆動型スキルフレームワークです

大規模言語モデル（LM）は、ソースコードの作成、オリジナルの芸術作品の作成、人との対話など、非常に能力が高いです。モデルの訓練に使用されるデータによって、これらのタスクを実行できるようになります。この訓練データを強化することで、特定のスキルを自然に引き出すことができます。訓練トークンの数が限られている場合、巨大なコーパスからこれらの能力に適したデータを選択する方法は明確ではありません。なぜなら、既存の最先端のLMデータ選択アルゴリズムのほとんどは、フィルタリングやさまざまなデータセットの組み合わせに関するヒューリスティックに依存しているからです。データがモデルの能力にどのように影響を与えるか、またこのデータを使用してLMのパフォーマンスを向上させる方法を記述するための形式的なフレームワークが必要です。彼らは、人々が学ぶ方法からこのフレームワークを作成するためのヒントを得ました。学習階層を構成する能力という概念は、教育文献でよく知られています。たとえば、研究によって、数学や科学の概念を特定の順序で提示することが、生徒がそれらをより迅速に理解するのに役立つことが明らかになりました。彼らは、LMの訓練にどれだけ類似したスキルベースの順序付けが存在するかを知りたいと考えています。もし類似した順序付けが存在する場合、データ効率の良いトレーニングとLMのより深い理解を提供するかもしれません。たとえば、スペイン語の文法や英語の質問作成など、似たようなが容易なタスクからトレーニングを開始することが、スペイン語の質問生成のためのLMのトレーニングに役立つのかを知りたいと考えています。図1:彼らは、LMがある特定の順序でスキルを最もよく学び、これがLMをより理解し教えるのに役立つ可能性があると仮説を立てました。この仮説は、人間が情報を獲得する方法からのインスピレーションを得ました。彼らは、これらの順序付けられたスキルセットが実際のデータに存在することを示し、必要なスキルがトレーニングされている場合、データを少なくとも使用することで能力を学ぶことができることを実証しました。そして、彼らはスキルオーダリングを活用したオンラインのデータ選択システムであるSKILL-ITを導入し、スキルを迅速に獲得するために使用しました。彼らは、スキルの順序付けの概念がデータとLMの訓練および振る舞いを結び付けるためのフレームワークの開発に役立つ可能性があるかどうかを調査しています。これを行うためには、データとスキルの相互作用に関連する2つの問題を解決する必要があります。まず、LMのスキルとスキルの順序の操作的な定義を定義し、データを使用してテストする必要があります。これにより、LMが特定の順序で最も効果的に学習する能力のセットが存在することが示されます。初期の研究では、メタデータのプロパティや埋め込みクラスタなどの意味的なグループ化がスキルを適切に表現し、モデルの学習プロセスを説明できるかどうかを調査しました。たとえば、Alpacaデータセットを指示の種類で分割してデータの多様性を捉えました。しかし、指示の種類に基づいてサンプリングする方法とランダムサンプリングは、類似したパフォーマンスのモデルを生成することがわかりました。つまり、単に既存のデータグループのアイデアではスキルを特徴付けることはできません。モデルのトレーニングを本当に向上させるには、これらのスキルの定義を使用してサンプルの分布を構築する必要があります。単純な選択技術が直面する困難に着目し、スキルを効果的に学ぶデータ選択アルゴリズムの基準を作成します。能力のバランスや順序が従来のランダム一様サンプリングの技術では考慮されていないため、スキルの学習は最適化されていません。たとえば、スペイン語と質問生成（QG）は、Natural Instructionsデータセットのそれぞれ5％と4％を占めていますが、スペイン語QGはわずか0.2％です。スキルはデータ内で均等に分布しておらず、より複雑なスキルは稀です。また、ランダムサンプリングは特定のトレーニングシーケンスやスキルの依存構造を考慮する方法を提供しません。サンプルレベルの順序付けは、カリキュラム学習などのより高度な戦略によって考慮されますが、スキルやその依存関係によっては考慮されません。能力の不均衡や順序の問題は、彼らの目標のフレームワークによって考慮される必要があります。スキルベースのシステムとして、モデルが関連するデータのスライスを使用して学習することができる行動の単位としてスキルを定義します。順序付けられたスキルセットは、フルでも空でもない有向スキルグラフを持つスキルのグループです。前提となるスキルからスキルへのエッジが存在する場合、前提スキルも学習されることでスキルの学習に必要なトレーニング時間を短縮できます（図1の左、中央）。この操作的な定義を使用して、人工および実データセットに順序付けられたスキルセットが存在することを実証します。興味深いことに、これらの順序付けられたスキルセットは、スキルだけでなく必要なスキルもトレーニングすることで、才能を迅速に学ぶ必要があることを明らかにします。彼らの観察によると、モデルが英語QGとスペイン語を追加して学習すると、総合的なトレーニングステップの予算を使って単にスペイン語QGでトレーニングするよりも、検証損失が4%低くなる場合があります。その後、彼らの理論に基づいて、LMがスキルをより速く学習するための2つのアプローチを提供しています：スキル層別サンプリングとオンライン汎化、SKILL-IT。スタンフォード大学、ウィスコンシン大学マディソン校、Together AI、シカゴ大学の研究者たちは、スキル層別選択を提案しています。これは、データセット内のスキルの不均等な分布の問題を解決するために、関連スキル（目標スキルや微調整のための必要スキルなど）を均等にサンプリングすることで学習スキルを明示的に最適化する直接的な方法です。スキル層別サンプリングは静的であり、トレーニングの進行に伴う順序を考慮しませんので、トレーニングプロセスの初期段階で獲得された能力を過剰にサンプリングします。彼らはSKILL-ITを提案し、トレーニングスキルの組み合わせを選択するためのオンラインデータ選択技術を提供して、まだ学習していないスキルや影響力のある前提スキルにより高い重みを与えることで、この問題に対処します（図1 右）。データの予算とスキルグラフを仮定した場合、SKILL-ITは評価スキルの損失を最小化するためのトレーニングスキル上のオンライン最適化問題から開発されます。評価スキルセットとトレーニングスキルセットの関連を基に、SKILL-ITは進行中の事前学習、微調整、またはドメイン外評価に適応することができます。これはオンラインミラーディセントに触発されたものです。人工データセットと実データセット上で、彼らは2つのモデルスケール（125Mと1.3Bパラメータ）でSKILL-ITを評価します。LEGOシミュレーションでは、ランダムにトレーニングデータとカリキュラム学習を選択する場合と比べて、連続的な事前トレーニングシナリオにおいて35.8ポイントの精度向上を実証します。同じ総合的なトレーニング予算の場合、スキルの組み合わせによる彼らのアルゴリズムは、微調整の設定で単独のスキルだけでトレーニングするよりも最大13.6%低い損失を達成することを示しています。彼らのアルゴリズムは、自然な指示テストタスクデータセットのタスクカテゴリに対応する12の評価スキルのうち11つでランダムサンプリングやスキル層別サンプリングに比べて最も低い損失を達成することができます。これはトレーニングスキルが評価スキルと完全に一致しないドメイン外の設定でのトレーニングデータに対して行われます。最後に、彼らは最新のRedPajama 1.2兆トークンデータセットを使用した事例研究を提供しています。彼らはSKILL-ITによって生成されたデータ混合物を利用して3Bパラメータモデルを連続的に事前トレーニングします。彼らは、1Bトークンにおける精度に関して、SKILL-ITが3Bトークンのデータソース上の均等なサンプリングを上回ることを発見しました。

再抽出を用いた統計的実験

「Pythonを使用したA/B仮説検定とパワー推定における順列/ブートストラップ法」

「標準偏差を超えた真のデータ分散を明らかにする2つの指標」

標準偏差を超えた正確なデータの分散を明らかにするための変動係数と分位数分散係数の計算と解釈ガイド

「MITのインドの学生が声を必要としない会話デバイスを開発」

魅力的な進展として、名門マサチューセッツ工科大学（MIT）の学生が革新的なAI対応デバイス、AlterEgoを紹介しました。AlterEgoは、ユーザーが口に出さずに自然な言語で機械、AIアシスタント、サービス、さらには他の人々と対話できるようにします。代わりに、ユーザーは内部的に言葉を表現し、コミュニケーションをシームレスで控えめに行うことができます。AlterEgoは、デリー出身のインドの優れた学生、アルナブ・カプールによって開発され、内部的な話し言葉の際の周辺神経信号を利用しています。これにより、人間とコンピュータのインタラクションの未来を魅力的に予測することができます。また読む：脳活動をテキストに変換するAIモデル AlterEgo：言葉を話さずに話す発明 AlterEgoは、コミュニケーション方法を革新する先端技術を表しています。このデバイスは、ユーザーが心の中で言葉を表現する際の内部の話し言葉の神経信号をキャプチャします。これにより、ユーザーは可観察的なアクションや外部の動きなしにコンピュータや他者に情報を送受信することができます。また読む：オーディオデノイザー：音声の強化ディープラーニングモデルプライバシーと控えめさを受け入れるAI AlterEgoは、従来のコミュニケーション方法とは異なり、話された言葉や見えるアクションが必要ないため、ユーザーのプライバシーを尊重します。このデバイスを使用することで、ユーザーは周りの環境を邪魔することなく、環境から切り離すことなく簡単に会話することができます。これにより、コミュニケーションがより控えめでシームレスになります。また読む：AIチップの埋め込みに関するユネスコのプライバシー懸念非言語的な会話の力インタビュー中にAlterEgoを身に着けたカプールが、一言も言葉を発さずに質問に答える様子を示すウイルス動画は、視聴者を驚かせました。MITの学生はデバイスの印象的な能力を示し、驚きと興奮を呼び起こしました。インタビュアは「あなたの頭の中にはインターネット全体があります」と叫びながら、シームレスなコミュニケーションに驚嘆しました。言語障害のある人々のエンパワーメント AlterEgoは、ALSやMSなどの言語障害を持つ個人の支援において大きな潜在能力を持っています。このデバイスは、口頭で自己表現に困難を抱える人々に代替手段を提供することで、独立とつながりの新しい可能性を開拓します。また読む：障害のある話し言葉に対するASRモデルのオンデバイス個別化人間とコンピュータの統合の道を切り拓く言語障害のある個人をサポートするだけでなく、AlterEgoは、人間とコンピュータが調和して結びつく未来を想像しています。このデバイスは、コンピューティング、インターネット、AIを日常生活に「第二の自己」としてシームレスに統合することで、人間の認知能力と能力を高め、技術が私たちの固有の能力を拡張する世界を約束します。また読む：人間とコンピュータのインタラクション（HCI）の概要と例私たちの意見 MITの学生、アルナブ・カプールによるAlterEgoの発明は、コミュニケーションと人間とコンピュータのインタラクションの領域で重要な節目を迎えています。内部的に会話し、機械や他の人々と簡単にコミュニケーションする能力により、このデバイスはプライバシー、利便性、エンパワーメントの無限の可能性を提供します。言語障害のある個人を支援し、シームレスな人間とコンピュータの統合の未来を描くことに焦点を当てることで、AlterEgoは、テクノロジーが私たちの生活の固有の一部になる変革の未来の道を切り拓いています。この創造的な作品を世界が祝福する中、AlterEgoが私たちの知るコミュニケーションを再定義する日を心待ちにしています。

「CMUの研究者たちは、シンプルで効果的な攻撃手法を提案しましたこれにより、言語モデルが高い成功率で問題のある行動を生成することが可能となります」

大規模言語モデル（LLM）は、人間の言語で作業するための深層学習モデルの最近の進歩です。これらの深層学習トレーニングモデルは、人間のようにテキストを理解し生成します。これらのモデルは、書籍、記事、ウェブサイトなどの情報源からスクレイピングされた巨大なデータセットでトレーニングされます。彼らは言語を翻訳し、テキストを要約し、質問に答えることができ、さまざまな自然言語処理タスクを実行することができます。最近、これらのモデルが問題のあるコンテンツを生成する能力とそれに伴う結果についての懸念が高まっています。そのため、この領域で重要な研究が行われています。その後、カーネギーメロン大学のコンピュータ科学学部（SCS）、CyLabセキュリティとプライバシー研究所、およびAIセーフティセンターの研究者らは、言語モデルで問題のある振る舞いを生成することを研究しました。彼らの研究では、クエリの幅広い範囲に接尾辞を追加することで、オープンソースおよびクローズドソースの言語モデル（LLM）が通常拒否する質問に肯定的な応答を生成する確率が大幅に増加する新しい攻撃手法を提案しました。研究中、研究者らはChatGPT、Bard、Claudeなどの公開インターフェースやLLMa-2-Chat、Pythia、FalconなどのオープンソースLLMなど、さまざまな言語モデルに攻撃接尾辞を適用しました。その結果、これらの言語モデルの出力に問題のあるコンテンツを効果的に誘発しました。この方法は、Vicunaでは100回のインスタンス中99回で有害な行動を生成しました。また、Vicunaの出力に対して目標の有害な文字列と88回の完全一致を生み出しました。研究者らは、GPT-3.5やGPT-4などの他の言語モデルに対しても攻撃手法をテストし、最大84％の成功率を達成しました。PaLM-2では、成功率は66％でした。研究者らは、チャットボットに問題のあるまたは有害なコンテンツを生成させることによって直接人々にもたらされる可能性のある害は、現時点では特に深刻ではないと述べています。懸念されるのは、これらのモデルが人間の監視なしで自律システムでより大きな役割を果たすことです。彼らはさらに、自律システムが現実の一部となるにつれて、これらの攻撃による乗っ取りを止めるために信頼性のある方法を確保することが非常に重要になると強調しました。研究者らは、プロプライエタリな大規模言語モデルやチャットボットを攻撃することを目指していなかったと述べています。しかし、彼らの研究は、大きな兆パラメータのクローズドソースモデルがあったとしても、人々は自由に利用できる、より小さな、簡単なオープンソースモデルを見て攻撃する方法を学ぶことができるということを示しています。研究者らは、研究中、攻撃接尾辞を複数のプロンプトとモデルでトレーニングすることで攻撃手法を拡張しました。その結果、Google BardやClaudなどのさまざまな公開インターフェース、およびLLama 2 Chat、Pythia、Falconなどのオープンソース言語モデルにも攻撃が影響し、問題のある振る舞いを示しました。この研究は、彼らの攻撃手法が公開インターフェースやオープンソースの実装を含むさまざまな言語モデルに広範な適用可能性を持ち、影響を与えることが示されました。彼らはさらに、現在このような攻撃に対抗する方法がないことを強調し、次のステップはこれらのモデルを修正する方法を見つけることです。論文とブログ記事をチェックしてください。この研究のすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している27k+ ML SubReddit、40k+ Facebookコミュニティ、Discordチャンネル、およびメールニュースレターにぜひご参加ください。この記事はMarkTechPostで最初に掲載されました。

実践的な3Dアセット生成：ステップバイステップガイド

イントロダクション生成AIは、ゲーム開発の芸術的なワークフローの重要な一部となっています。しかし、私の以前の記事で詳しく説明したように、テキストから3Dへの変換は2Dに比べて実用性が劣っています。しかし、これは変わり始めています。今日は、3Dアセット生成の実用的なワークフローを見直し、Generative AIをPS1スタイルの3Dワークフローに統合する方法をステップバイステップで見ていきます。なぜPS1スタイルなのか？現在のテキストから3Dモデルへの変換の低保真度に対して非常に寛容であり、できるだけ少ない努力でテキストから使用可能な3Dアセットに変換することができるからです。前提条件このチュートリアルでは、BlenderとマテリアルやUVマッピングなどの3Dの基本的な知識があることを前提としています。ステップ1：3Dモデルを生成するまず、ここまたは下にあるShap-E Hugging Face Spaceを訪れてください。このスペースでは、オープンソースのShap-Eモデルを使用して、テキストから3Dモデルを生成します。プロンプトに「Dilapidated Shack」と入力し、「Generate」をクリックしてください。モデルに満足したら、次のステップのためにダウンロードしてください。ステップ2：モデルをインポートしてダウンサンプリングする次に、Blender（バージョン3.1以上）を開いてください。ファイル -> インポート -> GLTF 2.0に移動し、ダウンロードしたファイルをインポートしてください。多くの実用的なアプリケーション（ゲームなど）に推奨されるよりも多くのポリゴンを持っていることに気付くかもしれません。ポリゴン数を削減するには、モディファイアに移動して、「Decimate」モディファイアを選択します。比率を低い数値（例：0.02）に調整します。これはあまり見栄えがしないかもしれません。しかし、このチュートリアルでは低保真度を受け入れることにします。ステップ3：Dream Texturesをインストールするモデルにテクスチャを追加するために、Blender用の安定した拡散テクスチャ生成ツールであるDream…

「アルゴリズムを使用して数千件の患者請求を不適切に拒否した」として、シグナが告発されました

連邦集団訴訟によれば、健康保険会社のCignaは、コンピュータアルゴリズムを使用して何十万もの患者の申し立てを自動的に拒否しているとされています

Learn more about Search Results A - Page 735