Search Results A

話してください：モデルが読み取る単語の数はいくつですか

「LM（言語モデル）は、最近の数ヶ月間でそのスキルを披露し、様々なタスクに熟練していることを示していますこれらすべては、1つの対話モードで行われていますプロンプティング最近数ヶ月間では、...」

「Rust拡張機能でPythonコードを強化する」

「ほとんどの方々は既にご存知の通り、Pythonは簡単さと使いやすさを最適化した汎用プログラミング言語です軽いタスクには素晴らしいツールですが、コードの実行速度はすぐに問題になることがあります...」

ハギングフェイスTGIを使用した大規模言語モデルの展開

大型言語モデル（LLM）は、ほぼ毎週新しいものがリリースされることで人気が高まり続けていますこれらのモデルの数が増えるにつれ、ホストする方法の選択肢も増えています私の…

「革新的な機械学習モデルにより、脱炭素化触媒の評価時間が数カ月から数ミリ秒に短縮されました」

バイオマスは、植物、木材、農業廃棄物、その他の生物材料などの有機物を指し、再生可能エネルギー源として利用されることがあります。それは生物から来るものであり、化石燃料とは異なり比較的迅速に補充されることから、再生可能エネルギー源と見なされています。バイオマスは、熱、電気、バイオ燃料など、さまざまな種類のエネルギーに変換する可能性があり、温室効果ガスの排出を減らし、持続可能な開発を促進する可能性があります。農場、草原、池などの農村地域は、トウモロコシ、大豆、サトウキビ、スイッチグラス、藻類などのバイオマスの豊富な供給源です。これらの材料は、液体燃料や化学物質に変換することができ、アメリカ合衆国の全ての航空旅行における再生可能なジェット燃料を含む幅広い応用の可能性があります。バイオ燃料などの価値ある製品へのバイオマスの変換において、手頃で効果的な触媒の必要性は重要な課題です。しかし、米国エネルギー省のアーゴンヌ国立研究所の研究者たちは、モリブデンカーバイドを基にした低コストの触媒の開発を加速させるためのAIベースのモデルを開発しました。高温により原料のバイオマスから熱分解油が生成され、酸素含有量が高い製品が得られます。モリブデンカーバイド触媒は、この酸素含有量を除去するために使用されますが、触媒表面は酸素原子を引き寄せるため、その効果が低下します。この問題を克服するために、研究者はモリブデンカーバイド触媒にニッケルや亜鉛などの新しい元素の少量を添加することを提案しています。これにより触媒表面上の酸素原子との結合強度が低下し、劣化を防ぐことができます。 MSDの助手科学者によれば、課題はモリブデンカーバイド触媒の効果を向上させるための最適なドーパントと表面構造の組み合わせを見つけることです。モリブデンカーバイドは複雑な構造を持っているため、研究チームは超高速計算と理論的な計算を利用して、酸素とその近くの表面原子の振る舞いをシミュレートしました。研究チームは、アーゴンヌのThetaスーパーコンピュータを利用してシミュレーションを実施し、ドープされたモリブデンカーバイドに対する酸素結合エネルギーの20,000の構造のデータベースを構築しました。彼らの分析では、数十のドーパント元素と、それぞれのドーパントの触媒表面上での可能な位置を100以上考慮しました。そして、このデータベースを使用してディープラーニングモデルを開発しました。この技術により、数万の構造をミリ秒単位で分析することができ、従来の数ヶ月かかる計算方法と比較して、正確で費用効果の高い結果を提供します。化学エネルギー生物触媒コンソーシアムは、研究チームの原子レベルのシミュレーションとディープラーニングモデルの結果を受け取り、実験を実施し、候補の触媒グループを評価するために利用する予定です。アサリによれば、チームは将来的にはこの計算手法を百万以上の構造を調査し、水を清浄な水素燃料に変えるなどのデカーボン化技術で使用される触媒にも同じ手法を適用する予定です。

「インテルCPU上での安定したディフューションモデルのファインチューニング」

拡散モデルは、テキストのプロンプトから写真のようなリアルな画像を生成するというその驚異的な能力によって、生成型AIの普及に貢献しました。これらのモデルは現在、合成データの生成やコンテンツ作成などの企業のユースケースに取り入れられています。Hugging Faceハブには、5,000以上の事前学習済みのテキストから画像へのモデルが含まれています。Diffusersライブラリと組み合わせることで、実験や画像生成ワークフローの構築がこれまで以上に簡単になりました。 Transformerモデルと同様に、Diffusionモデルをファインチューニングしてビジネスニーズに合ったコンテンツを生成することができます。初期のファインチューニングはGPUインフラストラクチャー上でのみ可能でしたが、状況は変わってきています！数か月前、インテルはSapphire Rapidsというコードネームの第4世代のXeon CPUを発売しました。Sapphire Rapidsは、ディープラーニングワークロードのための新しいハードウェアアクセラレータであるIntel Advanced Matrix Extensions (AMX)を導入しています。私たちはすでにいくつかのブログ記事でAMXの利点を実証しています：NLP Transformerのファインチューニング、NLP Transformerの推論、およびStable Diffusionモデルの推論。この投稿では、Intel Sapphire Rapids CPUクラスター上でStable Diffusionモデルをファインチューニングする方法を紹介します。わずかな例の画像のみを必要とするテキスト反転という技術を使用します。たった5つの画像だけです！さあ、始めましょう。クラスターのセットアップ Intelの友人たちが、最新のIntelプロセッサとパフォーマンス最適化されたソフトウェアスタックを使用したIntel®最適化デプロイメント環境でのワークロードの開発と実行を行うためのサービスプラットフォームであるIntel Developer Cloud（IDC）にホストされた4つのサーバーを提供してくれました。各サーバーには、2つのIntel…

「Google Sheetsにおける探索的データ分析」

PandasやJupyterのようなモダンなツールを使ってデータを処理するのはいつも楽しいですしかし、同僚や友人がデータ分析を依頼してきた場合、彼らがテクニカルではないと想像してみましょう...

データサイエンティストのためのDockerチュートリアル

データサイエンスのためにDockerを学びたいですか？数分でDockerの基礎を学び、データサイエンスアプリをコンテナ化しましょう

Data science

「FlexGenに会おう：GPUメモリが限られている場合に大規模な言語モデル（LLM）を実行するための高スループットな生成エンジン」

大規模言語モデル（LLM）は最近、さまざまなタスクで印象的なパフォーマンスを発揮しています。生成型LLMの推論は以前にないほどの力を持っていますが、特定の困難にも直面しています。これらのモデルは数十億または数兆のパラメータを含むことがあり、それらを実行するには膨大なメモリと計算能力が必要です。例えば、GPT-175Bは、モデルの重みを読み込むために325GBのGPU RAMだけが必要です。このモデルをGPUに適合させるには、少なくとも5つのA100（80GB）のGPUと高度な並列処理技術が必要です。そのため、LLM推論に必要なリソースの削減は最近、多くの関心を集めています。 LLMは、ベンチマーキング、情報抽出、データ整形、フォーム処理、チャットボットなどのさまざまな「裏方」の操作に使用されます。この研究では、スループット志向の生成型推論という状況に焦点を当てています。企業のコーパスの全ペーパーなど、大量のトークンにわたってバッチでLLM推論を実行する必要があるため、トークン生成の遅延への感受性が低いというのがこれらのジョブの重要な特徴です。そのため、一部のワークロードでは、遅延を犠牲にしてスループットを向上させることで、リソースの必要性を低減する可能性があります。 LLM推論に必要なリソースを削減するためには、次の3つのアプローチが使用されています: 全体のメモリフットプリントを減らすためのモデル圧縮、推論のコストを分散させるための共同推論、メモリとディスク上のメモリの効果的な利用のためのオフロード。明確な制約は存在しますが、これらの戦略により、LLMの利用に必要なリソースが大幅に削減されています。最初の2つの方法の研究では、モデルがGPUメモリに収まることを前提としているため、単一の商用GPU上で175Bスケールのモデルを実行するための支援が必要です。一方、第3のカテゴリに属する最先端のオフローディングベースのシステムは、効果的なI/Oスケジューリングとテンソル配置ができないため、単一のGPU上で受け入れ可能なスループットに到達することはできません。単一の商用GPUを使用して、彼らの主な目標は高スループットの生成型推論のための効果的なオフロードメカニズムを構築することです。彼らはLLMを部分的にロードし、制約のあるGPUメモリでのLLMの演算を逐次的にオフロードして実行することができます。典型的なシステムでは、メモリの階層は3つの層に分かれています。下位レベルは遅いですが豊富で、上位レベルは速いですが希少です。小さなバッチサイズはこれらのシステムでボトルネックを引き起こす可能性があります。高バッチサイズを使用し、高価なI/O操作を複数のメモリ階層に分散させて処理と重なり合わせることで、スループット志向のシナリオでは遅延を犠牲にすることができます。ただし、遅延を犠牲にしても、制約のあるGPUメモリで高スループットの生成型推論を達成することは困難です。最初の困難は、成功するオフローディング計画を立てることです。計画では、どのテンソルをオフロードするか、3レベルのメモリ構造のどこにオフロードするか、推論中にいつオフロードするかを明確にする必要があります。生成型推論では、重み、アクティベーション、キー値（KV）キャッシュの3種類のテンソルが使用されます。アルゴリズムのバッチごと、トークンごと、レイヤごとの構造のため、計算方法はいくつかあります。これらのオプションが組み合わさって複雑な設計空間が作成されます。現在使用されているオフローディングベースの推論システムは、過度のI/Oを実行し、理論的なハードウェアの制約に比べてスループットが大幅に低下しているため、推論においては劣悪な領域となっています。効率的な圧縮アルゴリズムの作成は、2番目の問題を提起します。以前の出版物では、LLMの重みとアクティベーションは、有望な圧縮結果を示しています。ただし、高スループットの生成型推論のために圧縮とオフロードを組み合わせる場合、重みとKVキャッシュのI/Oコストとメモリ削減によって追加の圧縮戦略が推進されます。 UCB、Stanford、CMU、Meta、Yandex、ETH、HSEの研究者たちは、これらの問題を克服するために、高スループットのLLM推論のためのオフロードフレームワークであるFlexGenを共同で紹介しています。FlexGenは、GPU、CPU、ディスクからのメモリを組み合わせて、効果的なI/Oアクティビティ、潜在的な圧縮技術、および分散パイプライン並列処理を効果的にスケジュールします。彼らの貢献は以下の通りです: 計算スケジュール、テンソル配置、計算委任を考慮した潜在的なオフロードオプションの検索空間を明示的に説明します。彼らは、その検索空間がI/Oの複雑さを最適性の2つ以内に捉える計算順序を表していることを示します。次に、彼らは検索空間内でスループットを最大化するための線形計画に基づく検索アルゴリズムを作成します。再トレーニングやキャリブレーションなしに、OPT-175BのようなLLMの重みとKVキャッシュを4ビットに減らすことが可能で、ほとんどまたは全く精度の低下がありません。I/Oコストとオフロード時のメモリ使用量を低減するために適した細かいグループごとの量子化がこれを実現しています。彼らは、NVIDIA T4（16GB）GPU上でOPT-175Bを実行することで、FlexGenの効率を示します。FlexGenは、DeepSpeed Zero-InferenceやHugging Face Accelerateといった2つの最先端のオフローディングベースの推論アルゴリズムよりも大きなバッチサイズを許容することが多く、その結果、大幅に高いスループットを実現できます。以下に、PaperとGithubをご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュースや素敵なAIプロジェクトなどを共有している16k+ ML SubReddit、Discordチャンネル、およびメールニュースレターにもぜひ参加してください。 Tensorleapの解釈性プラットフォームで深層学習の秘密を解き放つこの投稿は、MarkTechPostに掲載されています。

2023年の最高のオープンソースインテリジェンス（OSINT）ツール

「OSINT」という頭字語は、オープンソースインテリジェンスソフトウェアを指します。これらのプログラムはオープンソースからデータを収集するために使用されます。OSINTツールは、主に対象となる個人や会社に関する情報を収集するために使用されます。以下に、最も一般的なOSINTツールをリストアップします（特定の順序ではありません）： Maltego Maltegoは柔軟なオープンソースインテリジェンスプラットフォームであり、短縮し、問い合わせを高速化することができます。58のデータソースにアクセスすることで、より正確な調査を容易にし、最大100万のエンティティを収容するデータベースを提供します。強力な可視化機能により、ブロック、階層、または円グラフなど、さまざまな形式から選択し、より詳細な分析のために重みと注釈を追加することもできます。信頼性と安全性のチーム、法執行機関、およびサイバーセキュリティの専門家は、Maltegoが単一のクリックで調査結果と理解しやすい洞察を提供する能力を活用することができます。 Intel 471 Intel 471は無料でオープンソースのOSINT偵察ツールであり、IPアドレス、CIDRレンジ、ドメインやサブドメイン、AS番号、メールアドレス、電話番号、名前やユーザー名、さらにはBitcoinアドレスなど、さまざまな情報を収集および分析することができます。 Intel 471には200以上のモジュールがあり、最も包括的な操作を実行し、任意の対象に関する重要な事実を明らかにすることができます。コマンドラインインターフェースと使いやすいGUIインターフェースを備えた組み込みのWebサーバーの両方をGitHubで利用することができます。企業内で公開されたデータによるセキュリティ上の脆弱性が存在するかどうかを確認するために使用することができます。全体として、これは潜在的に危険なインターネット組織に関する以前に知られていなかった情報を明らかにする能力を持つ強力なサイバーインテリジェンスツールです。 OSINT Framework オープンソースインテリジェンス（OSINT）フレームワークは優れたツールです。データソースから有用な接続や成功したツールまで、すべてが含まれているため、独自にすべてのアプリケーションやツールを調査するよりも便利です。このリストはLinuxに限定されているわけではありません。他のOSの代替手段も提供しており、ユニバーサルなリソースとなっています。実際、このように整理されたリソースを持つことは、以前よりもさらに有益です。唯一の困難は、車の登録やメールアドレスなどの結果を絞り込む効率的な検索技術を考案することです。オープンソースインテリジェンス（OSINT）フレームワークは、情報を収集し、データを整理するための頼りになるツールになりつつあります。 SEON 人物のソーシャルメディアやその他のオンラインアカウントを使用して、その個人の身元を証明することは、今日のデジタル経済においてますます一般的になっています。SEONはデジタルアイデンティティを検証するために先導をしています。 SEONでは、電子メールや電話番号のシステムを使用して、50以上のソーシャルシグナルにアクセスすることができます。これらのシグナルは、顧客の電子メールアドレスや電話番号を確認するだけでなく、顧客のオンライン行動に関する追加情報を収集します。使いやすさとアクセシビリティに加えて、SEONは直接クエリを実装したり、API経由でクエリを実行したり、Google Chromeのプラグインを介してクエリを実行したりすることも可能です。 Lampyre LampyreはOSINTに特化したプレミアムソフトウェアであり、デューデリジェンス、サイバー脅威インテリジェンス、犯罪捜査、および金融分析などに効果的に役立ちます。1つのデータポイント（企業登録番号、完全な名前、または電話番号など）から始めて、100以上の頻繁に更新されるデータソースを自動的に分析することができます。情報を取得するために、コンピュータに1回クリックしてインストールするか、ブラウザで使用することができます。…

「機械学習における特徴エンジニアリングへの実践的なアプローチ」

この記事では、機械学習における特徴学習の重要性と、それを簡単で実践的な手順で実装する方法について説明しました

Machine learning

Learn more about Search Results A - Page 779