Search Results リポジトリ

軌跡予測のためのマップマッチング

この記事では、ノイズのあるGPSセンサーからサンプリングされた過去のトリップのデータベースを使用して、デジタル道路ネットワーク上の車両の軌跡を予測するための方法を紹介します将来の進路を予測するだけでなく、この...

日付時刻データを扱うための便利なPandasの3つのヒント

パンダで時系列、日付時刻データを扱うための便利なヒントのいくつか、パンダで列を日付時刻に変換する方法、パンダで日、月、年を日付から抽出する方法

GPT-エンジニア：あなたの新しいAIコーディングアシスタント

GPT-Engineerは、プロジェクトの説明からコードベースを生成するAIパワードのアプリケーションビルダーですこれにより、キーバリューデータベースの例を含むアプリケーションの構築が簡素化され、GPT-4ともうまく連携します

Artificial Intelligence

CMUの研究者が「Zeno」という名前の、機械学習（ML）モデルの行動評価のためのフレームワークを紹介しました

AI駆動システムのプロトタイピングは常に複雑でした。しかし、プロトタイプを使用してしばらくすると、それがより機能的であることがわかるかもしれません。メモを取るためのチャットボット、テキストから画像を作成するためのエディタ、および顧客のコメントを要約するためのツールは、プログラミングの基本的な理解と数時間で作成することができます。実際の世界では、機械学習（ML）システムには社会的な偏見や安全上の懸念などの問題が組み込まれることがあります。歩行者検出モデルの人種的偏見から特定の医療画像の系統的な誤分類まで、実践者や研究者は常に最先端のモデルの重大な制限や不具合を発見しています。モデルの制限を発見し、検証するためには、行動評価またはテストが一般的に使用されます。集計された精度やF1スコアなどの統合メトリックを調べる以上に、モデルの出力パターンをサブグループや入力データのスライスごとに理解する必要があります。MLエンジニア、デザイナー、およびドメインエキスパートなどの利害関係者は、モデルの予想される欠陥と潜在的な欠陥を特定するために協力する必要があります。行動評価の重要性は広く強調されていますが、それを行うことは依然として困難です。さらに、公正なツールキットなどの多くの人気のある行動評価ツールは、実際の実践者が通常取り扱うモデル、データ、または振る舞いをサポートしていません。実践者はユーザーや利害関係者から手動で選んだケースをテストし、モデルを評価し、適切な展開バージョンを選択します。モデルは、実践者がモデルが使用される製品またはサービスに慣れる前に頻繁に作成されます。特定のタスクをどれだけうまく完了できるかを理解することは、モデル評価の難しさです。モデルのパフォーマンスは、人間の知能の粗い近似値であるように、集計指標を使用しておおよそ推定するしかありません。たとえば、NLPシステムに正確な文法を埋め込むことができない場合や、社会的な偏見のようなシステム上の欠陥を隠すことができる場合があります。標準のテスト方法は、データのサブセットで全体のパフォーマンスメトリックを計算することです。モデルが持つべき機能を決定する難しさは、行動評価の分野にとって重要です。複雑なドメインでは、要件のリストをテストすることは不可能です。なぜなら、無限の数が存在する可能性があるからです。その代わりに、MLエンジニアはドメインエキスパートやデザイナーと協力して、モデルの予想される機能を説明し、反復および展開する前に記述します。ユーザーは製品やサービスとのインタラクションを通じてモデルの制約と予想される振る舞いにフィードバックを提供し、将来のモデルのイテレーションに組み込まれます。 ML評価システムには、モデルの振る舞いを特定し、検証し、監視するための多くのツールがあります。これらのツールは、公平性の懸念やエッジケースなどのパターンを明らかにするために、データの変換と可視化を使用します。Zenoは他のシステムと協力し、他の方法を組み合わせています。データセットのサブグループまたはスライスに対してメトリックを計算するスライスベースの分析は、Zenoに最も近い行動評価方法です。Zenoは現在、任意のドメインやアクティビティに対してスライドベースのテストとメタモーフィックテストを可能にしています。 ZenoにはPythonアプリケーションプログラミングインタフェース（API）とグラフィカルユーザインタフェース（GUI）（UI）が含まれています。モデルの出力、メトリック、メタデータ、変更されたインスタンスなど、行動評価の基本的なコンポーネントは、Python API関数として実装できます。APIの出力は、行動評価とテストを実施するためのメインインタフェースを構築するためのフレームワークです。Zenoには2つの主要なフロントエンドビューがあります。データの発見とスライスの作成に使用されるExploration UIと、テストの作成、レポートの作成、パフォーマンスのモニタリングに使用されるAnalysis UIです。 ZenoはPythonスクリプトを介して一般に公開されています。組み込まれたフロントエンドはSvelteで書かれており、視覚化にはVega-Lite、データ処理にはArqueroを使用しています。このライブラリはPythonパッケージに含まれています。必要な設定（テストファイル、データパス、列名など）を指定した後、ユーザーはコマンドラインからZenoの処理とインタフェースを開始します。ZenoのUIをURLエンドポイントとしてホストする能力により、それをローカルに展開するか、他のコンピューティングと共にサーバーに展開することができ、ユーザーは自分のデバイスからアクセスできます。このフレームワークは、数百万のインスタンスを含むデータセットで試され、設置されたシナリオにも適切にスケーリングするはずです。 ML環境には、特定のデータやモデルに対応するさまざまなフレームワークやライブラリがあります。Zenoは、カスタマイズ可能なPythonベースのモデル推論およびデータ処理APIに大いに依存しています。研究者たちは、ほとんどのMLライブラリがPythonに基づいているため、同じ断片化の問題に直面しているにもかかわらず、現代のほとんどのMLモデルをサポートするために、zenoのバックエンドAPIを一連のPythonデコレータメソッドとして開発しました。研究チームによって実施された事例研究では、ZenoのAPIとUIがデータセットとジョブ全体にわたって主要なモデルの欠陥を発見するのにどのように協力しているかが示されました。より広い意味で言えば、この研究の結果から、行動評価フレームワークはさまざまなデータやモデルに対して有用であることが示唆されます。ユーザーのニーズや課題の難しさに応じて、Zenoのさまざまな機能は行動評価をより簡単で迅速かつ正確にすることが可能です。事例2の参加者はAPIの拡張性を活用してモデル分析のメタデータを作成しました。事例研究の参加者は、既存のワークフローにZenoを組み込むことやZeno APIとのコード通信についてほとんど困難を報告していませんでした。制約と予防措置行動評価において、エンドユーザーにとって重要な行動やモデルによってエンコードされる行動を把握することは大きな困難です。研究者は現在、ZenoHubという共同リポジトリを開発しており、ユーザーがZenoの機能を共有し、関連する分析コンポーネントをより簡単に見つけることができるようにして、モデル機能の再利用を促進しています。 Zenoの主な機能はデータスライスに対してメトリックを定義してテストすることですが、ツールはデータやスライスを表示するための限られたグリッドとテーブルビューのみを提供しています。Zenoの有用性は、さまざまな強力な可視化手法のサポートによって向上する可能性があります。DendroMap、Facets、AnchorVizなど、意味的な類似性をエンコードしたインスタンスビューを使用することで、ユーザーはデータ内のパターンや新たな行動をより良く発見することができるでしょう。ML Cube、Neo、ConfusionFlowなど、Zenoがモデルの行動をより良く表示するために変更できるいくつかのMLパフォーマンスの可視化手法があります。 Zenoは並列計算とキャッシングによって大規模なデータセットにスケーリングすることができますが、機械学習のデータセットのサイズは急速に増加しています。そのため、より高速な処理を実現するためにさらなる改善が求められます。Rayなどのライブラリを使用して分散コンピューティングクラスタで処理を行うことは、将来のアップデートとなるでしょう。非常に大きなテーブル上での複数のヒストグラムのクロスフィルタリングは、別の障害です。ZenoはFalconのような最適化手法を用いて、大規模データセット上でリアルタイムのクロスフィルタリングを容易にすることができます。結論：訓練データにおいて機械学習モデルが高い精度を達成しても、実際の世界においてはネガティブなバイアスや安全上の問題など、システム的な欠陥に苦しむ可能性があります。実践者はモデルの行動評価を行い、特定の入力に対するモデルの出力を検査して、このような問題を特定し修正します。行動評価は重要でありながらも困難な課題であり、実世界のパターンの発見やシステム的な欠陥の検証を必要とします。機械学習の行動評価は、バイアスや安全上の問題など、問題のあるモデルの行動を特定し修正するために重要です。この研究では、著者らがMLの評価の困難さに深く踏み込み、さまざまな文脈でモデルをスコアリングするための普遍的な手法を開発しました。実践者が実世界のモデルを評価する4つの事例研究を通じて、研究者はZenoが複数の領域にわたって適用できる可能性を示しました。多くの人々はAIの発展に高い期待を寄せています。しかし、彼らの行動の複雑さは彼らの能力と同じ速度で発展しています。行動駆動の開発を可能にし、人間の価値と調和したインテリジェントシステムの構築を保証するためには、堅牢なリソースが必要です。Zenoは、AI関連のさまざまなジョブ全体でこのような詳細な検証を行うことができる柔軟なプラットフォームです。

このAIニュースレターは、あなたが必要とするすべてです #56

今週、オープンソースとクローズドモデルの両方で、LLMの世界にいくつかの新しい競合他社が登場しました印象的な機能を持つにもかかわらず、LLaMAモデルの最初のバージョンにはライセンスの問題がありました...

「Amazon LexをLLMsで強化し、URLの取り込みを使用してFAQの体験を向上させる」

「現代のデジタル世界では、ほとんどの消費者は、ビジネスやサービスプロバイダに問い合わせるために時間をかけるよりも、自分自身でカスタマーサービスの質問に対する回答を見つけることを好む傾向にありますこのブログ記事では、ウェブサイトの既存のFAQを使用して、Amazon Lexで質問応答チャットボットを構築する革新的なソリューションについて探求します[...]」

「LLMを使用して、会話型のFAQ機能を搭載したAmazon Lexを強化する」

Amazon Lexは、Amazon Connectなどのアプリケーションのために、会話ボット（「チャットボット」）、バーチャルエージェント、およびインタラクティブ音声応答（IVR）システムを迅速かつ簡単に構築できるサービスです人工知能（AI）と機械学習（ML）は、Amazonの20年以上にわたる焦点であり、顧客が利用する多くの機能の一部です

「Llama 2が登場しました – Hugging Faceで手に入れましょう」

はじめに Llama 2は、Metaが本日リリースした最新のオープンアクセスの大規模言語モデルのファミリーです。私たちはHugging Faceとの包括的な統合を完全にサポートすることで、このリリースを支援しています。Llama 2は非常に寛容なコミュニティライセンスでリリースされ、商業利用も可能です。コード、事前学習モデル、ファインチューニングモデルはすべて本日リリースされます🔥 私たちはMetaとの協力により、Hugging Faceエコシステムへのスムーズな統合を実現しています。Hubで12のオープンアクセスモデル（3つのベースモデルと3つのファインチューニングモデル、オリジナルのMetaチェックポイントを含む）を見つけることができます。リリースされる機能と統合の中には、以下のものがあります：モデルカードとライセンスを備えたHub上のモデル。 Transformersの統合単一のGPUを使用してモデルの小さなバリアントをファインチューニングするための例高速かつ効率的なプロダクションレディの推論のためのテキスト生成インファレンスとの統合インファレンスエンドポイントとの統合目次 Llama 2を選ぶ理由デモインファレンス Transformersを使用する場合インファレンスエンドポイントを使用する場合 PEFTによるファインチューニング追加リソース結論 Llama 2を選ぶ理由…

Amazon SageMakerを使用して電子メールのスパム検出器を構築する

スパムメール、または迷惑メールとしても知られるものは、一度に多くのユーザーに送られ、しばしば詐欺、フィッシングコンテンツ、または謎めいたメッセージが含まれていますスパムメールは時には人間によって手動で送信されますが、ほとんどの場合、ボットを使用して送信されますスパムメールの例には、偽の広告、チェーンメール、なりすましメールなどがあります[…]

「イーロン・マスクのxAIはTwitterのフィードでトレーニングされました」

テスラやSpaceXなどの企業を展開するビジョナリーであるイーロン・マスクは、人工知能（AI）の領域に再び目を向けています。彼の最新のベンチャーであるxAIは、ツイートの広範なリポジトリを活用してアルゴリズムを訓練することを目指しています。最近のTwitter Spacesの音声チャットで、マスクは好奇心旺盛で真実を追求するAIの構築をビジョンとし、データプライバシーや法的な問題についての疑問を投げかけました。本記事では、マスクの野心的なプロジェクトとAIの景色への潜在的な影響について探っています。また読む：イーロン・マスク、中国における超知能の台頭に警鐘を鳴らす xAI：イーロン・マスクの新しいAI企業イーロン・マスクのxAIの発表は、テクノロジー界に波紋を広げました。テスラとTwitterのCEOであるマスクは、AIの力を「宇宙を理解する」ために活用する意図を持っています。画期的なイノベーションの実績を持つ彼の最新のベンチャーは、テクノロジー愛好家やAI懐疑論者の注目を集めています。また読む：イーロン・マスクのxAIがOpenAIのChatGPTと対決ツイートを使ったAIのトレーニング：物議を醸す動き xAIのトレーニングデータについてのマスクの開示は、プライバシー擁護派やTwitterユーザーの間で懸念を引き起こしました。同社は公開ツイートをアルゴリズムのデータセットとして使用する予定です。公開ツイートは技術的には誰でもアクセスできるものですが、ユーザー生成コンテンツをAIのトレーニングに利用する倫理的な問題が浮上します。また読む：すべてのオンライン投稿はAIの所有物になる、Googleが発表 AIの好奇心と真実性 xAIの開発の重要な側面の1つは、マスクが「最大限の好奇心と最大限の真実性」を持つAIを作り出すという欲望です。この野心的な目標は、AIの能力の限界を em>超え、単なるツールではなく、知識を追求し、正確性を保ちながら意識的で倫理的な存在にすることを目指しています。また読む：イーロン・マスクが真実を追求するAI「TruthGPT」を発表テスラとの連携：シナジスティックなアプローチイーロン・マスクは、xAIがテスラを含む他のベンチャーと協力して動作することを想像しています。この連携は、AI技術の進歩とテスラのソフトウェアおよび自動運転システムへのAIの統合の可能性を持っています。ただし、データ使用の重複や明確な境界の必要性についても懸念が生じます。また読む：Sanctuary AIのPhoenix Robotとテスラの最新製品Optimusとの出会い！ AI企業が直面する法的な課題データ使用に関する法的な課題については、AI業界はよく知っています。出版社は、適切な権限なしにニュース記事や他の知的財産をAI企業が使用することに対して、ますます反対しています。デイリーメールのオーナーとGoogleの間の迫り来る法的闘争は、AIデータトレーニングの論争の性質を物語っています。また読む：Barry Diller対生成AI：著作権の法的闘争トレーニングプロセス：AIに意思決定をさせる AIの開発の核心は、アルゴリズムがデータを解釈し、最終的に情報を持った意思決定を行う方法を学習するトレーニングプロセスです。xAIがTwitterの広範なデータセットから学習する可能性は、より洗練されたAIシステムへの道を開くかもしれませんが、データプライバシーやユーザーの同意に関する検証を招きます。…

Learn more about Search Results リポジトリ - Page 68