Search Results A

説明可能なAI：ブラックボックスモデルの解明

イントロダクション現代のデータ駆動型の世界では、機械学習はさまざまな産業でますます重要な役割を果たしています。説明可能なAI（XAI）は、クライアント、患者、または融資申請者に機械学習モデルをより透明にすることを目指し、これらのシステムへの信頼と社会的受容を構築することを目指しています。今、異なるモデルには、観客によって異なる説明方法が必要となります。この記事では、説明可能なAI（XAI）の重要性と応用、およびブラックボックスモデルの解明方法について議論します。学習目標: 機械学習における透明性と信頼性を向上させるための説明可能なAI（XAI）の重要性と応用を理解する。 XAIにおけるグローバルとローカルのアプローチの違いを認識し、それぞれの使用例を理解する。 LIME、SHapley Additive Explanations、および対事実的な説明など、モデルの透明性と互換性のための重要なXAIの手法を探索する。説明可能なAIとは何ですか？意思決定における機械学習の使用は、すべての産業、企業、組織の重要な部分となっています。これらの決定は、事業主、マネージャー、エンドユーザー、ドメインエキスパート、規制当局、データサイエンティストなど、様々な利害関係者に影響を与えます。したがって、これらのモデルがどのように意思決定を行っているかを理解することは非常に重要です。規制当局は、特に意思決定に重大な影響を与える高度に規制されたセクターでの機械学習に関心を持ち始めています。特に金融、医療、犯罪、保険などの分野では、特定の決定がなぜ行われたのか、およびなぜ行われたのかを知ることが重要です。説明可能なAIは、これらのすべての利害関係者が機械学習モデルをより透明にすることを目指しています。また、データサイエンティストにもモデルをより良く理解する手助けをします。ただし、XAIが常に必要なわけではなく、賢明に使用する必要があります。一部のシナリオでは、複雑すぎる説明は不信感や混乱を引き起こす可能性があります。説明可能性の種類説明可能なAIにはさまざまな方法があり、それぞれ異なる使用例と利害関係者に配慮しています。ビジネスオーナー、マネージャー、ユーザー、ドメインエキスパート、規制当局、データサイエンティストに対して、AIモデルを説明するために異なる手法が必要です。利害関係者のニーズに応じて、異なる説明方法が必要とされることがあります。規制当局がAI分野で要件や規制を提案するようになり、金融、医療、刑事司法などの厳しく規制された産業では説明可能性がより重要になっています。これらの分野の機械学習モデルは、クライアント、患者、または融資申請者に対して透明性を提供できる必要があります。説明可能なAIには、次のようなさまざまな種類の手法と技術が含まれます：アドホック/内在的な手法：これらの手法は学習前にモデルの複雑さを制限します。特定のアルゴリズムを選択し、特徴の数を制限することを含みます。ポストホック手法：これらの手法はモデルの訓練後に適用されます。ブラックボックスモデルの説明においては、より柔軟性があります。モデル固有 vs モデル非依存：一部の手法は特定のタイプのブラックボックスモデルに特化しており、他の手法は一般的に適用できます。ローカル vs グローバル手法：ローカル手法は個々のインスタンスやデータポイントの説明を提供し、グローバル手法はデータセット全体のモデルの振る舞いについての洞察を提供します。説明可能なAIの重要性…

「Pythonで完全に理解するElasticNet回帰」

単純に言えば、弾性ネット回帰は、リッジとラッソ回帰の特徴を取り入れて機械学習回帰モデルを正規化するための手法です弾性ネットを学ぶ前に、私たちは...を見直す必要があります

マイクロソフトの研究者がTable-GPTを紹介：二次元テーブルの理解とタスクで言語モデルを優れたものに

最近、人工知能の分野における最新の発展により、GPTやLLaMaなどの大規模言語モデルは、自然言語タスクの幅広いスペクトラムにおいて注目すべきパフォーマンスを持続的に示しています。これらのモデルは、さまざまなドメインで効果が証明され、自然言語処理の分野を大いに進歩させています。言語モデルは、人間の指示を受けてさまざまなタスクを実行することができます。ただし、この中には、テーブルの知識を必要とするタスクには困難が伴うという欠点があります。これは、彼らの主要なトレーニングが一次元の自然言語テキストである一方で、テーブルは二次元の構造であるためです。そこで、研究チームは、この問題を解決するために、テーブルチューニングという革新的な手法を提案しました。この方法では、実際のテーブルから派生したさまざまなテーブル関連のタスクを用いて、既存の言語モデル（GPT-3.5やChatGPTなど）をさらにトレーニングまたは最適化することが求められます。これにより、これらの言語モデルのテーブル理解と操作の能力を向上させることが主な目的です。テーブルチューニングによって生成されたTable-GPTモデルは、テーブルの理解能力が向上しています。これらのモデルは、幅広いテーブルベースのタスクにおいて、通常のGPT-3.5やChatGPTよりも一貫して優れたパフォーマンスを発揮しています。つまり、彼らは表形式のデータをより正確に解釈し操作することができます。テーブル-GPTモデルは、テーブルジョブに特化しているにもかかわらず、高度な一般化能力を保持しています。人間の指示に対して効果的に反応できるため、新しいテーブル関連の活動にも適応することができます。この柔軟性は、ChatGPTがさまざまな自然言語タスクや元のGPT-3.5を処理する能力と同様です。以下に主な貢献点をまとめました。テーブルチューニングパラダイム：テーブルチューニングパラダイムを導入し、テーブルを用いたタスクの効率を改善するために言語モデルを再トレーニングします。これには、実際のテーブルから合成したさまざまなテーブルベースのジョブが使用されます。データ拡張手法：タスクレベル、テーブルレベル、指示レベル、補完レベルのデータ拡張手法が異なるレベルで開発されました。これらの手法は、Table-GPTの汎化能力を維持し、オーバーフィッティングを防ぐために必要です。トレーニングセットに付加価値を与えることで、モデルを強化します。テーブルタスクでのパフォーマンス：Table-GPTは、ゼロショットおよびフューショットの両方のシナリオで、テーブルベースのタスクにおいて卓越した能力を持っています。これは、モデルが専門的なトレーニングや例が少ない状況でも、これらのタスクを非常にうまく実行できることを示しています。 Table-GPTの適応性は、テーブルの基礎モデルとして使用するには適しています。タスクに特化したファインチューニングやプロンプトエンジニアリングなどのダウンストリームの単一タスク最適化に関して、バニラのGPTよりも優れた選択肢となることができます。これは、テーブル作業以外の様々な目的にとってどれほど有用かを示しています。要約すると、提案されたテーブルチューニングパラダイムは、言語モデルに対してテーブルの使い方を教える難しさを克服する方法を提供します。これにより、これらのモデルは二次元データ構造の理解を改善し、既知のテーブル関連のジョブだけでなく、未知のジョブにおいても成功するためのツールを提供します。

「Chromaを使用してマルチモーダル検索アプリを作成する方法」

はじめに複雑な脳が世界をどのように処理しているのか、あなたは考えたことがありますか？脳の内部の仕組みは依然として謎ですが、私たちはそれを多目的なニューラルネットワークにたとえることができます。電気化学的な信号のおかげで、それは様々なデータ型を処理します-音、映像、匂い、味、触覚。 AIが進化するにつれて、マルチモーダルモデルが登場し、検索能力が革新されています。このイノベーションにより、検索の正確性と関連性が向上し、新たな可能性が開かれています。マルチモーダル検索の魅力的な世界を発見しましょう。学習目標「AIにおけるマルチモーダリティ」という用語を理解する。 OpenAIのイメージテキストモデルCLIPについての洞察を得る。ベクトルデータベースとベクトルインデックスの概要を理解する。 CLIPとChromaベクトルデータベースを使用して、Gradioインターフェースを使用した食品推薦システムを構築する。マルチモーダル検索の他の現実世界での使用例を探索する。この記事はData Science Blogathonの一部として公開されました。 AIにおけるマルチモーダリティとは何ですか？ Googleで検索すると、マルチモードはプロセスに複数のモードや方法を関与させることを指すと分かります。人工知能では、マルチモーダルモデルは異なるデータタイプを処理し理解することができるニューラルネットワークです。たとえば、GPT-4やバードなどです。これらは、テキストや画像を理解できるLLMです。他の例としては、ビジュアルとセンサーデータを組み合わせて周囲の状況を理解するテスラの自動運転車、またはテキストの説明から画像を生成できるMidjourneyやDalleがあります。コントラスト言語-画像事前トレーニング（CLIP） CLIPは、OpenAIが大量の画像テキストペアのデータセットでトレーニングしたオープンソースのマルチモーダルニューラルネットワークです。…

「Pydantic V2の強化されたデータ検証機能を探索する」

データの検証は、データエンジニアリングとソフトウェア開発の常に進化する分野における頑健なアプリケーションの礎となりますデータの清潔さと正確さを確保することは、...

「創発的AIの倫理的なフロンティア：導入と重要性」

イントロダクション生成AIは、コンテンツの創造、模倣、強化という顕著な能力を持つことから、無類の可能性と複雑な倫理的ジレンマが両立する時代をもたらしました。本記事では、生成AIの倫理的フロンティアに深く掘り下げ、急速に変化するデジタルランドスケープにおけるその重要性を強調します。この記事は、人間の自律性の脅威や現実のゆがみから機会の不平等や文化的表現まで、生成AIに関連する多面的な課題を明らかにしようとします。これらの課題に取り組むことで、我々はこの変革的な技術を責任を持って航行し、社会の利益を確保しつつ、重要な価値観と権利を守ることができます。本記事では、開発者や組織が倫理的な原則を維持するために採用できる戦略と解決策についての示唆を提供しています。学習目標: 人間の自律性や現実のゆがみなど、生成AIにおける倫理的課題を理解する。人間の自律性、真実、多様性をAI開発において守るための戦略を探究する。データセキュリティ、プライバシー、およびAI関連の機会の不平等に取り組む重要性を認識する。自律性：人間の意思決定に対する課題 AI開発に関連する重要なリスクの一つは、人間の自律性に損害を与える可能性です。例えば、最近の事例では、ある組織がAIを使用して年齢や性別に基づいて雇用の決定を違法に差別しました。この例は、倫理的な考慮をせずにAIに意思決定を委任する危険性を示しています。最初のリスクは、AIへの過度な依存にあります。協力ツールとしてではなく、意思決定にAIを頼ることは、批判的思考能力の低下につながる可能性があります。AIツールがより効率的になるにつれて、人々は盲目的にそれらを信頼し、独立した判断力を損なう可能性があります。二つ目のリスクは、偏見の持続です。AIシステムが人間の介入なしで意思決定を行う場合、意図的であれ非意図的であれ、偏見が持続する可能性があり、人間の自律性がさらに侵食される恐れがあります。三つ目のリスクは、全知全能の幻想に関わります。人々がAIツールを透明な意思決定プロセスを理解せずにますます信頼するようになると、これらのツールは神秘的な全知全能の存在となるかもしれません。これは、自己の判断力よりもAIを信頼する世代を生み出す、懸念すべき展望です。 AI開発における人間の自律性の保護人間の自律性を守るために、AI開発中に取り組むべき手順があります: 人間をループに含める: 人間の関与は、AIが欠如する倫理的価値観、道徳、文脈の認識をもたらします。人間とAIの協力を促進することで、より良い、多様かつ正確な結果が得られます。ユーザーを強化する: AIユーザーを意思決定プロセスの積極的な参加者にする。AIとのインタラクションで文脈と明確化を提供するよう促す。透明な意思決定: 透明で追跡可能かつ監査可能なAIモデルを開発する。ユーザーはAIの結論がどのように導かれたのかを理解することができるべきです。積極的なモニタリング: 定期的にAIシステムを監査しテストすることで、倫理的および法的基準との一致を確認します。これにより、AIが人間の自律性を損なうのではなく、人間に利益をもたらし続けるようにします。 AIにおける真実と現実の保護のための戦略と解決策生成AIの第二の倫理的フロンティアは、現実をゆがめ真実を損なう可能性です。ディープフェイクの出現は、AIツールが欺瞞や操作のために悪用される例です。この現実のゆがみに関連するリスクには、情報の拡散、メンタルヘルスへの影響、文化的価値の喪失、少数派の意見の抑圧が含まれます。最終的に、これらのリスクは社会の不安定につながる可能性があります。…

このAI研究では、「RAFA」という、証明可能なサンプル効率を持つ独立型LLMエージェントのための原則的な人工知能フレームワークを紹介します

LLMの推論能力は優れていますが、それらの能力を実践的な状況で適用するためには改善が必要です。特に、外部の世界との最小限のインタラクション（たとえば内部の推論方法により）で課題を確実に達成する方法は未解決の問題です。 Northwestern University、清華大学、香港中文大学の共同研究によると、推論と行動を調整するために、「将来のための理由、今のための行動」（RAFA）と呼ばれる道徳的なフレームワークが提案されました。このフレームワークは、検証可能な後悔保証を提供します。具体的には、長期的な軌跡プランナー（「将来のための理由」）を作成し、推論のためのメモリバッファのプロンプトから学習します。ベイジアン適応型MDPパラダイムにおいて、LLMとの推論と行動について形式的に説明されています。各ステージでは、LLMエージェントは計画された軌跡の最初のアクション（「今のための行動」）を実行し、収集されたフィードバックをメモリバッファに保存し、現在の状態に基づいて将来の軌跡を再計画するために再び推論ルーチンを呼び出します。ベイジアン適応型マルコフ決定過程（MDP）における学習と計画は、推論をLLMにおいてMDPとして表現するために使用されます。同様に、LLMに対してメモリバッファを参照して未知の環境についてより正確な事後分布を学習し、ある価値関数を最大化する一連のアクションを設計するように指示します。外部環境の状態が変化すると、LLMエージェントは再び推論ルーチンを呼び出して新しい行動計画を立てます。学習と計画の一貫性を保つために、研究者はより新しい履歴データを使用するかどうかを判断するために切り替え条件を使用します。 RAFAのパフォーマンスを評価するために、Game of 24、ALFWorld、BlocksWorld、Tic-Tac-Toeなどのテキストベースのベンチマークがあります。RAFAは、言語モデルを使用してRL/PLのタスクを実行するAIシステムです。主なポイントは以下の通りです。ゲーム24では、RAFAは4つの異なる自然数を足し引きして24を得る方法を決定します。アルゴリズムは最新の式を追跡し、この目標に到達するための次の手順を生成します。サンプル効率性に関して、RAFAは非常に優れたパフォーマンスを発揮します。 ALFWorldは、使用者が具現化されたエージェントを使用して家事のシミュレーションを実行できる仮想世界です。RAFAは、AdaPlanner、ReAct、Reflexionなどの競合フレームワークよりも優れた結果を達成します。 BlocksWorldでは、プレイヤーはブロックを使用して構造物を作ることが求められます。Vicuna、RAP、CoTなどの他のモデルと比較して、RAFAの成功率はかなり高いです。 RAFAはTic-Tac-Toeのゲームで「O」として働き、言語モデルが「X」として働きます。「O」のペナルティは、RAFAが一部の設定で言語モデルと競い合い、時にはそれを上回ることを防ぎません。研究者は、異なる計画の深さ（B = 3またはB = 4）を選択することでサンプル効率性を改善または低下させる可能性があると考えています。結論として、RAFAはさまざまな状況やタスクで優れた柔軟なアルゴリズムであり、驚異的なサンプル効率性を示し、他の既存のフレームワークをしばしば上回ります。

「Amazon Textract、Amazon Bedrock、およびLangChainによるインテリジェントドキュメント処理」

今日の情報時代において、無数の書類に収められた膨大なデータ量は、企業にとって挑戦と機会を同時にもたらします従来の書類処理方法は、効率性や正確さの面でしばしば不十分であり、革新や費用効率化、最適化の余地がありますIntelligent Document Processing（IDP）の登場により、書類処理は大きな進歩を遂げました[…]

T-Mobile US株式会社は、Amazon TranscribeとAmazon Translateを通じて人工知能を利用し、顧客の希望する言語でボイスメールを提供しています

この投稿は、T-Mobile US, IncのシニアシステムアーキテクトであるDhurjati Brahma、T-Mobile US, Incの主任エンジニア/アーキテクトであるJim Chao、およびT-Mobile US, IncのアソシエイトシステムアーキテクトであるNicholas Zellerhoffによって共著されましたT-Mobile US, Inc.は、お客様にボイスメールをテキストに変換するサービスを提供しており、お客様は素早くボイスメールを読むことができます

「Hugging Face の推論エンドポイントを使用して埋め込みモデルを展開する」

Generative AIやChatGPTのようなLLMsの台頭により、様々なタスクの組み込みモデルへの関心と重要性が高まっています。特に検索や自分のデータとのチャットなどのリトリーバル・オーグメント生成のために、埋め込みモデルは役立ちます。埋め込みは、文、画像、単語などを数値ベクトル表現として表現するため、意味的に関連するアイテムをマッピングし、役立つ情報を取得することができます。これにより、質と特定性を向上させるための関連コンテキストをプロンプトに提供することができます。 LLMsと比較して、埋め込みモデルはサイズが小さく、推論が早いです。このため、モデルを変更したり、モデルの微調整を改善した後に埋め込みを再作成する必要があるため、非常に重要です。また、リトリーバルのオーグメントプロセス全体ができるだけ高速であることも重要です。これにより、良いユーザーエクスペリエンスを提供することができます。このブログ記事では、オープンソースの埋め込みモデルをHugging Face Inference Endpointsに展開する方法と、モデルを展開するのを簡単にするマネージドSaaSソリューションであるText Embedding Inferenceの使用方法を紹介します。さらに、大規模なバッチリクエストの実行方法も説明します。 Hugging Face Inference Endpointsとは何か Text Embedding Inferenceとは何か埋め込みモデルをインファレンスエンドポイントとして展開する方法エンドポイントにリクエストを送信し、埋め込みを作成する方法始める前に、インファレンスエンドポイントについての知識をリフレッシュしましょう。 1. Hugging Face Inference Endpointsとは何ですか？…

Learn more about Search Results A - Page 136