Search Results ML

「機械学習をマスターするための5つの無料の本」

機械学習は、現在コンピュータ科学の中でも最もエキサイティングな分野の一つですこの記事では、2023年に機械学習を学ぶための最高かつ無料の５冊の書籍を紹介します

Machine learning

注文事項：AIが逆順に苦戦する理由

「LLM（リップリップマスク）は世界中で人気が爆発的に広まっています日々進化しているように見えますが、制限はないのでしょうか？それはそうではありませんが、一部のケースでは失敗することもあります私たちは...」

イントロダクション現代のデータ駆動型の世界では、機械学習はさまざまな産業でますます重要な役割を果たしています。説明可能なAI（XAI）は、クライアント、患者、または融資申請者に機械学習モデルをより透明にすることを目指し、これらのシステムへの信頼と社会的受容を構築することを目指しています。今、異なるモデルには、観客によって異なる説明方法が必要となります。この記事では、説明可能なAI（XAI）の重要性と応用、およびブラックボックスモデルの解明方法について議論します。学習目標: 機械学習における透明性と信頼性を向上させるための説明可能なAI（XAI）の重要性と応用を理解する。 XAIにおけるグローバルとローカルのアプローチの違いを認識し、それぞれの使用例を理解する。 LIME、SHapley Additive Explanations、および対事実的な説明など、モデルの透明性と互換性のための重要なXAIの手法を探索する。説明可能なAIとは何ですか？意思決定における機械学習の使用は、すべての産業、企業、組織の重要な部分となっています。これらの決定は、事業主、マネージャー、エンドユーザー、ドメインエキスパート、規制当局、データサイエンティストなど、様々な利害関係者に影響を与えます。したがって、これらのモデルがどのように意思決定を行っているかを理解することは非常に重要です。規制当局は、特に意思決定に重大な影響を与える高度に規制されたセクターでの機械学習に関心を持ち始めています。特に金融、医療、犯罪、保険などの分野では、特定の決定がなぜ行われたのか、およびなぜ行われたのかを知ることが重要です。説明可能なAIは、これらのすべての利害関係者が機械学習モデルをより透明にすることを目指しています。また、データサイエンティストにもモデルをより良く理解する手助けをします。ただし、XAIが常に必要なわけではなく、賢明に使用する必要があります。一部のシナリオでは、複雑すぎる説明は不信感や混乱を引き起こす可能性があります。説明可能性の種類説明可能なAIにはさまざまな方法があり、それぞれ異なる使用例と利害関係者に配慮しています。ビジネスオーナー、マネージャー、ユーザー、ドメインエキスパート、規制当局、データサイエンティストに対して、AIモデルを説明するために異なる手法が必要です。利害関係者のニーズに応じて、異なる説明方法が必要とされることがあります。規制当局がAI分野で要件や規制を提案するようになり、金融、医療、刑事司法などの厳しく規制された産業では説明可能性がより重要になっています。これらの分野の機械学習モデルは、クライアント、患者、または融資申請者に対して透明性を提供できる必要があります。説明可能なAIには、次のようなさまざまな種類の手法と技術が含まれます：アドホック/内在的な手法：これらの手法は学習前にモデルの複雑さを制限します。特定のアルゴリズムを選択し、特徴の数を制限することを含みます。ポストホック手法：これらの手法はモデルの訓練後に適用されます。ブラックボックスモデルの説明においては、より柔軟性があります。モデル固有 vs モデル非依存：一部の手法は特定のタイプのブラックボックスモデルに特化しており、他の手法は一般的に適用できます。ローカル vs グローバル手法：ローカル手法は個々のインスタンスやデータポイントの説明を提供し、グローバル手法はデータセット全体のモデルの振る舞いについての洞察を提供します。説明可能なAIの重要性…

「契約テストとdbtを用いたデータパイプラインおよびデータ製品の効果的なスケーリングに関する完全ガイド」

「dbtを使用した契約テストの実施を開始するために知っておくべきすべて」

「Chromaを使用してマルチモーダル検索アプリを作成する方法」

はじめに複雑な脳が世界をどのように処理しているのか、あなたは考えたことがありますか？脳の内部の仕組みは依然として謎ですが、私たちはそれを多目的なニューラルネットワークにたとえることができます。電気化学的な信号のおかげで、それは様々なデータ型を処理します-音、映像、匂い、味、触覚。 AIが進化するにつれて、マルチモーダルモデルが登場し、検索能力が革新されています。このイノベーションにより、検索の正確性と関連性が向上し、新たな可能性が開かれています。マルチモーダル検索の魅力的な世界を発見しましょう。学習目標「AIにおけるマルチモーダリティ」という用語を理解する。 OpenAIのイメージテキストモデルCLIPについての洞察を得る。ベクトルデータベースとベクトルインデックスの概要を理解する。 CLIPとChromaベクトルデータベースを使用して、Gradioインターフェースを使用した食品推薦システムを構築する。マルチモーダル検索の他の現実世界での使用例を探索する。この記事はData Science Blogathonの一部として公開されました。 AIにおけるマルチモーダリティとは何ですか？ Googleで検索すると、マルチモードはプロセスに複数のモードや方法を関与させることを指すと分かります。人工知能では、マルチモーダルモデルは異なるデータタイプを処理し理解することができるニューラルネットワークです。たとえば、GPT-4やバードなどです。これらは、テキストや画像を理解できるLLMです。他の例としては、ビジュアルとセンサーデータを組み合わせて周囲の状況を理解するテスラの自動運転車、またはテキストの説明から画像を生成できるMidjourneyやDalleがあります。コントラスト言語-画像事前トレーニング（CLIP） CLIPは、OpenAIが大量の画像テキストペアのデータセットでトレーニングしたオープンソースのマルチモーダルニューラルネットワークです。…

「TfidfVectorizerを使用してテキストを数値形式に変換する：ステップバイステップガイド」

TFIDFは、機械学習やAIモデルのためにテキストを数値形式に変換する方法です言い換えると、TFIDFはテキストから特徴を抽出する方法ですこれはより洗練された方法であって、…

「創発的AIの倫理的なフロンティア：導入と重要性」

イントロダクション生成AIは、コンテンツの創造、模倣、強化という顕著な能力を持つことから、無類の可能性と複雑な倫理的ジレンマが両立する時代をもたらしました。本記事では、生成AIの倫理的フロンティアに深く掘り下げ、急速に変化するデジタルランドスケープにおけるその重要性を強調します。この記事は、人間の自律性の脅威や現実のゆがみから機会の不平等や文化的表現まで、生成AIに関連する多面的な課題を明らかにしようとします。これらの課題に取り組むことで、我々はこの変革的な技術を責任を持って航行し、社会の利益を確保しつつ、重要な価値観と権利を守ることができます。本記事では、開発者や組織が倫理的な原則を維持するために採用できる戦略と解決策についての示唆を提供しています。学習目標: 人間の自律性や現実のゆがみなど、生成AIにおける倫理的課題を理解する。人間の自律性、真実、多様性をAI開発において守るための戦略を探究する。データセキュリティ、プライバシー、およびAI関連の機会の不平等に取り組む重要性を認識する。自律性：人間の意思決定に対する課題 AI開発に関連する重要なリスクの一つは、人間の自律性に損害を与える可能性です。例えば、最近の事例では、ある組織がAIを使用して年齢や性別に基づいて雇用の決定を違法に差別しました。この例は、倫理的な考慮をせずにAIに意思決定を委任する危険性を示しています。最初のリスクは、AIへの過度な依存にあります。協力ツールとしてではなく、意思決定にAIを頼ることは、批判的思考能力の低下につながる可能性があります。AIツールがより効率的になるにつれて、人々は盲目的にそれらを信頼し、独立した判断力を損なう可能性があります。二つ目のリスクは、偏見の持続です。AIシステムが人間の介入なしで意思決定を行う場合、意図的であれ非意図的であれ、偏見が持続する可能性があり、人間の自律性がさらに侵食される恐れがあります。三つ目のリスクは、全知全能の幻想に関わります。人々がAIツールを透明な意思決定プロセスを理解せずにますます信頼するようになると、これらのツールは神秘的な全知全能の存在となるかもしれません。これは、自己の判断力よりもAIを信頼する世代を生み出す、懸念すべき展望です。 AI開発における人間の自律性の保護人間の自律性を守るために、AI開発中に取り組むべき手順があります: 人間をループに含める: 人間の関与は、AIが欠如する倫理的価値観、道徳、文脈の認識をもたらします。人間とAIの協力を促進することで、より良い、多様かつ正確な結果が得られます。ユーザーを強化する: AIユーザーを意思決定プロセスの積極的な参加者にする。AIとのインタラクションで文脈と明確化を提供するよう促す。透明な意思決定: 透明で追跡可能かつ監査可能なAIモデルを開発する。ユーザーはAIの結論がどのように導かれたのかを理解することができるべきです。積極的なモニタリング: 定期的にAIシステムを監査しテストすることで、倫理的および法的基準との一致を確認します。これにより、AIが人間の自律性を損なうのではなく、人間に利益をもたらし続けるようにします。 AIにおける真実と現実の保護のための戦略と解決策生成AIの第二の倫理的フロンティアは、現実をゆがめ真実を損なう可能性です。ディープフェイクの出現は、AIツールが欺瞞や操作のために悪用される例です。この現実のゆがみに関連するリスクには、情報の拡散、メンタルヘルスへの影響、文化的価値の喪失、少数派の意見の抑圧が含まれます。最終的に、これらのリスクは社会の不安定につながる可能性があります。…

「Amazon Textract、Amazon Bedrock、およびLangChainによるインテリジェントドキュメント処理」

今日の情報時代において、無数の書類に収められた膨大なデータ量は、企業にとって挑戦と機会を同時にもたらします従来の書類処理方法は、効率性や正確さの面でしばしば不十分であり、革新や費用効率化、最適化の余地がありますIntelligent Document Processing（IDP）の登場により、書類処理は大きな進歩を遂げました[…]

T-Mobile US株式会社は、Amazon TranscribeとAmazon Translateを通じて人工知能を利用し、顧客の希望する言語でボイスメールを提供しています

この投稿は、T-Mobile US, IncのシニアシステムアーキテクトであるDhurjati Brahma、T-Mobile US, Incの主任エンジニア/アーキテクトであるJim Chao、およびT-Mobile US, IncのアソシエイトシステムアーキテクトであるNicholas Zellerhoffによって共著されましたT-Mobile US, Inc.は、お客様にボイスメールをテキストに変換するサービスを提供しており、お客様は素早くボイスメールを読むことができます

「SDXLのためのシンプルな最適化の探究」

ステーブルディフュージョン XL (SDXL)は、Stability AIによる高品質な超現実的な画像生成を目的とした最新の潜在ディフュージョンモデルです。これは、手やテキストの正確な生成、および空間的に正しい構成といった、以前のステーブルディフュージョンモデルの課題を克服しています。さらに、SDXLはコンテキストにより適応しており、より見栄えの良い画像を生成するために、プロンプトで少ない単語数を必要とします。しかし、これらの改善は、かなり大きなモデルのコストで実現されています。具体的には、基本のSDXLモデルには35億のパラメータ（特にUNet）があり、それは以前のステーブルディフュージョンモデルのおよそ3倍の大きさです。 SDXLの推論速度とメモリ使用量を最適化する方法を探るために、A100 GPU（40 GB）でいくつかのテストを行いました。各推論実行において、4つの画像を生成し、それを3回繰り返し行います。推論レイテンシを計算する際には、3回のイテレーションのうち最終イテレーションのみを考慮します。つまり、デフォルトの精度とデフォルトのアテンションメカニズムを使用してSDXLをそのまま実行すると、メモリを28GB消費し、72.2秒かかります！ from diffusers import StableDiffusionXLPipelinepipeline = StableDiffusionXLPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0").to("cuda")pipeline.unet.set_default_attn_processor() しかし、これは非常に実用的ではなく、特に4つ以上の画像を生成する場合には遅くなる可能性があります。また、よりパワフルなGPUを持っていない場合、メモリ不足のエラーメッセージに遭遇するかもしれません。では、どのようにしてSDXLを最適化して推論速度を向上させ、メモリ使用量を減らすことができるでしょうか？ 🤗 Diffusersでは、SDXLのようなメモリ集中型モデルを実行するための最適化のトリックとテクニックを数多く提供しています。以下では、推論速度とメモリに焦点を当てます。推論速度ディフュージョンはランダムなプロセスですので、好みの画像が得られる保証はありません。よくあるのは、複数回の推論を実行して反復する必要があることです。そのため、速度の最適化が重要です。このセクションでは、低精度の重みとメモリ効率の良いアテンションおよびPyTorch 2.0のtorch.compileの使用に焦点を当てて、速度を向上させ、推論時間を短縮する方法を紹介します。…

Learn more about Search Results ML - Page 192