Search Results A

「データクリーニングのデータアナリストガイド」

「技術スキルを学ぶための多くのリソースがありますが、データをクリーニングする方法について詳しく説明しているものはほとんどありませんデータアナリストに必要な重要なスキルです同じ方法を適用できると思うかもしれませんが...」

「私たちの独占的なDockerチートシートをチェックしてください！」

はじめに Dockerは、コンテナを使用してアプリケーションのビルド、配布、実行のプロセスを簡素化するオープンソースのプラットフォームです。コンテナを使用することで、開発者はアプリケーションとその依存関係をパッケージ化し、異なる環境でポータブルかつ一貫性のあるものにすることができます。このDockerチートシートは、Dockerを効果的に使用するための必要なコマンドと概念のクイックリファレンスガイドを提供します。 Dockerとは何ですか？ Dockerは、開発者が独立したコンテナ内でアプリケーションを作成、デプロイ、管理するためのコンテナ化プラットフォームです。これらのコンテナには、アプリケーションコード、ランタイム、ライブラリ、および依存関係がパッケージ化されており、さまざまなシステムでの一貫性と効率性が確保されています。詳細はこちら：初心者向けDocker完全ガイド Dockerのアーキテクチャ Dockerはクライアントサーバーアーキテクチャに従います： Dockerクライアント： Dockerデーモンと対話するためのコマンドラインツール。 Dockerデーモン： Dockerコンテナのビルド、実行、管理を担当するバックグラウンドサービス。 Dockerイメージ：コンテナを作成するための読み取り専用テンプレート。 Dockerコンテナ： Dockerイメージの実行インスタンス。 Dockerレジストリ： Dockerイメージの保存と配布を行うリポジトリ。 DockerのインストールシステムにDockerをインストールするには、オペレーティングシステムに適切な手順に従ってください。以下はWindowsおよびMacOSの手順です。 Windows システム要件の確認 Windows 10 64ビット：Pro、Enterprise、またはEducationエディション…

車両ルーティング問題正確な解法とヒューリスティック解法

「車両ルーティング問題（VRP）は、与えられた一連の顧客をサービスするために、車両のフリートが実行する最適なルートセットを決定することを目指していますその多くの応用と挑戦的な性質により…」

「ビジネスインテリジェンスとは何ですか？」

「ビジネスインテリジェンスは、ソフトウェアとサービスを活用してデータを行動可能なインテリジェンスに変換し、意思決定を支援する技術駆動型のプロセスです」

「スタンフォード研究者は、直接の監督なしでメタ強化学習エージェントにおける単純な言語スキルの出現を探求する：カスタマイズされたマルチタスク環境におけるブレイクスルーを解明する」

スタンフォード大学の研究チームは、Reinforcement Learning（RL）エージェントが明示的な言語教育なしで間接的に言語スキルを学ぶことができるかどうかを調査することにより、自然言語処理（NLP）の分野で画期的な進展を遂げました。この研究の主な焦点は、非言語目標を達成するために環境との相互作用によって学習する能力で知られるRLエージェントが同様に言語スキルを発展させることができるかどうかを探究することでした。そのため、チームはオフィスナビゲーション環境を設計し、エージェントに可能な限り迅速に目標のオフィスを見つけるように挑戦しました。研究者たちは、自らの探求を以下の4つの重要な質問に基づいて行いました： 1. エージェントは明示的な言語教育なしに言語を学ぶことができるのか？ 2. エージェントは、言語以外のモード、例えば絵の地図など、他のモダリティを解釈することができるのか？ 3. 言語スキルの出現に影響を与える要因は何か？ 4. これらの結果は、高次元のピクセル観測を持つより複雑な3D環境にも適用できるのか？言語の出現を調査するために、チームはDREAM（Deep REinforcement learning Agents with Meta-learning）エージェントを2Dオフィス環境で訓練し、トレーニングデータとして言語のフロアプランを使用しました。驚くべきことに、DREAMは探索ポリシーを学習し、フロアプランをナビゲートして読むことができるようになりました。この情報を活用し、エージェントは目標のオフィスルームに到達し、最適なパフォーマンスを達成しました。エージェントの未知の相対ステップ数や新しいレイアウトに対する汎化能力、フロアプランの学習表現を探求する能力は、その言語スキルをさらに実証しました。初期の調査結果に満足せず、チームはさらに一歩踏み込み、DREAMを2Dバージョンのオフィスで訓練し、今度は絵のフロアプランをトレーニングデータとして使用しました。その結果も同様に印象的であり、DREAMは伝統的な言語以外のモダリティを読む能力を証明し、目標のオフィスまで歩行することができました。この研究では、RLエージェントの言語スキルの出現に影響を与える要因を理解することも試みられました。研究者たちは、学習アルゴリズム、メタトレーニングデータの量、モデルのサイズがエージェントの言語能力を形成する上で重要な役割を果たすことを発見しました。最後に、研究者たちはその調査結果の拡張性を検証するために、オフィス環境をより複雑な3Dドメインに拡大しました。驚くべきことに、DREAMはフロアプランを読み続け、直接の言語教育なしでタスクを解決し続けました。これにより、DREAMの言語習得能力の堅牢性がさらに確認されました。この先駆的な研究の結果は、言語が非言語的なタスクを解決する過程で副産物として出現する可能性があることを示す説得力のある証拠を提供しています。間接的に言語を学ぶことで、これらの具体化されたRLエージェントは、関連のない目標を達成しようとする過程で人間が言語スキルを獲得する方法と驚くほど似ています。この研究の示唆は広範囲にわたり、明示的な言語教育を必要とせずに多くのタスクに自然に適応できるより洗練された言語学習モデルの開発に向けた魅力的な可能性を切り拓きます。これらの調査結果は、NLPの進歩に貢献し、言語を理解し使用する能力がますます洗練されたAIシステムの進展に大きく貢献することが期待されています。

マシンラーニングのロードマップ：コミュニティの推奨事項2023

前回の記事で、このロードマップの第1部では、機械学習のための出発点と方向性について簡単に説明しました初心者が堅固な基盤を築くためのシンプルな計画について話しました

「ソースフリーなドメイン適応の汎用的な方法を探求する」

Google の研究科学者であるエレニ・トリアンタフィルーと学生研究員であるマリック・ブディアフによって投稿されました。ディープラーニングは、最近多くの問題とアプリケーションで著しい進歩を遂げていますが、モデルは未知のドメインや分布で展開された場合に予測不能に失敗することがよくあります。ソースフリーなドメイン適応（SFDA）は、事前にトレーニングされたモデル（「ソースドメイン」でトレーニングされたもの）を新しい「ターゲットドメイン」に適応させるための方法を、後者の非ラベルデータのみを使用して設計するための研究分野です。ディープモデルに対する適応方法の設計は、重要な研究分野です。モデルとトレーニングデータセットの規模の増加が彼らの成功の鍵要素である一方で、この傾向の否定的な結果は、このようなモデルのトレーニングがますます計算コストがかかるということであり、一部の場合では大規模なモデルのトレーニングがアクセスしにくくなり、不必要に炭素フットプリントを増加させることになります。この問題を緩和する方法の一つは、既にトレーニングされたモデルを活用して新しいタスクに対処したり、新しいドメインに一般化するための技術を設計することです。実際、モデルを新しいタスクに適応することは、転移学習の枠組みの下で広く研究されています。 SFDAは、適応が望まれるいくつかの実世界のアプリケーションにおいて、ターゲットドメインからのラベル付きの例が利用できないという問題に直面しています。実際、SFDAは増加している注目を集めています[1, 2, 3, 4]。しかし、野心的な目標に基づいているものの、ほとんどのSFDAの研究は非常に狭い枠組みに基づいており、画像分類タスクでの単純な分布シフトのみを考慮しています。この傾向から大きく逸脱し、私たちはバイオアコースティクスの分野に注目し、自然発生的な分布シフトが広く存在し、しばしばターゲットドメインのラベル付きデータが不十分で、実践者にとって障害となっていることに着目します。このアプリケーションにおけるSFDAの研究は、既存の方法の一般化可能性を学術界に知らせ、オープンな研究方向を特定するだけでなく、フィールドの実践者に直接的な利益をもたらし、私たちの世紀の最大の課題の一つである生物多様性保全に寄与することができます。この投稿では、「ソースフリーなドメイン適応の汎用的な手法を探る」と題したICML 2023で発表される論文を紹介します。私たちは、バイオアコースティクスにおける現実的な分布シフトに直面した場合、最先端のSFDAの手法が性能を発揮しない場合や崩壊する場合があることを示します。さらに、既存の手法は、ビジョンベンチマークで観察されるのとは異なる相対的なパフォーマンスを発揮し、驚くべきことに、時には適応なしよりも悪い結果を示す場合もあります。また、私たちはNOTELAという新しいシンプルな手法を提案し、これらのシフトで既存の手法を凌駕しながら、さまざまなビジョンデータセットで強力なパフォーマンスを発揮することを示します。全体として、私たちは、一般に使用されるデータセットと分布シフトのみでSFDAの手法を評価すると、相対的なパフォーマンスと汎化性能について狭視野な視点になると結論付けます。彼らの約束を果たすためには、SFDAの手法はより広範な分布シフトでテストされる必要があり、高い影響を持つアプリケーションに利益をもたらす自然発生的なシフトを考慮することを提唱します。バイオアコースティクスにおける分布シフトバイオアコースティクスでは、自然発生的な分布シフトが広く存在します。鳥の鳴き声のための最大のラベル付きデータセットはXeno-Canto（XC）であり、世界中の野生鳥のユーザー投稿の録音のコレクションです。XCの録音は「焦点化」されており、自然環境で捕獲された個体を対象としており、識別された鳥の鳴き声が前景にあります。しかし、連続的なモニタリングや追跡の目的では、実践者はしばしば全周マイクを介して得られる「サウンドスケープ」における鳥の識別に関心を持っています。これは非常に困難であることを最近の研究が示しているよく文書化された問題です。この現実的なアプリケーションに着想を得て、私たちはバイオアコースティクスでSFDAを研究し、ソースモデルとしてXCで事前にトレーニングされた鳥種分類器を使用し、さまざまな地理的位置からの「サウンドスケープ」（シエラネバダ（S.ネバダ）、パウダーミル・ネイチャーリザーブ（ペンシルベニア州、米国）、ハワイ、カプレス・ウォーターシェッド（カリフォルニア州、米国）、サプサッカー・ウッズ（ニューヨーク州、米国）、コロンビア）をターゲットドメインとして使用します。この焦点化から受動化への変化は大きいです。後者の録音では、しばしば信号対雑音比が低く、複数の鳥が同時に鳴いており、雨や風などの多くの鳥や環境の雑音もあります。さらに、異なるサウンドスケープは異なる地理的位置から発生しており、XCの種の非常に小さな部分しか表示されないため、非常に極端なラベルのシフトを引き起こします。さらに、現実のデータでは、ソースドメインとターゲットドメインの両方が顕著なクラスの不均衡を持っているため、いくつかの種は他の種よりも著しく一般的です。さらに、SFDAが通常研究される標準的な単一ラベルの画像分類シナリオとは異なり、各録音内で複数の鳥が識別される可能性があるため、私たちはマルチラベル分類問題も考慮しています。「フォーカス→サウンドスケープ」のシフトのイラストです。フォーカスされた領域では、録音は通常、シグナル対雑音比（SNR）が高い、単一の鳥の鳴き声が前景に捉えられていますが、背景には他の鳥の鳴き声がある場合もあります。一方、サウンドスケープには全方位マイクロフォンからの録音が含まれ、同時に複数の鳥が鳴き、昆虫や雨、車、飛行機などの環境音も含まれることがあります。オーディオファイルフォーカス領域サウンドスケープ領域1 スペクトログラム画像フォーカス領域（左）からサウンドスケープ領域（右）への分布の変化を、各データセットからの代表的な録音のオーディオファイル（上）とスペクトログラム画像（下）で示したものです。2つ目のオーディオクリップでは、鳥の鳴き声が非常にかすかです。これは、サウンドスケープ録音では鳥の鳴き声が「前景」にないことが一般的な特徴です。クレジット：左：Sue…

Acoustic Modeling

「カリフォルニアのプライバシー規制当局の最初のケース：インターネットに接続された車の調査」

「現代の車はデータで満たされたコンピューターであり、それについての明確なメーカーのポリシーはほとんどありません」

「SCMソフトウェアを活用して成功を引き出す：知っておくべきすべて」

企業にとって、サプライチェーンは重要です効率的に適切に管理されていれば、企業は消費者の要求に追いつきながら、費用と問題を最小限に抑えることができますしかし、現在ではサプライチェーンをスムーズに運営することは容易ではありません原材料の価格の変動から倉庫の問題、そして成長する不足まで、さまざまな課題が絡み合ってきます... SCMソフトウェアで成功を解き放つ：知っておくべきすべてのことを読む」

Tech

Pythonコードの品質向上ガイド：データサイエンティストのためのガイド

最近では、データサイエンティストは機械学習モデルの展開の製造側にますます関与するようになっていますつまり、私たちは...のような本番仕様のPythonコードを書くことができる必要があります

Learn more about Search Results A - Page 730