Search Results A

「日常生活における人工知能の役割に対する公衆の関心の高まり」

「AIへの関心の高まりは、Pewによると、成長する公衆の意識と並行して起こっています」

「ボイスディープフェイクがあなたの銀行残高を脅かしています」

「人工知能のツールは、詐欺師が人々を騙してお金を送らせるための強力な武器となっています」

「フォトエディターは誰に必要ですか？！ – Pythonにおける大規模画像操作チュートリアル」

「私たちは悲しい仕事のためにここにいます非常に悲しい、実際には美しい息を呑むようなイメージを撮って、それらを一塊の醜い数字に変えて、それがより見栄え良くなるように学ぶためにここにいます…」

1日に150億のログを処理し、ビッグクエリを1秒以内に完了させる方法

この記事では、ログ解析ソリューションを探しているデータエンジニアに参考となる大規模データウェアハウジングのユースケースについて説明していますログ処理アーキテクチャと、データの取り込み、保存、クエリにおける実際のケースについて紹介しています

Data Engineering

「ブラックボックスの解除：ディープニューラルネットワークにおけるデータ処理の理解のための定量的法則」

人工知能の魅力は、特に深層学習の神秘的な領域で長く謎に包まれてきました。これらの複雑なニューラルネットワークは、複雑なプロセスと隠れた層を持ち、内部の動作を隠しつつ、研究者や実践者を魅了してきました。しかし、最近のブレイクスルーにより、この不明瞭な領域の中にある道を照らすことが約束されています。 Hangfeng HeとWeijie J. Su率いる研究チームが、深層ニューラルネットワークのトレーニング中に展開する組織化されたカオスに光を当てる画期的な経験則「等分離の法則」を発表しました。この発見により、トレーニングプロセスの神秘さが解明され、アーキテクチャの設計、モデルの堅牢性、予測の解釈に対する洞察が得られるようになります。この課題の核心は、深層ニューラルネットワークの固有の複雑さにあります。これらのモデルは、多数の層と相互接続されたノードを特徴とし、カオス的で予測不可能なデータ変換を行います。この複雑さにより、内部の動作をより深く理解する必要性が生じ、特に重要なアプリケーションにおいては、アーキテクチャの設計と意思決定の解釈の進展を妨げてきました。等分離の法則は、深層ニューラルネットワーク内にある秩序を明らかにし、見かけのカオスを切り抜けます。この法則の核心は、各層でのクラスメンバーシップに基づいてデータを分類する方法を定量化することです。この法則は一貫したパターンを明らかにします：各層内でデータの分離が一定の割合で幾何学的に改善していきます。これは、乱れたトレーニングの概念に挑戦し、ネットワークの層内に構造化された予測可能なプロセスを示しています。この経験則は、量的な関係を確立します：各層の分離の曖昧さは一定の割合で幾何学的に改善します。各層を通過するデータによって、この法則は異なるクラスの分離の徐々の向上を保証します。この法則は、様々なネットワークアーキテクチャやデータセットに適用され、深層学習の振る舞いの理解を豊かにする基礎的なフレームワークを提供します。分離の曖昧さを規定する式は次のようになります： D(l)=ρ^l * D(0) ここで、D(l)はl番目の層の分離の曖昧さを示し、ρは減衰率を表し、D(0)は初期層の分離の曖昧さを示します。 20層のフィードフォワードニューラルネットワークがFashion-MNISTでトレーニングされています。等分離の法則は、エポック100から観察されます。x軸は層のインデックスを示し、y軸は分離の曖昧さを示します。この発見は重要な意味を持ちます。従来の深層学習は、しばしばヒューリスティックやトリックに依存しており、時には最適な結果やリソースの消費が大きい計算を導くこともありました。等分離の法則は、アーキテクチャの設計のための指針を提供し、ネットワークが最適な性能を実現するためには深さを持つ必要があることを示唆しています。ただし、過度に深いネットワークは収益の減少をもたらす可能性があることも示唆しています。さらに、この法則の影響はトレーニング戦略とモデルの堅牢性にも及びます。トレーニング中にこの法則が現れると、モデルの性能と耐久性が向上します。法則に従うネットワークは、外部の干渉に対する抵抗力が高まり、現実世界のシナリオでの信頼性が向上します。この耐久性は、法則によって明らかにされる組織化されたデータの分離プロセスから直接生じ、ネットワークの汎化能力をトレーニングデータを超えて高めます。深層学習モデルの解釈は、そのブラックボックス性のために常に課題となっており、重要な意思決定の文脈での利用性を制限してきました。等分離の法則は新たな解釈の視点を提供します。各ネットワーク層はモジュールとして機能し、分類プロセスに均等に貢献します。この視点は従来の層ごとの分析に挑戦し、ネットワーク内のすべての層の集合的な振る舞いを考慮することの重要性を強調しています。凍結された右のネットワークとは異なり、左のネットワークは均等分離の法則を示しています。似たようなトレーニングパフォーマンスにも関わらず、左のネットワークはより高いテスト精度を誇っています（右のネットワークの19.67%に対して左のネットワークは23.85%です）。結論として、均等分離の経験則は、深層学習において変革的な発見です。これにより、深層ニューラルネットワークが不透明なブラックボックスではなく、予測可能で幾何学的に構造化されたプロセスによって駆動される組織的なシステムであるという私たちの認識が変わります。研究者や実践者がアーキテクチャの複雑さ、トレーニング戦略、モデルの解釈に取り組む中で、この法則はガイドとなり、さまざまな領域で深層学習の真のポテンシャルを開放するための手助けとなります。透明性とAIへの洞察を求める世界において、均等分離の法則は複雑な深層ニューラルネットワークを導くビーコンとして浮かび上がっています。

「大規模言語モデルのダークサイドの理解：セキュリティの脅威と脆弱性に関する包括的なガイド」

LLM（言語モデル）は、近年自然言語処理（NLP）のコミュニティでますます人気が高まっています。ニューラルネットワークベースの機械学習モデルのスケーリングにより、人間が生成するのとほぼ区別がつかないほど自然な言語を生成できるモデルが最近の進歩を遂げています。 LLMは、コード生成の支援からメールの作成、大学の宿題の共同執筆まで、人間の生産性を向上させることができ、法律、数学、心理学、医学などのさまざまな分野で驚異的な結果を示しています。しかし、これらの進歩にも関わらず、学術コミュニティはテキスト生成能力の悪用に関連する多くの問題を指摘しています。そのため、ティルブルフ大学とロンドン大学カレッジの研究者は、LLMの安全性とセキュリティに関する研究の現状を調査し、危険性、予防策、セキュリティの穴に従って既存の技術を分類することで、タクソノミーを提供しています。LLMの高度な生成能力は、フィッシングメール、マルウェア、虚偽情報の作成など、脅威の温床となり得ます。既存の取り組みは、コンテンツフィルタリング、人間のフィードバックからの強化学習、レッドチーミングなど、これらの能力がもたらすリスクを軽減することを目的としています。しかし、不十分な対策から欠陥が生じ、ジェイルブレイキングや即時インジェクションなどの技術が隠されます。これにより、以前に無効化された脅威が再び現れる可能性があります。研究者は、各分野ごとに主要な用語を明確にし、学術的および実世界の例について包括的な参考文献を提示しています。論文では、完全に排除しないLLMの望ましくない行動に対処するためのいかなる技術も、モデルを敵対的なクイック攻撃に対して脆弱にすると説明しています。研究は同様の観点を持ち、言語を含むファウンデーションモデルを指すLarge AI Models（LAIMs）は、トレーニングデータに起因する3つの特徴により、本質的に安全性がなく脆弱であると指摘しています。また、モデルのセキュリティを向上させるためにベースラインモデルからの精度の大幅な低下があることも指摘しています。標準モデルの精度と敵対的な介入に対する耐性との間には、必然的なトレードオフが存在するとされています。このような議論は、LLMの実用性とセキュリティの緊張関係をさらに問いただしており、LLMの提供者とユーザーの両方がこのトレードオフを慎重に考慮することが重要です。

「ガードレールでLLMを保護する」

大規模言語モデル（LLM）アプリケーションの使用が一般化し、より大規模な企業に拡大するにつれて、本番環境における効果的なガバナンスの確立が明確に求められます

「手作業での一元配置分散分析の方法」

「ANOVA（分散分析）は、複数の母集団の平均値に統計的に有意な差異があるかどうかを判断するために、グループ間の定量変数を比較するために使用される統計テストです実際には、...」

GLIP オブジェクト検出への言語-画像事前学習の導入

今日は、言語-画像の事前学習であるCLIPの素晴らしい成功を基に、物体検出のタスクに拡張した論文であるGLIPについて掘り下げます...

「トップデータプライバシーツール2023」

データプライバシー管理ソフトウェアは、一般データ保護規則（GDPR）やカリフォルニア消費者プライバシーアクト（CCPA）などのプライバシー規制に対する遵守を容易にします。データ主体アクセスリクエスト（DSAR）や一般データ保護規則（GDPR）における消去権（忘れられる権利）などは、行わなければならないことの一部です。データプライバシー管理ソリューションを活用することで、企業はプライバシープログラムをより効果的に管理できます。これにより、手動操作を自動化し、透明性を高め、レポートツールを使用することができます。 Enzuzo ウェブサイト、オンラインショップ、モバイルアプリ、SaaSプラットフォームは、法的なプライバシールールの恩恵を受けます。Enzuzoを使用すると、予算を超えることなくこれを実現することができます。自動DSARリクエストジェネレータ、クッキーコンセントバナーテンプレートなど、包括的なコンプライアンスプラットフォームです。Enzuzoは、シングルで直感的なインターフェースからのさまざまな機能や要求を管理する能力が、このプラットフォームの最大の強みの一つです。個々の詳細を安全に収集する方法は、実装に時間がかかる場合があります。規制フレームワーク、地域の規制要件、複数の言語、コンプライアンス要件の頻繁な変更など、平均的なビジネスには多くの課題があります。 DataGrail プライバシー管理ツールとして、DataGrailはクライアントデータの追跡と管理をシステムと部門全体で一元化することで、企業のコンプライアンスを簡素化します。また、DSARなどのプライバシー関連の活動を自動化するための有用なツールも提供しています。DataGrailは、多くの国際的な規制要件に準拠し、企業がデータ主体からの要求やその他のコンプライアンス問題を管理するのに役立ちます。システムが提供する多くの機能には、データマッピングと在庫、同意管理、ポリシーと通知管理、ベンダー管理などがあります。また、リアルタイムの分析とダッシュボードも提供され、ビジネスのコンプライアンス業務を監視し、懸念のある領域を特定するのに役立ちます。 PrivacyEngine PrivacyEngineの主な目標は、データプライバシーに関連するリスクを軽減し、プライバシーが優先される文化を確立するために企業を支援することです。データインベントリとマッピング、プライバシーリスク評価、DSR管理、インシデント管理、ベンダー管理など、PrivacyEngineが提供するサービスの一部です。個別のリスク評価とプライバシー影響評価を通じて、ビジネスは機密データのプライバシーに対する脅威を特定し、測定し、軽減するのに役立ちます。ただし、PrivacyEngineは高価なため、一部の小規模およびVoAGI規模の企業には手の届かない価格になる可能性があります。企業が拡大したりニーズが変わったりすると、ソフトウェアの価格も上昇する場合があります。PrivacyEngineの導入とメンテナンスは、同様のプラットフォームと同様に、課題があり、時間とエネルギーのかなりの投資が必要です。ビジネスは、既存のインフラストラクチャや手順にソフトウェアを設定し、統合するために、かなりの時間とエネルギーを費やす必要があります。 OneTrust プライバシー、セキュリティ、ガバナンスに関しては、OneTrustが頼りになるプロバイダです。同社は、GDPR、CCPA、LGPDなどの国際基準を満たすために、組織が利用できるさまざまなソフトウェアソリューションの完全なスイートを提供しています。OneTrustのソフトウェア製品は、プライバシー、セキュリティ、ガバナンスの取り組みを監督するための強力なツールを企業に提供します。ソフトウェアは、さまざまな業界の企業の特定の要件に合わせてカスタマイズすることができる柔軟性を持っています。コンサルティングやトレーニングは、OneTrustが提供する多くの専門サービスのうちの2つにすぎません。これらのサービスは、組織がプライバシーの取り組みを改善し、国際基準に適合するのを支援するためのものです。 Securiti Securitiは、オンプレミス、ハイブリッド、およびマルチクラウドの環境で、セキュリティ、ガバナンス、コンプライアンスを提供するエンドツーエンドのプライバシーおよびデータセキュリティ自動化システムです。データのカタログ化、機密データの検出、アクセスインテリジェンスとコントロール、セキュリティポストマネジメントなど、Securitiのソフトウェア製品にはさまざまな機能があります。これにより、エンドツーエンドのデータ保護が実現されます。Securitiは、ビジネスが自社の機密データを理解し、データ漏洩の可能性を低下させ、法的基準を遵守するのに役立ちます。Securitiの競争力のある要素は、低価格で広範な機能を提供することです。このプラットフォームは、オンボーディングを容易にするための便利な技術リソースを提供し、データの透明性を高めるための便利なダッシュボードと可視化ツールのセットを管理します。 Collibra Collibraは、クラウドで動作するデータインテリジェンスプラットフォームであり、企業がデータ資産を管理し、統治するのを支援します。このシステムは、企業がデータから学び、それを利益に変えるための基盤を提供します。データガバナンス、カテゴリ化、データライン、データ品質など、対応するために構築された機能が数多くあります。Collibraのソフトウェアソリューションには、自動データの発見とカテゴリ化、データラインの可視化、データ品質の監視、データのカタログ化とインデックス化、ワークフローの管理などの機能があります。プラットフォームの統合されたコラボレーションとコミュニケーション機能は、データスチュワードとアナリストの間の情報共有と協力を促進します。Collibraのプラットフォームの複雑さは、技術的な専門知識を持つユーザーに適していますが、展開にはより技術的なノウハウを持つ企業が必要です。多くのユーザーは、Collibraのインターフェースについての説明が必要であり、慎重な準備にもかかわらず、ソフトウェアの最大限の活用には外部の支援が必要になる場合があります。 Palqee Palqeeは、企業がリスク、コンプライアンス、ガバナンスの目標を達成するための包括的なツールです。データマッピング、アセスメント、主体の権利管理、ドキュメンテーション、プライバシー主導の文化の醸成など、このプログラムはいくつかの分野で輝いています。Palqeeは、ユーザーフレンドリーな設定オプション、豊富なプリメイドテンプレートのライブラリ、活発なユーザーコミュニティを備えたため、コンプライアンス管理と協力のための人気のある選択肢となっています。他のソフトウェアオプションとは異なり、Palqeeは初期費用が高額であり、利用者はより長期の契約条件に同意する必要があります。Palqeeコミュニティとそのコンプライアンス機能は主に南米市場に焦点を当てており、他の地域の企業にとってはプラットフォームの有用性が低下する可能性があります。 Osano Osanoは、ウェブサイトやアプリのプライバシーポリシーを管理し、データプライバシールールに準拠するためのさまざまなリソースを提供します。基本的な機能には、プライバシーの問題を分析すること、ユーザーの同意を管理すること、規制の遵守をチェックすることが含まれます。Osanoは、企業が特定の用途に適応できるプライバシーポリシーテンプレートやコンプライアンスレポートも提供しています。Osanoプラットフォームには直感的なインターフェースとシンプルなコントロールがあります。プライバシーフローの問題をチェックするための包括的なプライバシースキャンモジュールなど、他にも便利なツールがあります。これらの機能は、組織が主要なプライバシースタンダードを満たすための進捗状況を示す編集可能なレポートによってサポートされています。 TrustArc TrustArcは、プライバシーフレームワーク、インテリジェンス、レポートの洞察、データインベントリの機能を調整してコンプライアンス管理を一元化するプライバシー管理プラットフォームです。時間のかかる労力を削減し、効率化するために、TrustArcはエンドツーエンドのコンプライアンス管理のための完全に自動化されたプラットフォームを提供しています。さらに、プラットフォームは展開中に生じる可能性のある問題に対処するための一流のカスタマーサービスチームのサポートを受けています。TrustArcの欠点は、プラットフォームの多機能性と個別化の選択肢に起因しています。TrustArcを信頼できる情報の中心とするためには、多くの監視が必要な場合があります。 BigID BigIDは、人工知能エンジンを搭載した企業全体のデータ発見と管理プラットフォームです。データ発見とインテリジェンスがこのツールの強みであり、効率的な評価、カテゴリ化、プライベートデータの管理などの機能も備えています。このため、BigIDは、企業がデータをよりよく理解し活用するためのプリメイドとカスタマイズ可能なツールセットを提供しています。BigIDの利点と欠点は、エンタープライズレベルのデータ発見と分類ソリューションとしての性質を反映しています。パワフルなツールキットとさまざまな発見ツールは素晴らしいですが、これらのツールには一定の制御が必要です。BigIDは比較的直感的でないユーザーインターフェースを持っているため、初心者にとって使用が難しいことを知っておく必要があります。 Didomi Didomiは、組織が地元のデータプライバシーレギュレーションの要件を満たすためのクッキーコンセントソリューションです。ユーザーは、クッキーや類似のトラッキング技術の受け入れを記録、変更、証明することができるシステムです。組織は、クッキーコンセントプログラムを管理するためのいくつかの便利なツールを利用することができます。企業が独自の承認ポップアップやフォームをデザインする自由を与える承認システム、すべての法的要件に適合した同意情報の中央リポジトリ、Didomiを他のエンタープライズソフトウェアに接続するために使用できる認可アプリケーションプログラミングインターフェースなどのツールがあります。ユーザーが自分の権限をどのように使用しているかを明らかにする同意分析ダッシュボードもあります。Didomiは、ブートストラップスタートアップから多国籍の複合企業まで、さまざまな規模の企業によって利用されています。Google、Microsoft、Salesforceなどの大手企業も信頼しています。 IBM…

Learn more about Search Results A - Page 679