Search Results 法的調査

マイクロソフトリサーチとジョージア工科大学の研究者が、言語モデルの幻覚の統計的な境界を公表しました

最近、言語モデルで浮かび上がった主要な問題の一つは、言語モデル（LM）が存在しない記事タイトルへの言及を含む誤った情報を提供する割合が高いことです。メリアム・ウェブスター辞書は、「幻覚」とは「人工知能アルゴリズムによって生成される合理的ながらも虚偽または誤解を招く応答」と定義しています。ある事例では、法的調査を提出した弁護士たちが正確だと思っていた架空の裁判事例を盛り込んでしまい、5000ドルの罰金を科せられました。医療の現場でも、患者の幻覚は命取りとなり、医師たちは過失訴訟を心配しています。さらに、メディアも幻覚について詳細に報道しており、アメリカ合衆国の大統領は最近、生成型人工知能システムからの欺瞞的な結果に対する保護策を含む大統領令を発令しました。この研究では、マイクロソフトリサーチとジョージア工科大学の研究者が、複数のファクト予測がキャリブレーションされた学習機械（LMs）における幻覚発生率に関する統計的な下限を提示しています。これにより、幻覚の特性が明らかになります。これは幻覚が避けられないことを意味するものではありません。研究チームが議論するとおり、幻覚発生率やキャリブレーションを下げる「事前訓練」手順に「事後訓練」手順を補完するという、実践者の傾向に合致しています。LMは、単語やその他の文字列のシーケンスの確率分布Dであり、正の確率ですべての文字列を予測するLM（典型的なLMの特徴）は、必然的に正の確率で幻覚を示します。ただし、この確率が低い場合、幻覚は珍しいことになります。したがって、幻覚の頻度を測定することは重要です。完全なシーケンスの対数確率または前のトークンに条件付けられた次のトークンの条件付き対数確率は、同一の分布Dを表現するために使用することができます。log D(t1…tm) = Pm i=1 log D(ti | t1 … ti−1)。この些細な数学的な同等性には重要な意味があります。予測と生成には異なる要件がありますが、自然発生テキストに基づいて前のトークンに条件付けられた次のトークンを予測するために、任意のLMを使用することができます。たとえば、次の文を考えてみましょう。Alexa Wilkinsさんは先週の火曜日にランチのためにSalumeriaに行った理由は、レビューでツナサンドイッチが素晴らしいと言われていたからです。予測型言語モデルは、このような文を提案して、電話のタイピングを軽減するかもしれません。ツナの後に単語としてサンドイッチを予測することは有益かもしれませんし、サラダなどの他の可能性のある単語も含まれるかもしれません。しかし、生成型のLMがこの種の文の大部分をランダムにでっち上げるとすると、それは誤りです。この記事によると、完全な状況であっても、強力な予測テキスト能力を持つLMは幻覚を経験するはずです。特に、現在では一般的な事前訓練の初期段階では、生成型LMは予測テキストの性能に合わせて調整されます。さらに、その結果は幻覚発生率の下限を提供し、異なる種類の事実がどのような頻度で幻覚化されるべきかについての示唆を与えるでしょう。上記の例と将来参照と（研究チームが5W（Who-Ate-What-When-Where-Why factoids）と呼ぶもの）は、ルールによって系統的に特定できないという点で共通しています。つまり、これらのほとんどの事実は訓練データに含まれていないため、検証することができません。事実とは異なり、その妥当性が方法論的に確認できるものもあります。多くの理想的な特性を持つ簡略化された状況でも、研究チームはLMが経験する幻覚の数を推定しています。研究チームは、LMの幻覚の根源を特定することを目指すため、統計的な下限が、訓練データがノイズのない状況でi.i.d.になるような単純な文脈で成り立つようにします（ノイズ耐性のある分類技術など）。研究チームは、生成型モデルへのキャリブレーションの自然な拡張を提供しています。彼らのアイデアは、以前のLMのキャリブレーション応用とは異なり、トークンレベルではありませんでした。各事実はさまざまな方法で自然言語で記述される可能性があるため、トークンの確率をキャリブレーションすることは、生のトークンの確率を評価する際にのみ有用です。むしろ、テキスト内の情報（事実または幻覚）のビットごとの確率分布を、彼らの意味レベルのキャリブレーションによって考慮します。LMがキャリブレーションされているとは、確率a≈zで作成された情報が、与えられた確率z∈[0, 1]で自然発生の言語の一部に平均的に現れることを意味します（理想的には、訓練データが収集された分布と同様）。この作品は、訓練データが完璧に事実である理想的な世界でも、事実と幻覚のぼやけはなく、各文書には最大で1つの事実しか含まれず、幻覚を促すようなプロンプトさえ存在しない状況でも、予測精度のために事前学習された言語モデルは幻覚を引き起こすことを示すことを目指しています。さらに、彼らの仮説は、トリグラムモデルなど以前の言語モデルと比較可能なデータセットでのトレーニングにも関わらず、現代の言語モデルが以前の言語モデルよりも大きな幻覚を持つのかを明確にします。単一の事実の出現率によって、キャリブレーションされた言語モデルがさまざまな種類の事実について自己欺瞞をする必要がある可能性を示すことができます。訓練データに頻繁に現れるが一度だけ発生する高い単一事実率を持つ事実が発生すると、幻覚が予測されます。本や記事への言及については、現在研究されている問題の種類の幻覚であることが珍しいことです。したがって、トレーニング中に言語モデルが遭遇する参照などを含む事実の数が、モデルの容量などの他の問題から生じる可能性もあります。また、事後学習を使用せずに事前学習パイプラインを変更することで、幻覚化された参照を修正することが可能かもしれませんが、5Wの例にあるような他の種類の恣意的な事実には対応できません。

学校はサイバー保護のために政府に頼るべきですか？

連邦政府は、K-12の学校とその生徒をサイバー攻撃から守ることができるのでしょうか？

「NLPエンジニアになるには？キャリアロードマップ2023」

イントロダクションますますデジタルな世界で、コンピュータが人間の言語を理解し、コミュニケーションする能力は、変革的な力となっています。自然言語処理（NLP）エンジニアは、この変革の牽引役です。彼らは、機械が人間のコミュニケーションの微妙なニュアンスを理解、操作、応答する力を与える魔法使いです。私たちの質問に答える仮想アシスタントからビジネス戦略を形成する感情分析まで、NLPエンジニアは人間の言語と人工知能の間のギャップを埋める存在です。この記事では、私たちはNLPエンジニアの魅力的な世界について探求し、彼らが技術とコミュニケーションの未来を形作る上でどれほど重要な役割を果たしているのかを見ていきます。 NLPエンジニアとは何ですか？ NLPエンジニアは、コンピュータが人間の言語を理解し、操作するためのアルゴリズムとモデルを開発することに特化しています。彼らは、チャットボット、感情分析、言語翻訳など、さまざまなアプリケーションで重要な役割を果たしています。NLPエンジニアは、自然言語と機械のギャップを埋め、自動化システムが人間のコミュニケーションを効果的に解釈、生成、応答できるようにします。必要なスキル技術スキル PythonやJavaなどのプログラミング言語の熟練度: NLPエンジニアは、PythonやJavaなどの言語の強力なコーディングスキルを必要とします。これらの言語は、NLPのタスクによく使用されます。特にPythonは、NLPのための豊富なライブラリやフレームワークがあるため人気です。 TensorFlowやPyTorchなどの機械学習とディープラーニングのフレームワークの知識: 機械学習とディープラーニングは、NLPの基礎です。エンジニアは、TensorFlowやPyTorchなどのフレームワークを使いこなして、効果的にNLPモデルを構築し、トレーニングする必要があります。 NLTKやspaCyなどのNLPライブラリでの経験: NLTK（Natural Language Toolkit）やspaCyなどのNLPライブラリは、言語処理のタスクに対する事前に構築されたツールやリソースを提供します。これらのライブラリに精通していることで、NLPの開発を効率化することができます。データの前処理と特徴エンジニアリングの専門知識: NLPはしばしば大きくて複雑なテキストデータを扱うことがあります。データの前処理、クリーニング、特徴エンジニアリングのスキルは、NLPタスクのためのデータの準備には欠かせません。今日からNLP入門無料コースで旅を始めましょう！専門スキル強力な問題解決能力: NLPエンジニアは、複雑な言語理解の課題に取り組む必要があります。強力な問題解決スキルにより、効果的な解決策を考案することができます。効果的なコミュニケーションと協力スキル: 明確なコミュニケーションは、非技術的な関係者に対してNLPの概念や調査結果を伝えるために不可欠です。多様な専門分野のチームで働く際には、協力スキルが重要です。複雑なNLPプロジェクトの管理のためのプロジェクトマネジメント: NLPプロジェクトの管理には、目標の設定、タイムラインの策定、チームの協力が含まれます。プロジェクトマネジメントのスキルにより、プロジェクトの成功が保証されます。…

「MITの研究者が提案するAskIt：ソフトウェア開発における大規模言語モデルの統合を効率化するためのドメイン固有言語」

最近の研究では、大規模言語モデル（LLM）の非凡な能力が明らかになりました。モデルが成長するにつれて、さらに印象的になります。彼らはさまざまなアプリケーションで不可欠な存在となっています。彼らは仮想アシスタントを駆動し、多言語コミュニケーションを容易にし、自動コンテンツ生成を可能にし、医学診断や感情分析における自然言語理解を向上させます。彼らはまた、コード生成、創造的な執筆、研究において重要な役割を果たし、コンテンツ推薦システム、法的調査、財務分析、コンテンツモデレーションに展開されています。彼らはテキスト要約からコード生成まで、数々のタスクにおいて巧みな能力を示すというユニークな現象を示しています。新たな能力が現れるというアイデアは興味深く、言語モデルのさらなる開発によって、さらに複雑な能力が生まれるかもしれないと示唆しています。しかし、LLMをソフトウェア開発に統合することはより複雑です。これは、シームレスなアプリケーションへの統合に必要な複雑な意思決定手続きによって主に引き起こされる困難であり、幅広いスキルが必要とされます。また、最高のモデル利用のための強力なプロンプトの専門的な作成については、まだ多くの不確実性が存在しています。この問題に対処するため、MIT CSAILの研究者は「AskIt: Unified Programming Interface for Programming with Large Language Models」という新しい論文を発表しました。研究者によれば、このアプローチは開発におけるソフトウェア開発専門家のオーバーヘッドと作業を大幅に削減します。AskItはさまざまなタスクをこなすことができるドメイン固有の言語であり、LLM向けに設計されています。

Learn more about Search Results 法的調査

マイクロソフトリサーチとジョージア工科大学の研究者が、言語モデルの幻覚の統計的な境界を公表しました

学校はサイバー保護のために政府に頼るべきですか？

「NLPエンジニアになるには？キャリアロードマップ2023」

「MITの研究者が提案するAskIt：ソフトウェア開発における大規模言語モデルの統合を効率化するためのドメイン固有言語」

「AIがまだすぐには置き換えられない8つの仕事」

「はい！OpenTelemetryはシステムのセキュリティを確保するための重要な要素です」

GenAIOps：MLOpsフレームワークの進化

Find the right Blockchain Investment for you