Search Results 調査

「データベース間でSQLの実行順序が異なる方法」

「MySQLやPostgreSQLなどのオープンソースデータベースと定期的に協力してきた後、最近、SQL Serverプロジェクトで働く機会があり、SQLに微妙で重要な違いを発見しました...」

「エンティティ抽出、SQLクエリ、およびAmazon Bedrockを使用したRAGベースのインテリジェントドキュメントアシスタントの強化」

会話AIは、最近の生成AIの急速な発展により、特に指示微調整や人間のフィードバックからの強化学習といったトレーニング技術によって導入された大規模言語モデル（LLM）のパフォーマンス改善により、大きな進歩を遂げてきました正しくプロンプトされると、これらのモデルは特定のタスクのトレーニングデータなしで、一貫した会話を行うことができます[…]

SetFitABSA SetFitを使用したFew-Shotアスペクトベースの感情分析

SetFitABSAは、テキスト内の特定の側面に対する感情を検出する効率的な技術です。 Aspect-Based Sentiment Analysis (ABSA)は、テキスト内の特定の側面に対する感情を検出するタスクです。例えば、「この電話は画面が素晴らしいですが、バッテリーは小さすぎます」という文では、側面の用語は「画面」と「バッテリー」であり、それぞれに対する感情極性はPositiveとNegativeです。 ABSAは、さまざまなドメインの製品やサービスの顧客フィードバックを分析して貴重な情報を抽出するために、組織によって広く使用されています。しかし、ABSAのためのラベル付けトレーニングデータは、トレーニングサンプル内で側面を手動で細かく識別する必要があるため、手間のかかる作業です。 Intel LabsとHugging Faceは、ドメイン固有のABSAモデルのfew-shotトレーニングのためのフレームワークであるSetFitABSAを紹介しています。SetFitABSAは、few-shotシナリオでLlama2やT5などの生成モデルに比べて競争力があり、さらに優れた性能を発揮します。 LLMベースの手法と比較して、SetFitABSAには次の2つのユニークな利点があります: 🗣 プロンプトが不要です: LLMを使ったfew-shot in-context学習では、結果がもろくなり、表現に敏感になり、ユーザーの専門知識に依存する手作りのプロンプトが必要です。SetFitABSAは、ラベル付けされた少数のテキスト例から直接豊かな埋め込みを生成することで、プロンプトを完全に不要とします。 🏎 高速トレーニング: SetFitABSAは、わずかなラベル付きトレーニングサンプルのみを必要とします。さらに、専門のタグ付けツールを必要としないシンプルなトレーニングデータ形式を使用します。これにより、データのラベリングプロセスが迅速かつ容易になります。このブログ記事では、SetFitABSAの動作方法と、SetFitライブラリを使用して独自のモデルをトレーニングする方法を説明します。では、さっそく見ていきましょう！どのように機能しますか？ SetFitABSAの3つのステージからなるトレーニングプロセス SetFitABSAは3つのステップで構成されています。第1ステップでは、テキストから側面候補を抽出し、第2ステップでは、側面候補を側面または非側面として分類し、最終ステップでは抽出された各側面に感情極性を関連付けます。第2ステップと第3ステップはSetFitモデルに基づいています。トレーニング 1. 側面候補の抽出…

「AV 2.0、自動運転車における次のビッグウェイブ」

自律型車載技術の新たな時代であるAV2.0は、知覚、計画、制御など多くの要素を制御できる統合型のAIモデルによって特徴付けられています。ロンドンを拠点とする自律走行技術企業のWayveがリードしています。 NVIDIAのAIポッドキャストの最新エピソードでは、ホストのKatie Burke Washabaughが同社の共同創設者でCEOのAlex Kendall氏と対談し、AV 2.0が自動運転車の将来にどのような意味を持つのかについて話しました。 AV 1.0のように車両の知覚能力を高めるために複数のディープニューラルネットワークを使用することに焦点を当てるのではなく、AV 2.0では現実世界のダイナミックな環境で意思決定を行うために包括的な車載インテリジェンスが必要とされています。 The AI PodcastWayve CEO Alex Kendall on Making a Splash in Autonomous Vehicles –…

『ウェアラブルコミュニケーションシステムがデジタルヘルスの格差を減らす可能性』

アリゾナ大学（UA）の研究者たちは、主要な基盤を必要とせずに最大15マイルまで健康データを送信できる装着型モニタリングシステムを開発しました

リトリーバル・オーグメンテッド・ジェネレーションにおける関連性の課題にどのように対処するか

パート1では、非最適な埋め込みモデル、効率の悪いチャンキング戦略、およびメタデータフィルタリングの不足により、LLMから関連する応答を得るのが難しくなることをご覧いただけます

ビッグテックはおそらくAI政策を米国で決定することになるでしょうそれは起こってはならない

イノベーションは、どんなテクノロジーの分野においても成功のカギですが、人工知能にとってはカギ以上に重要ですAIの世界は迅速に動いており、特に中国とヨーロッパは、この分野のリーダーシップを巡って米国との競争に臨んでいますその勝者たちには[…]

マイクロソフトリサーチとジョージア工科大学の研究者が、言語モデルの幻覚の統計的な境界を公表しました

最近、言語モデルで浮かび上がった主要な問題の一つは、言語モデル（LM）が存在しない記事タイトルへの言及を含む誤った情報を提供する割合が高いことです。メリアム・ウェブスター辞書は、「幻覚」とは「人工知能アルゴリズムによって生成される合理的ながらも虚偽または誤解を招く応答」と定義しています。ある事例では、法的調査を提出した弁護士たちが正確だと思っていた架空の裁判事例を盛り込んでしまい、5000ドルの罰金を科せられました。医療の現場でも、患者の幻覚は命取りとなり、医師たちは過失訴訟を心配しています。さらに、メディアも幻覚について詳細に報道しており、アメリカ合衆国の大統領は最近、生成型人工知能システムからの欺瞞的な結果に対する保護策を含む大統領令を発令しました。この研究では、マイクロソフトリサーチとジョージア工科大学の研究者が、複数のファクト予測がキャリブレーションされた学習機械（LMs）における幻覚発生率に関する統計的な下限を提示しています。これにより、幻覚の特性が明らかになります。これは幻覚が避けられないことを意味するものではありません。研究チームが議論するとおり、幻覚発生率やキャリブレーションを下げる「事前訓練」手順に「事後訓練」手順を補完するという、実践者の傾向に合致しています。LMは、単語やその他の文字列のシーケンスの確率分布Dであり、正の確率ですべての文字列を予測するLM（典型的なLMの特徴）は、必然的に正の確率で幻覚を示します。ただし、この確率が低い場合、幻覚は珍しいことになります。したがって、幻覚の頻度を測定することは重要です。完全なシーケンスの対数確率または前のトークンに条件付けられた次のトークンの条件付き対数確率は、同一の分布Dを表現するために使用することができます。log D(t1…tm) = Pm i=1 log D(ti | t1 … ti−1)。この些細な数学的な同等性には重要な意味があります。予測と生成には異なる要件がありますが、自然発生テキストに基づいて前のトークンに条件付けられた次のトークンを予測するために、任意のLMを使用することができます。たとえば、次の文を考えてみましょう。Alexa Wilkinsさんは先週の火曜日にランチのためにSalumeriaに行った理由は、レビューでツナサンドイッチが素晴らしいと言われていたからです。予測型言語モデルは、このような文を提案して、電話のタイピングを軽減するかもしれません。ツナの後に単語としてサンドイッチを予測することは有益かもしれませんし、サラダなどの他の可能性のある単語も含まれるかもしれません。しかし、生成型のLMがこの種の文の大部分をランダムにでっち上げるとすると、それは誤りです。この記事によると、完全な状況であっても、強力な予測テキスト能力を持つLMは幻覚を経験するはずです。特に、現在では一般的な事前訓練の初期段階では、生成型LMは予測テキストの性能に合わせて調整されます。さらに、その結果は幻覚発生率の下限を提供し、異なる種類の事実がどのような頻度で幻覚化されるべきかについての示唆を与えるでしょう。上記の例と将来参照と（研究チームが5W（Who-Ate-What-When-Where-Why factoids）と呼ぶもの）は、ルールによって系統的に特定できないという点で共通しています。つまり、これらのほとんどの事実は訓練データに含まれていないため、検証することができません。事実とは異なり、その妥当性が方法論的に確認できるものもあります。多くの理想的な特性を持つ簡略化された状況でも、研究チームはLMが経験する幻覚の数を推定しています。研究チームは、LMの幻覚の根源を特定することを目指すため、統計的な下限が、訓練データがノイズのない状況でi.i.d.になるような単純な文脈で成り立つようにします（ノイズ耐性のある分類技術など）。研究チームは、生成型モデルへのキャリブレーションの自然な拡張を提供しています。彼らのアイデアは、以前のLMのキャリブレーション応用とは異なり、トークンレベルではありませんでした。各事実はさまざまな方法で自然言語で記述される可能性があるため、トークンの確率をキャリブレーションすることは、生のトークンの確率を評価する際にのみ有用です。むしろ、テキスト内の情報（事実または幻覚）のビットごとの確率分布を、彼らの意味レベルのキャリブレーションによって考慮します。LMがキャリブレーションされているとは、確率a≈zで作成された情報が、与えられた確率z∈[0, 1]で自然発生の言語の一部に平均的に現れることを意味します（理想的には、訓練データが収集された分布と同様）。この作品は、訓練データが完璧に事実である理想的な世界でも、事実と幻覚のぼやけはなく、各文書には最大で1つの事実しか含まれず、幻覚を促すようなプロンプトさえ存在しない状況でも、予測精度のために事前学習された言語モデルは幻覚を引き起こすことを示すことを目指しています。さらに、彼らの仮説は、トリグラムモデルなど以前の言語モデルと比較可能なデータセットでのトレーニングにも関わらず、現代の言語モデルが以前の言語モデルよりも大きな幻覚を持つのかを明確にします。単一の事実の出現率によって、キャリブレーションされた言語モデルがさまざまな種類の事実について自己欺瞞をする必要がある可能性を示すことができます。訓練データに頻繁に現れるが一度だけ発生する高い単一事実率を持つ事実が発生すると、幻覚が予測されます。本や記事への言及については、現在研究されている問題の種類の幻覚であることが珍しいことです。したがって、トレーニング中に言語モデルが遭遇する参照などを含む事実の数が、モデルの容量などの他の問題から生じる可能性もあります。また、事後学習を使用せずに事前学習パイプラインを変更することで、幻覚化された参照を修正することが可能かもしれませんが、5Wの例にあるような他の種類の恣意的な事実には対応できません。

新しいLAMPスタック：生成AI開発の革新を照らす

LAMPスタックは、さまざまなドメインでの生成型AIの開発と展開において必須となってきています

「あなたは専門家です」というAIのプロンプトはあなたが思っているほど魔法のようなものではありません

トップのChatGPTプロンプトは、あなたがエキスパートマーケターであることは含まれていませんあなたはエキスパートのCMOですトップのジェネレーティブAIプロンプトはマーケター向けです

Learn more about Search Results 調査 - Page 13