Search Results ML

「固有表現とニュース」

「オランダのニュース記事のデータセットに対して適用された固有表現認識を用いた実験による自動要約、推薦、およびその他の洞察の結果」

北京大学の研究者は、FastServeを紹介しました：大規模な言語モデルLLMsのための分散推論サービスシステム

大規模言語モデル（LLM）の改善により、さまざまな分野での機会が生まれ、新しい波の対話型AIアプリケーションがインスピレーションを与えています。最も注目すべきものの1つはChatGPTで、ソフトウェアエンジニアリングから言語翻訳までの問題を解決するために、人々がAIエージェントと非公式にコミュニケーションを取ることを可能にします。 ChatGPTは、その驚異的な能力のために、史上最も急成長しているプログラムの1つです。MicrosoftのNew Bing、GoogleのBard、MetaのLLaMa、StanfordのAlpaca、DatabricksのDolly、UC BerkeleyのVicunaなど、多くの企業がLLMやChatGPTのような製品をリリースするトレンドに追従しています。 LLMの推論は、ResNetなどの他の深層ニューラルネットワーク（DNN）モデルの推論とは異なる特徴を持っています。LLM上に構築された対話型AIアプリケーションは、機能するために推論を提供する必要があります。これらのアプリの対話的なデザインは、LLM推論のジョブ完了時間（JCT）を迅速に行う必要があり、ユーザーエクスペリエンスを魅力的にするためです。たとえば、データをChatGPTに送信した場合、消費者は即座の応答を期待しています。ただし、LLMの数と複雑さのため、推論サービングインフラは大きな負荷を受けています。企業は、LLM推論操作を処理するために、GPUやTPUなどのアクセラレータを備えた高価なクラスタを設置しています。 DNNの推論ジョブは通常、確定的で非常に予測可能です。つまり、モデルとハードウェアが推論ジョブの実行時間を大部分に決定します。たとえば、同じResNetモデルを特定のGPU上で使用しても、さまざまな入力写真の実行時間はわずかに異なります。一方、LLMの推論位置はユニークな自己回帰パターンを持っています。LLMの推論作業は複数のラウンドを経ます。各イテレーションは1つの出力トークンを生成し、それが次のイテレーションでの次のトークンに追加されます。初めには不明な出力の長さは、実行時間と入力の長さの両方に影響を与えます。ResNetなどの決定論的モデル推論タスクの大部分は、ClockworkやShepherdのような既存の推論サービングシステムによって対応されています。これらのシステムは、正確な実行時間のプロファイリングに基づいてスケジューリングの決定を行いますが、実行時間が可変のLLM推論には効果的ではありません。LLM推論の最も先進的な方法はOrcaです。Orcaはイテレーションレベルのスケジューリングを提案し、各イテレーション後に現在の処理バッチに新しいジョブを追加するか、完了したジョブを削除することができます。ただし、Orcaは先入れ先出し（FCFS）を使用して推論ジョブを処理します。スケジュールされたタスクは完了するまで連続して実行されます。推論ジョブの制約されたGPUメモリ容量と低いJCT要件のため、処理バッチを任意の数の入力関数で拡張することはできません。完了まで実行されるまでのブロックの問題はよく知られています。 LLMはサイズが大きく、絶対的な意味で実行に時間がかかるため、LLM推論操作ではこの問題が特に深刻です。特に出力の長さが長い場合、大規模なLLM推論ジョブは完了に時間がかかり、後続の短いジョブを妨げます。北京大学の研究者たちは、FastServeと呼ばれるLLM向けの分散推論サービングソリューションを開発しました。FastServeは、LLM推論のイテレーションレベルのスケジューリングと自己回帰パターンを利用して、各出力トークンのレベルで事前処理を可能にします。FastServeは、キュー内の別のジョブによって予定されたタスクを続行するか、中断するかを選択できます。これにより、FastServeはJCTと先行ブロッキングを削減し、先制的なスケジューリングを介しています。 FastServeの基盤となるのは、ユニークなスキップジョインのマルチレベルフィードバックキュー（MLFQ）スケジューラです。MLFQは、情報がない環境で平均JCTを最小化するためのよく知られた手法です。各作業は最も高い優先度キューで開始され、一定の時間内に完了しない場合は次の優先度キューに降格されます。LLM推論は、セミ情報が無関係であり、出力の長さが事前にはわからないということを意味します。これがLLM推論と従来の状況の主な違いです。入力の長さは、初期の出力トークンを作成するための実行時間を決定し、LLM推論の自己回帰パターンのため、その実行時間は後続のトークンよりもはるかに長くかかる場合があります。入力が長く、出力が短い場合、初期の出力トークンの実行時間が大部分を占めます。彼らは、この特性を伝統的なMLFQにスキップジョインを追加するために使用します。到着タスクは、最初の出力トークンの実行時間をラインの降格閾値と比較して、適切なキューに参加します。常に最も高い優先度キューに入るのではなく、参加したキューよりも優先度の高いキューはバイパスされ、降格が最小限に抑えられます。MLFQによる先制的なスケジューリングは、中断されたが完了していないジョブを一時的な状態で保持するため、追加のメモリオーバーヘッドを加えます。LLMは、各Transformerレイヤーごとにキー値キャッシュを保持し、中間状態を保存します。バッチサイズが超過しない限り、FCFSキャッシュにはスケジュールされたジョブの中間状態を保持する必要があります。ただし、MLFQで開始された追加のジョブは、優先度の低いキューに降格されます。MLFQの中断されたが完了していないすべてのジョブは、キャッシュによって保持される中間状態を持つ必要があります。LLMのサイズとGPUの制限されたメモリスペースを考慮すると、キャッシュがオーバーフローする可能性があります。キャッシュがいっぱいの場合、スケジューラは新しいジョブの開始を単純に遅延させることができますが、これにより再び先行ブロッキングが発生します。代わりに、彼らは生産的なGPUメモリ管理システムを開発し、スケジュールされたときに低優先度のキュー内のプロセスの状態を前もってアップロードし、キャッシュがほぼいっぱいになったときに状態をオフロードします。効率を高めるために、パイプライン処理と非同期メモリ操作を使用しています。FastServeは、テンソルとパイプライン並列処理などの並列化技術を使用して、1つのGPUに収まらない巨大なモデルのために多数のGPUを使用した分散推論サービスを提供します。パイプラインのブロックを減らすために、スケジューラは同時に複数のジョブのバッチを実行します。キーと値のキャッシュは、キーと値のキャッシュマネージャによって組織化され、GPUとホストメモリの間のメモリスワッピングの管理も行います。彼らは、NVIDIA FasterTransformerをベースにしたFastServeシステムのプロトタイプを実際に実装しました。結果は、FastServeが最先端のOrcaソリューションと比較して、平均およびテールのジョブ完了時間をそれぞれ最大5.1と6.4向上させることを示しています。

AIの時代のIVRテスト：人間と機械のギャップを埋める

「人工知能（AI）がインタラクティブ音声応答（IVR）システムにおける変革的な役割と、それがIVRテストに与える影響について深く探求してください」

「人間と機械の間のギャップを埋めるAI時代のIVRテスト」

人工知能（AI）の変革的な役割を探求し、インタラクティブ音声応答（IVR）システムにおけるその影響とIVRテストへの影響を考える

「LLMsはインコンテキスト学習を達成するためにすべてのレイヤーが必要ですか？」

大規模言語モデル（LLM）は、特にChatGPTの登場によって、最近注目されていますこれらのモデルは通常、広範なデータセットで事前に学習されます新しい...

2023年に知っておくべきトップ15のビッグデータソフトウェア

はじめに今日の急速に進化する世界では、データが意思決定とビジネスの成長の推進力となっているため、私たちは出会う膨大な情報を処理するための最先端のツールにアクセスすることが重要です。しかし、数多くのオプションがあるため、完璧なビッグデータソフトウェアを見つけるのには多くの時間と労力がかかることがあります。そのため、私たちはこの重要なプロセスで貴重な支援を提供することの重要性を理解しています。私たちの目標は、最新の洞察力と厳選された必須のビッグデータツールのリストを提供することで、情報を基にした意思決定を行えるようにすることです。これらのリソースと推奨事項を活用することで、データ駆動型の世界の課題に取り組み、ビジネスの可能性を最大限に引き出すことができます。一緒にこの旅に乗り出し、意思決定を革新する可能性のあるビッグデータ科学ツールの領域を探索しましょう。ビッグデータとは何ですか？その巨大なサイズ、多様性、複雑さにより、それはビッグデータと呼ばれるようになりました。ビッグデータは、取得、処理、輸送、組織化における高い効率と技術を示しています。それは、数多くのソースから得られた構造化、半構造化、非構造化データで構成されています。ビッグデータには以下の5つのVが含まれます：多様性真実性ボリューム価値速度なぜビッグデータソフトウェアと分析を使用するのですか？以下は、ビッグデータソフトウェアと分析を使用する一般的な理由です：記述的、予測的、規定的な分析でデータの使用を活用するため大量のデータを処理するためリアルタイムの更新と分析のためさまざまなデータ型の処理を容易にするため組織に対する費用効果のあるソリューションを提供するため意思決定の向上のため競争力の向上のため顧客エクスペリエンスの向上のためトップ15のビッグデータソフトウェアのリスト Apache Hadoop…

「2023年に知っておくべきトップ15のビッグデータソフトウェア」

はじめに今日の急速に進化する世界では、データが意思決定とビジネスの成長の原動力となるため、私たちは出会う膨大な情報を処理するための最新のツールにアクセスすることが重要です。しかし、数多くの選択肢があるため、完璧なビッグデータソフトウェアを見つけるのには多くの時間と労力がかかる場合があります。そのため、私たちはこの重要なプロセスで貴重な支援を提供することの重要性を理解しています。私たちの目標は、最新の情報と厳選された必須のビッグデータツールのリストを提供し、情報を元にした意思決定を行えるようにすることです。これらのリソースと推奨事項を活用することで、データ駆動の世界の課題に取り組み、ビジネスのフルポテンシャルを引き出すことができます。一緒にこの旅に出かけて、意思決定を革新することができるビッグデータサイエンスツールの領域を探索しましょう。ビッグデータとは何ですか？その巨大なサイズ、多様性、複雑さから、それはビッグデータと呼ばれるようになりました。ビッグデータは、取得、処理、輸送、組織化のための高効率な技術を備えています。様々なソースから得られる構造化、半構造化、非構造化のデータで構成されています。ビッグデータには以下の5つのVが含まれます：多様性真実性ボリュームバリュー速度なぜビッグデータソフトウェアと分析が必要なのですか？ビッグデータソフトウェアと分析を使用する一般的な理由は以下の通りです：記述的、予測的、指示的な分析でデータの使用を活用するため大量のデータを処理するためリアルタイムの更新と分析のためさまざまなデータタイプの処理を容易にするため組織に費用対効果の高いソリューションを提供するため意思決定の向上のため競争力の向上のため顧客体験の向上のためトップ15のビッグデータソフトウェアのリスト Apache Hadoop…

Googleのアナリティクスとデータサイエンスの領域を旅していく

イントロダクション Googleでアナリティクスとデータサイエンスの分野で優れた成果を挙げるプロフェッショナル、リシャブ・ディンドラに会いましょう。リシャブはデータを効果的に活用するための広範な専門知識と情熱を持っています。彼は先進技術を活用してイノベーションを推進し、価値ある洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしく、アナリティクスとデータサイエンスの分野を変革しました。彼の成果と貢献を探求して、Googleの成功を新たな高みに押し上げましょう。リシャブから学びましょう！ AV: Googleでデータサイエンティストになるまでの経歴を教えていただけますか？今の立場に至るためにどのようなステップを踏みましたか？リシャブ氏: 私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートし、それ以来データスペースで働いてきました。そのため、SQLやPythonなどの言語、データモデリング、プレゼンテーションスキル、およびTableauなどのツールの学習は、この旅の最初の必要なステップです。そして、数学と理論に深く入り込んでプロジェクトを行う人もいますが、私は実際にやってみてから概念を理解する方が最も効果的だと感じています。私にとって役立ったいくつかの重要なステップは次のとおりです： Analytics Vidhyaなどのプラットフォームでの素晴らしいコースを受講する Data Scienceのスキルを活用できる役割での機会を見つける自分の情熱のあるテーマでプロジェクトを行うビジネスとの緊密な連携とビジネスの理解自分の知識を他の人と共有することで概念をより良く理解するネットワーキングと他の人から学ぶこと Google Cloudの技術のスキルを獲得するデータサイエンティストを目指すためのスキル AV: 成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように磨きましたか？ ****リシャブ氏: 成功したデータサイエンティストとして、私はデータサイエンティストを目指す人にとって最も重要なスキルは次のとおりだと考えています：テクニカルスキル:…

「Googleのアナリティクスとデータサイエンスの領域を旅する」

紹介 Googleでアナリティクスとデータサイエンスの分野で優れたプロフェッショナルとして活躍するリシャブ・ディングラに会いましょう。リシャブはデータを効果的に活用するための幅広い専門知識と情熱を持っています。彼は先進技術を活用して革新を起こし、貴重な洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしいものであり、アナリティクスとデータサイエンスの分野を変革してきました。彼の功績と貢献を探ってみましょう。それがGoogleの成功を新たな高みに導いたものです。リシャブから学ぼう！ AV：Googleでデータサイエンティストになるまでの道のりを共有していただけますか？今の地位に至るまでにどのようなステップを踏みましたか？リシャブ氏：私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートさせ、それ以来データの分野で働いてきました。ですので、SQL、Python、データモデリング、プレゼンテーションスキル、そしてTableauのようなツールなど、最初に必要なステップはこれらの言語やスキルを学ぶことです。そしてその後、数学や理論の学習に深く入り込んでプロジェクトを行う人もいますが、私は実践して理解するという方法が最も効果的だと感じます。私が取ったいくつかの重要なステップは以下です： Analytics Vidhyaのようなプラットフォームでの素晴らしいコースを受講すること自分の役割でデータサイエンスのスキルを活かせる機会を見つけること情熱を持ってプロジェクトに取り組むことビジネスとの緊密な連携を図り、ビジネスについて学ぶこと自分の知識を他の人と共有することで、概念をより良く理解することネットワーキングを通じて他の人から学ぶこと Google Cloudの技術を習得することデータサイエンティストを目指す人のためのスキル AV：成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように開発しましたか？リシャブ氏：成功したデータサイエンティストとして、私は次のスキルがデータサイエンティストを目指す人にとって最も重要だと考えています：技術的スキル：これには強固な数学、統計学、プログラミングの基礎が含まれます。データサイエンティストはデータを収集、クリーニング、分析、可視化する能力が必要です。また、機械学習やディープラーニングの技術にも精通している必要があります。問題解決スキル：データサイエンティストはデータを用いて問題を特定し、解決する能力が必要です。彼らは批判的かつ創造的に考え、新しい革新的な解決策を提案する必要があります。コミュニケーションスキル：データサイエンティストは技術的、非技術的な双方のオーディエンスに対して自分の発見を伝えることができる必要があります。複雑な概念を明確かつ簡潔に説明する能力が求められます。チームワークスキル：データサイエンティストはしばしば他のデータサイエンティスト、エンジニア、ビジネスプロフェッショナルと共同でプロジェクトに取り組みます。彼らは効果的に協力し、共通の目標に向かって働く必要があります。私はこれらのスキルをコースを受講したり、個人プロジェクトに取り組んだり、他のデータサイエンティストとネットワーキングを行ったり、彼らの経験から学んだりすることで開発しました。データサイエンティストを目指す人は避けるべき間違い…

Google at ACL 2023′ ACL 2023におけるGoogle

Posted by Malaya Jules, Program Manager, Google 今週、自然言語処理と理解のリーダーであり、ACL 2023のダイヤモンドレベルスポンサーであるGoogleでは、50以上の研究発表と、さまざまなワークショップやチュートリアルへの積極的な参加を通じて、この広範な研究領域を紹介いたします。 ACL（Association for Computational Linguistics）は、自然言語に対する計算的手法に関連する幅広い研究分野をカバーする一流の会議であり、オンラインで開催されています。 ACL 2023に登録されている場合、Googleブースにお立ち寄りいただき、数十億人のために興味深い問題を解決するためにGoogleで行われているプロジェクトについて詳しくお知りください。以下でGoogleの参加についてもっと詳しく知ることもできます（Googleの関連情報は太字で表示されます）。理事会および組織委員会エリアチェアは、Dan Garrette、ワークショップチェアは、Annie Louis、パブリケーションチェアは、Lei Shu、プログラム委員会には、Vinodkumar Prabhakaran、Najoung Kim、Markus Freitagが含まれます。注目論文…

Learn more about Search Results ML - Page 341