Search Results Databricks

「5層データスタックの構築方法」

「パワフルなツールコンポーネントの選択肢は、データパイプラインの各層が独自の機能を提供する一元化された拡張可能なデータプラットフォームを作り出しますオーガとは異なります...」

「AIスタートアップのトレンド：Y Combinatorの最新バッチからの洞察」

シリコンバレーを拠点とする有名なスタートアップアクセラレータであるY Combinator（YC）は、最近、2023年冬のコホートを発表しました予想通り、269社のうち約31％のスタートアップ（80社）がAIを自己申告しています

予測分析は我々があまり考えずに利用する標準的なツールです。予測分析はデータマイニング、統計学、機械学習、数理モデリング、人工知能の手法を用いて、未知の出来事について将来の予測を行います。これは過去のデータを使用して予測を作成します。例えば、特定の日の市場で製品（たとえば花）の売上を予測する場合、バレンタインデーであればバラの売上はより多くなるでしょう！特別な日には通常の日よりも花の売上が高くなることは明らかです。予測分析は寄与要素を特定し、データを収集し、機械学習、データマイニング、予測モデリング、その他の分析手法を適用して将来を予測することを目指します。データから得られる洞察には、過去には理解されていなかった複数の要素間のパターンや関係が含まれています。それらの隠れたアイデアを見つけることは、あなたが思っている以上に価値があります。予測分析は企業が業務を改善し目標を達成するために使用されます。予測分析は構造化データと非構造化データの両方の洞察を活用することができます。予測分析、ディープラーニング、人工知能の関係は何ですか？例えば、コンピュータが音声を認識したり、意思決定を行ったりする能力をどれくらい持っているかを研究することは、コンピュータ科学の一分野である人工知能の範疇に含まれます。人工知能（AI）は、知識を獲得し、それを新しい判断に適用することによって、コンピュータに人間と同等かそれ以上に反応する能力を教えることを目指しています。それはアルゴリズムを用いてデータのパターンを見つけ出し、将来の出来事を予測することに関連しています。機械学習が共通のパターンを識別するためには、大量のデータを処理する必要があります。機械は練習を通じて情報やスキル（またはデータ）を獲得します。ディープラーニングはテキスト、音声、画像、写真などを扱う機械学習の一分野です。ディープラーニングは、自転車の画像とオートバイの画像を区別するなど、複雑な操作を理解するために膨大な量のデータが必要です。予測分析とは、機械学習、統計学、過去のデータを使用して将来の確率とトレンドを予測することを指します。また、将来の出来事の進行に影響を及ぼす可能性のある行動を推奨するという点で、他の機械学習手法よりも進んでいます。予測分析には人工知能と機械学習の両方が使用されます。実際、分析ツールは予測スコアを生成し、エンドユーザーにどの手順を取るべきかをアドバイスします。一言で言えば、人工知能は機械学習と予測分析の総称です。アルゴリズムとモデル予測分析は、機械学習、データマイニング、統計学、分析、モデリングなどの分野からさまざまな手法を使用します。機械学習とディープラーニングモデルは、予測アルゴリズムの主要なカテゴリです。本記事では、いくつかのモデルについて説明します。それぞれが固有の利点と欠点を持っているにもかかわらず、特定の業界に特化した基準に従うアルゴリズムを使って再利用やトレーニングが可能です。データの収集、前処理、モデリング、展開は、予測分析の反復プロセスのステップであり、出力をもたらします。我々は手続きを自動化して、新しいデータに基づいて連続的に予測を提供することができます。モデルが構築された後は、トレーニングプロセスを繰り返すことなく、新しいデータを入力して予測を生成することができます。ただし、これにはトレーニングにかなりのデータが必要となるという欠点があります。予測分析は機械学習アルゴリズムに依存しているため、正確なデータ分類を行うためには正確なデータラベルが必要です。モデルが1つのシナリオから別のシナリオにおける結論を一般化する能力の不足は、一般化可能性に関する懸念を引き起こします。予測分析モデルの適用性の調査結果には特定の問題が存在しますが、転移学習などの技術を用いることでこれらの問題を解決することができる場合もあります。予測分析のモデル分類モデル最もシンプルなモデルの1つです。古いデータから学んだ知識に基づいて、新しいデータを分類します。一部の分類手法には、決定木やサポートベクターマシンがあります。これらは、True/FalseやYes/Noなどのバイナリの質問に応えることで、マルチクラスやバイナリの分類に利用することができます。クラスタリングモデルクラスタリングモデルは、共通の属性に基づいてデータポイントをクラスタリングします。これは教師なし学習アルゴリズムであり、教師付き分類とは異なります。クラスタリングアルゴリズムは数多く存在しますが、どれもすべてのアプリケーションシナリオにおいて最良とは言えません。予測モデルこれはメトリック値の予測を扱い、前のデータからの教訓に基づいて新しいデータに対して数値を計算します。これは最もポピュラーな予測分析手法の1つです。数値データにアクセスできる場所ではどこでも使用することができます。外れ値モデルその名前が示すように、データセットの異常なデータアイテムに基づいています。データ入力エラー、計測エラー、実験エラー、データ処理のミス、サンプルエラー、または自然エラーなど、あらゆるものが外れ値と考えられます。一部の外れ値は性能や精度を低下させる可能性がありますが、他の外れ値はユニークさの発見や新しい推論の観察に役立ちます。時系列モデル入力パラメータとして時間の期間を使用し、任意のデータポイントの系列に適用することができます。過去のデータから数値的な指標を作成し、そのメーターを使用して将来のデータを予測します。最高の予測分析ツールとプラットフォーム H2O…

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

「ベクトルデータベースの力を活用する：個別の情報で言語モデルに影響を与える」

この記事では、ベクトルデータベースと大規模言語モデルという2つの新しい技術がどのように連携して動作するかについて学びますこの組み合わせは現在、大きな変革を引き起こしています...

言語ドメインにおける画期的かつオープンソースの対話型AIモデルのリスト

会話型AIは、仮想エージェントやチャットボットのような技術を指し、大量のデータと自然言語処理を使用して人間の対話を模倣し、音声とテキストを認識するものです。最近、会話型AIの領域は大きく進化し、特にChatGPTの登場によります。以下は、会話型AIを革新している他のオープンソースの大規模言語モデル（LLM）のいくつかです。 LLaMA リリース日：2023年2月24日 LLaMaは、Meta AIによって開発された基礎的なLLMです。他のモデルよりも柔軟で責任ある設計となっています。LLaMaのリリースは、研究コミュニティへのアクセスを民主化し、責任あるAIの実践を促進することを目的としています。 LLaMaは、7Bから65Bまでのパラメータ数の異なるサイズで提供されています。モデルへのアクセス許可は、業界の研究所、学術研究者などに対してケースバイケースで付与されます。 OpenAssistiant リリース日：2023年3月8日 Open Assistantは、LAION-AIによって開発されたプロジェクトで、優れたチャットベースの大規模言語モデルを提供することを目的としています。大量のテキストとコードのトレーニングを通じて、クエリへの応答、テキスト生成、言語の翻訳、創造的なコンテンツの生成など、さまざまなタスクを実行する能力を獲得しています。 OpenAssistantはまだ開発段階ですが、Google検索などの外部システムとのやり取りを通じて情報を収集するなど、既にいくつかのスキルを獲得しています。また、オープンソースのイニシアチブでもあり、誰でも進展に貢献することができます。 Dolly リリース日：2023年3月8日 Dollyは、Databricksによって開発された命令に従うLLMです。商用利用のためにライセンスされたDatabricksの機械学習プラットフォームでトレーニングされています。DollyはPythia 12Bモデルで動作し、約15,000件の命令/応答のレコードをトレーニングデータとして使用しています。最先端ではありませんが、Dollyは命令に従うパフォーマンスが非常に高品質です。 Alpaca リリース日：2023年3月13日 Alpacaは、スタンフォード大学によって開発された小規模な命令に従うモデルです。MetaのLLaMa（7Bパラメータ）モデルをベースにしています。多くの命令に従うタスクで優れたパフォーマンスを発揮する一方で、再現性も容易で安価になるように設計されています。 OpenAIのtext-davinci-003モデルに似ていますが、製作コストがかなり安価（＜$600）です。モデルはオープンソースであり、52,000の命令に従うデモンストレーションのデータセットでトレーニングされています。 Vicuna リリース日：2023年4月 Vicunaは、UC Berkeley、CMU、Stanford、UC San…

「MosaicMLは、AIユーザーが精度を向上し、コストを削減し、時間を節約するのを支援します」

スタートアップのMosaicMLは、大規模なAIモデルの簡単なトレーニングと展開のためのツールを提供することにより、AIコミュニティが予測精度を向上させ、コストを削減し、時間を節約するお手伝いをすることを目指しています。 NVIDIAのAI Podcastのこのエピソードでは、ホストのNoah KravitzがMosaicMLのCEO兼共同創設者であるNaveen Rao氏と対談し、同社が大規模な言語モデルへのアクセスを民主化することを目指している方法について話します。 MosaicMLは、NVIDIAのInceptionプログラムのメンバーであり、広範な採用の2つの主要な障壁を特定しています。それは、モデルをトレーニングするために大量のGPUを調整する難しさと、このプロセスに関連するコストです。 MosaicMLは、先月、DatabricksがMosaicMLを13億ドルで買収することを発表した際にニュースになりました。モデルのトレーニングをアクセス可能にすることは、モデルの動作を制御し、データプライバシーを尊重し、AIに基づく新しい製品を迅速に開発するために多くの企業にとって重要です。関連記事 Jules Anh Tuan Nguyen氏がAIを使った義手とビデオゲームの制御方法を説明ミネソタ大学の博士研究員が、義足の指の動きまで含めて義手を思い通りに制御できるようにする取り組みについて説明します。 OverjetのAi Wardah Inam氏が歯科にAIを導入することについて語る NVIDIA InceptionのメンバーであるOverjetは、歯科医院にAIを導入することに向けて迅速に進化しています。同社のCEOであるWardah Inam博士が、AIを利用して患者ケアを改善する方法について説明します。 ImmunaiのCTO兼共同創業者であるLuis Voloch氏が深層学習を用いた新薬の開発について語る Immunaiの共同創業者兼最高技術責任者であるLuis Voloch氏が、機械学習とデータサイエンスの視点で免疫システムの課題に取り組む方法について話します。…

北京大学の研究者は、FastServeを紹介しました：大規模な言語モデルLLMsのための分散推論サービスシステム

大規模言語モデル（LLM）の改善により、さまざまな分野での機会が生まれ、新しい波の対話型AIアプリケーションがインスピレーションを与えています。最も注目すべきものの1つはChatGPTで、ソフトウェアエンジニアリングから言語翻訳までの問題を解決するために、人々がAIエージェントと非公式にコミュニケーションを取ることを可能にします。 ChatGPTは、その驚異的な能力のために、史上最も急成長しているプログラムの1つです。MicrosoftのNew Bing、GoogleのBard、MetaのLLaMa、StanfordのAlpaca、DatabricksのDolly、UC BerkeleyのVicunaなど、多くの企業がLLMやChatGPTのような製品をリリースするトレンドに追従しています。 LLMの推論は、ResNetなどの他の深層ニューラルネットワーク（DNN）モデルの推論とは異なる特徴を持っています。LLM上に構築された対話型AIアプリケーションは、機能するために推論を提供する必要があります。これらのアプリの対話的なデザインは、LLM推論のジョブ完了時間（JCT）を迅速に行う必要があり、ユーザーエクスペリエンスを魅力的にするためです。たとえば、データをChatGPTに送信した場合、消費者は即座の応答を期待しています。ただし、LLMの数と複雑さのため、推論サービングインフラは大きな負荷を受けています。企業は、LLM推論操作を処理するために、GPUやTPUなどのアクセラレータを備えた高価なクラスタを設置しています。 DNNの推論ジョブは通常、確定的で非常に予測可能です。つまり、モデルとハードウェアが推論ジョブの実行時間を大部分に決定します。たとえば、同じResNetモデルを特定のGPU上で使用しても、さまざまな入力写真の実行時間はわずかに異なります。一方、LLMの推論位置はユニークな自己回帰パターンを持っています。LLMの推論作業は複数のラウンドを経ます。各イテレーションは1つの出力トークンを生成し、それが次のイテレーションでの次のトークンに追加されます。初めには不明な出力の長さは、実行時間と入力の長さの両方に影響を与えます。ResNetなどの決定論的モデル推論タスクの大部分は、ClockworkやShepherdのような既存の推論サービングシステムによって対応されています。これらのシステムは、正確な実行時間のプロファイリングに基づいてスケジューリングの決定を行いますが、実行時間が可変のLLM推論には効果的ではありません。LLM推論の最も先進的な方法はOrcaです。Orcaはイテレーションレベルのスケジューリングを提案し、各イテレーション後に現在の処理バッチに新しいジョブを追加するか、完了したジョブを削除することができます。ただし、Orcaは先入れ先出し（FCFS）を使用して推論ジョブを処理します。スケジュールされたタスクは完了するまで連続して実行されます。推論ジョブの制約されたGPUメモリ容量と低いJCT要件のため、処理バッチを任意の数の入力関数で拡張することはできません。完了まで実行されるまでのブロックの問題はよく知られています。 LLMはサイズが大きく、絶対的な意味で実行に時間がかかるため、LLM推論操作ではこの問題が特に深刻です。特に出力の長さが長い場合、大規模なLLM推論ジョブは完了に時間がかかり、後続の短いジョブを妨げます。北京大学の研究者たちは、FastServeと呼ばれるLLM向けの分散推論サービングソリューションを開発しました。FastServeは、LLM推論のイテレーションレベルのスケジューリングと自己回帰パターンを利用して、各出力トークンのレベルで事前処理を可能にします。FastServeは、キュー内の別のジョブによって予定されたタスクを続行するか、中断するかを選択できます。これにより、FastServeはJCTと先行ブロッキングを削減し、先制的なスケジューリングを介しています。 FastServeの基盤となるのは、ユニークなスキップジョインのマルチレベルフィードバックキュー（MLFQ）スケジューラです。MLFQは、情報がない環境で平均JCTを最小化するためのよく知られた手法です。各作業は最も高い優先度キューで開始され、一定の時間内に完了しない場合は次の優先度キューに降格されます。LLM推論は、セミ情報が無関係であり、出力の長さが事前にはわからないということを意味します。これがLLM推論と従来の状況の主な違いです。入力の長さは、初期の出力トークンを作成するための実行時間を決定し、LLM推論の自己回帰パターンのため、その実行時間は後続のトークンよりもはるかに長くかかる場合があります。入力が長く、出力が短い場合、初期の出力トークンの実行時間が大部分を占めます。彼らは、この特性を伝統的なMLFQにスキップジョインを追加するために使用します。到着タスクは、最初の出力トークンの実行時間をラインの降格閾値と比較して、適切なキューに参加します。常に最も高い優先度キューに入るのではなく、参加したキューよりも優先度の高いキューはバイパスされ、降格が最小限に抑えられます。MLFQによる先制的なスケジューリングは、中断されたが完了していないジョブを一時的な状態で保持するため、追加のメモリオーバーヘッドを加えます。LLMは、各Transformerレイヤーごとにキー値キャッシュを保持し、中間状態を保存します。バッチサイズが超過しない限り、FCFSキャッシュにはスケジュールされたジョブの中間状態を保持する必要があります。ただし、MLFQで開始された追加のジョブは、優先度の低いキューに降格されます。MLFQの中断されたが完了していないすべてのジョブは、キャッシュによって保持される中間状態を持つ必要があります。LLMのサイズとGPUの制限されたメモリスペースを考慮すると、キャッシュがオーバーフローする可能性があります。キャッシュがいっぱいの場合、スケジューラは新しいジョブの開始を単純に遅延させることができますが、これにより再び先行ブロッキングが発生します。代わりに、彼らは生産的なGPUメモリ管理システムを開発し、スケジュールされたときに低優先度のキュー内のプロセスの状態を前もってアップロードし、キャッシュがほぼいっぱいになったときに状態をオフロードします。効率を高めるために、パイプライン処理と非同期メモリ操作を使用しています。FastServeは、テンソルとパイプライン並列処理などの並列化技術を使用して、1つのGPUに収まらない巨大なモデルのために多数のGPUを使用した分散推論サービスを提供します。パイプラインのブロックを減らすために、スケジューラは同時に複数のジョブのバッチを実行します。キーと値のキャッシュは、キーと値のキャッシュマネージャによって組織化され、GPUとホストメモリの間のメモリスワッピングの管理も行います。彼らは、NVIDIA FasterTransformerをベースにしたFastServeシステムのプロトタイプを実際に実装しました。結果は、FastServeが最先端のOrcaソリューションと比較して、平均およびテールのジョブ完了時間をそれぞれ最大5.1と6.4向上させることを示しています。

「注目すべき8つのトレンディングで新しい大規模言語モデル」

最近、ニュースで大型言語モデル（LLM）についてよく耳にしますもし知らない方がいらっしゃる場合、LLMは大量のテキストデータで訓練される人工知能の一種ですこれにより、ChatGPTのような、しばしば人間が書いたテキストと区別がつかないテキストを生成することができます...

「ODSC Europe 2023に参加するためのすべての無料バーチャルセッション」

ODSC Europeは来週、6月14日から15日に開催されますデータサイエンスコミュニティを実際の場でもオンラインでもつなげ、再び交流し、学び、成長することを楽しみにしています実際の参加パスはほぼ完売ですが、心配しないでくださいもしTobacco Dockでの参加ができない場合は...

Europe 2023

Learn more about Search Results Databricks - Page 9