Search Results ML

イノベーションを推進するための重要なツール：データレイクハウスにおけるジェネラティブAIの向上

LLMおよびジェネレーティブAIアプリの登場により、データは全エコシステムの中心的な要素となっています本記事では、データレイクハウスの上でAIアプリをサポートするツールについて議論します

トレンドのAI GitHub リポジトリ 2023年10月9日の週

「GitHubは人気のあるコードホスティングプラットフォームであり、開発者がさまざまなプログラミング言語やフレームワークのプロジェクトを共有し、共同作業することができますデータサイエンスの最新動向を知りたいという興味があるなら、GitHubは必須のプラットフォームですでは、さあ...」

GitHub

「ODSC West AIエキスポであなたのAIの解決策を見つけよう」

数週間後のODSC Westの一環として開催されるAI Expo and Demo Hallでは、Microsoft Azure、Hewlett Packard、Iguazio、neo4j、Tangent Works、Qwak、Clouderaなどの業界大手組織の代表者と直接会う機会がありますまた、最新のNLPツールについても学ぶことができます

West 2023

リアルワールドの問題にKaggleのコンテストは役立つのか？

現実の世界に備えるために、Kaggleのコンペに参加する価値はあるでしょうか？

Data science

「LXTのテクノロジーバイスプレジデント、アムル・ヌール・エルディン – インタビューシリーズ」

アムル・ヌール・エルディンは、LXTのテクノロジー担当副社長ですアムルは、自動音声認識（ASR）の文脈での音声/音響処理と機械学習の分野で16年以上の専門的な経験を持つ博士研究員です特に近年は、深層学習技術に焦点を当てた実務経験に注力しています

「2/10から8/10までの週のトップ重要なLLM論文」

大規模言語モデル（LLMs）は最近急速に進化しています新しい世代のモデルが開発されるにつれて、研究者やエンジニアは最新の進歩について情報を得ることが重要です...

「ベクターデータベースを使用してLLMアプリを作成する方法」

イントロダクション人工知能の領域では、OpenAIのGPT-4、AnthropicのClaude 2、MetaのLlama、Falcon、GoogleのPalmなど、Large Language Models（LLMs）やGenerative AIモデルが問題解決の方法を革新しています。LLMsはディープラーニングの技術を使用して、自然言語処理のタスクを実行します。この記事では、ベクトルデータベースを使用してLLMアプリを構築する方法を紹介します。おそらくAmazonの顧客サービスやFlipkartのDecision Assistantのようなチャットボットと対話したことがあるかもしれません。それらは人間に近いテキストを生成し、実際の会話と区別がつきにくいインタラクティブなユーザーエクスペリエンスを提供します。しかし、これらのLLMsは最適化する必要があります。特定のユースケースに対して非常に関連性が高く具体的な結果を生成するようにするためには。例えば、Amazonの顧客サービスアプリに「Androidアプリで言語を変更する方法は？」と尋ねた場合、正確にこのテキストでトレーニングされていないため、答えることができないかもしれません。ここでベクトルデータベースが助けになります。ベクトルデータベースは、ドメインのテキスト（この場合はヘルプドキュメント）と、注文履歴などを含むすべてのユーザーの過去のクエリを数値の埋め込みとして保存し、リアルタイムで似たようなベクトルの検索を提供します。この場合、このクエリを数値ベクトルにエンコードし、ベクトルデータベース内で類似のベクトルを検索し、最も近い隣人を見つけるために使用します。このようなヘルプを通じて、チャットボットはユーザーを正しくAmazonアプリの「言語設定の変更」セクションに案内できます。学習目標 LLMsの動作原理、制約、およびベクトルデータベースの必要性について学ぶ。埋め込みモデルの紹介と、アプリケーションでのエンコードと使用方法について学ぶ。ベクトルデータベースとそれがLLMアプリケーションアーキテクチャの一部である方法について学ぶ。ベクトルデータベースとTensorFlowを使用してLLM/Generative AIアプリケーションをコーディングする方法を学ぶ。この記事はデータサイエンスブログマラソンの一環として公開されました。 LLMsとは何ですか？ Large Language Models（LLMs）は、自然言語を処理し理解するためにディープラーニングアルゴリズムを使用する基本的な機械学習モデルです。これらのモデルは大量のテキストデータでトレーニングされ、言語のパターンやエンティティの関係を学習します。LLMsは、言語の翻訳、感情分析、チャットボットの会話などのさまざまなタイプの言語タスクを実行することができます。彼らは複雑なテキストデータを理解し、エンティティとそれらの間の関係を識別し、統率的で文法的に正確な新しいテキストを生成することができます。 LLMsについてもっと詳しく読む。 LLMsはどのように動作するのですか？ LLMsは大量のデータ（しばしばテラバイト、さらにはペタバイト）を使用してトレーニングされ、数十億または数兆のパラメータを持ち、ユーザーのプロンプトやクエリに基づいて関連する応答を予測および生成することができます。入力データをワード埋め込み、自己注意層、およびフィードフォワードネットワークを通じて処理し、意味のあるテキストを生成します。LLMアーキテクチャについてもっと読むことができます。 LLMsの制約 LLMsは非常に高い精度で応答を生成するように見えますが、多くの標準化テストでは人間を超える結果を示すことがありますが、それでもこれらのモデルには制約があります。まず第一に、彼らは自身のトレーニングデータに頼ることだけで推論を行い、データ内の特定の情報や現在の情報が欠けているかもしれません。これにより、モデルが誤ったまたは異常な応答を生成することがあります（「幻覚」とも言われます）。これを軽減するための取り組みが継続中です。第二に、モデルはユーザーの期待に合致するように振る舞ったり応答するとは限りません。…