大型モデルがビッグデータと出会う：スパークとLLMsの調和

大型モデルがビッグデータと出会う：スパークと自然言語処理モデルの融合

データエンジニアリング＆ジェネラティブAI

Apache Sparkと大規模言語モデルの使用ステップバイステップガイド

ジェネラティブAIは、大規模言語モデル（LLM）を含む、人間の生活のさまざまな側面を革新しています。過去5年間で、研究プロジェクトから多くの人々にとっての実際のアプリケーションへと進化しました。ジェネラティブAIに興味のあるデータエンジニアとして、この技術が私の仕事とデータエンジニアリングの応用にもたらすものは何か、常に考えてきました。パイロットコーディングや文書作成への支援など、エンジニア向けには一般的なGen AIとLLMの応用があります。しかし、ここでは、データエンジニアリング向けのGen AIとLLMのより専門的な使用例を評価しています。このトピックに興味がある場合は、この記事をお読みいただき、さらなるユースケースについてはVoAGIおよびLinkedinで私に従ってください。

LLM：変換の強力なツール

データエンジニアは構造化された抽象化されたデータが大好きなのは新しいことではありません。しかし、世の中には構造のないまとまりのないデータが溢れており、データエンジニアの注意を必要としています。構造のないデータでの変換は常に複雑で、時には従来のツールでは不可能です。過去には、テキスト（コメント、レビュー、会話など）がそのような難しい構造のないデータの1つでした。シンプルなテキストの変換はそれほど難しくありませんでしたが、複雑な変換ではテキストからより多くの情報を抽出し、より豊かなデータセットを作成することができます。

複雑なテキストの変換の例としては、テキストから名前やオブジェクトを抽出すること、レビューやコメントの感情分析、保管されたテキスト内の重要な情報（個人データ、ユーザーデータなど）のマスキング、言語を標準の言語に翻訳すること、テキストの要約などがあります。幸いなことに、今日のLLMはこれらの変換を行うことができます。したがって、データエンジニアリングにおけるLLMの数百の応用例の1つは、テキストなどの複雑なデータの変換関数として機能することだと考えています。

この記事では、このLLMの能力をApache Spark、強力な分散データ処理システムを介して示します。具体的には、小さなLLMを使用します…

• 「初期ランキング段階への原則的なアプローチ」
• 「共通テーブル式を使ってSQLロジックを向上させる」
• 「Matplotlibでカラーマップをカスタマイズする」

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!