Search Results link

ネットワーキングの下手さをやめてください！Spotifyのデータサイエンティストが教えるこれらの6つの必須ステップでデータサイエンスの求人市場で目立とう

「データサイエンティストとして混雑した就職市場で差をつける方法」

データロボットとAWS Hackathon 2023でGenAI CVスクリーナーを構築する

この記事は、DataRobot＆AWS Hackathon 2023で第3位を獲得した音声AI履歴書スクリーナーの解決策について述べていますソリューションの設計には、DataRobotとAWS Bedrockが必要です...

高度なRAG 01：小から大への検索

RAG（Retrieval-Augmented Generation）システムは、与えられた知識ベースから関連情報を検索することで、事実に基づいて文脈に即した特定のドメインに関連する情報を生成することができます...

「Scikit-LLMを使用したゼロショットテキスト分類の経験」

テキストの分類は、自然言語処理（NLP）の最も一般的な応用の1つですこれは、文書内のテキストの一部に予め定義されたクラスを割り当てるタスクですテキストは…

イントロダクションジェネラティブAIは現在、世界中で広く使用されています。大規模言語モデルのテキスト理解能力とそれに基づいたテキスト生成能力により、チャットボットからテキスト分析まで様々なアプリケーションが生まれました。しかし、これらの大規模言語モデルは非構造化な形式でテキストを生成することが多いです。時には、LLM（大規模言語モデル）によって生成された出力を、構造化された形式、例えばJSON（JavaScript Object Notation）形式にしたいケースもあります。例えば、LLMを使用してソーシャルメディアの投稿を分析し、LLMによって生成された出力をJSON/python変数としてコード内で扱い他のタスクを実行する必要があるかもしれません。このような場合に、プロンプトエンジニアリングを使ってこれを実現することは可能ですが、プロンプトの調整には多くの時間がかかります。そこで、LangChainでは出力パースを導入しており、これによりLLMの出力を構造化された形式に変換することができます。学習目標大規模言語モデルによって生成された出力の解釈 Pydanticを使用したカスタムデータ構造の作成プロンプトテンプレートの重要性とLLMの出力を整形してプロンプトを生成する方法の理解 LangChainを使用してLLMの出力のフォーマット指示を作成する方法の学習 JSONデータをPydanticオブジェクトにパースする方法の理解この記事はデータサイエンスブログマラソンの一環として掲載されました。 LangChainと出力パースとは？ LangChainは、大規模言語モデルを使用したアプリケーションを短時間で構築できるPythonライブラリです。OpenAI GPT LLM、GoogleのPaLM、そしてFalcon、LlamaなどのHugging Faceのオープンソースモデルなど、さまざまなモデルに対応しています。LangChainを使用すると、大規模言語モデルへのプロンプトのカスタマイズが容易になり、組込みのベクトルストアを提供するため、入出力の埋込みを保存することができます。そのため、数分でドキュメントをクエリできるアプリケーションを作成することができます。 LangChainは、大規模言語モデルがインターネットから情報を取得できるようにするためのエージェント機能も提供しています。また、出力パーサーも提供しており、大規模言語モデルによって生成されたデータを構造化することができます。LangChainには、リストパーサー、日時パーサー、列挙型パーサーなどさまざまな出力パーサーがあります。この記事では、LLMが生成した出力をJSON形式にパースすることができるJSONパーサーについて説明します。以下の図は、LLMの出力がPydanticオブジェクトにパースされる一般的なフローを示しており、Python変数で即座に使用できるデータが作成されます。はじめに – モデルのセットアップこのセクションでは、LangChainを使用してモデルをセットアップします。この記事全体を通して、PaLMをLarge Language Modelとして使用します。環境としてGoogle Colabを使用しますが、PaLMを他のどのLarge…

「6つの人工知能の神話を解明：事実とフィクションの分離」

「人気のあるAIの神話の真実を見つけ出し、今日の世界における生成型AIの本当の能力と影響に深く没頭してください」

Artificial Intelligence

「ブンデスリーガのマッチファクトショットスピード – ブンデスリーガで一番シュートが速いのは誰か？」

サッカーショットには、観客、選手、さらには解説者までもが一瞬あっという間に感嘆の念に包まれるような魔法のようなものがありますあなたがバンデスリーガのスタジアム全体をエネルギーで震わせた衝撃の強さを思い出してみてくださいそれは一体何が私たちの想像力をそんなに強烈に捉えるのでしょうか？それについて […]