Search Results venv

「2023年、オープンLLMの年」

2023年には、大型言語モデル（Large Language Models、LLMs）への公衆の関心が急増しました。これにより、多くの人々がLLMsの定義と可能性を理解し始めたため、オープンソースとクローズドソースの議論も広範な聴衆に届くようになりました。Hugging Faceでは、オープンモデルに大いに興味を持っており、オープンモデルは研究の再現性を可能にし、コミュニティがAIモデルの開発に参加できるようにし、モデルのバイアスや制約をより簡単に評価できるようにし、チェックポイントの再利用によってフィールド全体の炭素排出量を低減するなど、多くの利点があります（その他の利点もあります）。では、オープンLLMsの今年を振り返ってみましょう！文章が長くなりすぎないようにするために、コードモデルには触れません。 Pretrained Large Language Modelの作り方まず、大型言語モデルはどのようにして作られるのでしょうか？（もし既に知っている場合は、このセクションをスキップしてもかまいません）モデルのアーキテクチャ（コード）は、特定の実装と数学的な形状を示しています。モデルのすべてのパラメータと、それらが入力とどのように相互作用するかがリストとして表されます。現時点では、大部分の高性能なLLMsは「デコーダーのみ」トランスフォーマーアーキテクチャのバリエーションです（詳細は元のトランスフォーマーペーパーをご覧ください）。訓練データセットには、モデルが訓練された（つまり、パラメータが学習された）すべての例と文書が含まれています。したがって、具体的には学習されたパターンが含まれます。ほとんどの場合、これらの文書にはテキストが含まれており、自然言語（例：フランス語、英語、中国語）、プログラミング言語（例：Python、C）またはテキストとして表現できる構造化データ（例：MarkdownやLaTeXの表、方程式など）のいずれかです。トークナイザは、訓練データセットからテキストを数値に変換する方法を定義します（モデルは数学的な関数であり、したがって入力として数値が必要です）。トークン化は、テキストを「トークン」と呼ばれるサブユニットに変換することによって行われます（トークン化方法によっては単語、サブワード、または文字になる場合があります）。トークナイザの語彙サイズは、トークナイザが知っている異なるトークンの数を示しますが、一般的には32kから200kの間です。データセットのサイズは、これらの個々の「原子論的」単位のシーケンスに分割された後のトークンの数としてよく測定されます。最近のデータセットのサイズは、数千億から数兆のトークンに及ぶことがあります！訓練ハイパーパラメータは、モデルの訓練方法を定義します。新しい例ごとにパラメータをどれだけ変更すべきですか？モデルの更新速度はどのくらいですか？これらのパラメータが選択されたら、モデルを訓練するためには1）大量の計算パワーが必要であり、2）有能な（そして優しい）人々が訓練を実行し監視する必要があります。訓練自体は、アーキテクチャのインスタンス化（訓練用のハードウェア上での行列の作成）および上記のハイパーパラメータを使用して訓練データセット上の訓練アルゴリズムの実行からなります。その結果、モデルの重みが得られます。これらは学習後のモデルパラメータであり、オープンな事前学習モデルへのアクセスに関して多くの人々が話す内容です。これらの重みは、推論（つまり、新しい入力の予測やテキストの生成など）に使用することができます。事前学習済みLLMsは、重みが公開されると特定のタスクに特化または適応することもあります。それらは、「ファインチューニング」と呼ばれるプロセスを介して、ユースケースやアプリケーションの出発点として使用されます。ファインチューニングでは、異なる（通常はより専門化された小規模な）データセット上でモデルに追加の訓練ステップを適用して、特定のアプリケーションに最適化します。このステップには、計算パワーのコストがかかりますが、モデルをゼロから訓練するよりも財政的および環境的にはるかにコストがかかりません。これは、高品質のオープンソースの事前学習モデルが非常に興味深い理由の一つです。コミュニティが限られたコンピューティング予算しか利用できない場合でも、自由に使用し、拡張することができます。 2022年 – サイズの競争からデータの競争へ 2023年以前、コミュニティで利用可能だったオープンモデルはありましたか？ 2022年初頭まで、機械学習のトレンドは、モデルが大きければ（つまり、パラメータが多ければ）、性能が良くなるというものでした。特に、特定のサイズの閾値を超えるモデルは能力が向上するという考えがあり、これらの概念はemergent abilitiesとscaling lawsと呼ばれました。2022年に公開されたオープンソースの事前学習モデルは、主にこのパラダイムに従っていました。 BLOOM（BigScience Large Open-science…

高度なRAGテクニック：イラスト入り概要

この投稿の目標は、利用可能なRAGアルゴリズムとテクニックの概要と説明をすることなので、コードの実装の詳細には立ち入らず、参照のみ行い、それについては放置します

「Amazon SageMaker Pipelines、GitHub、およびGitHub Actionsを使用して、エンドツーエンドのMLOpsパイプラインを構築する」

機械学習（ML）モデルは孤立して動作するものではありません価値を提供するためには、既存の製造システムやインフラに統合する必要がありますそのため、設計と開発の過程でMLライフサイクル全体を考慮する必要がありますMLオペレーション（MLOps）は、MLモデルの生涯にわたって効率化、自動化、およびモニタリングを重視しています堅牢なMLOpsパイプラインを構築するには、異なる部門間の協力が求められます[…]

NexusRaven-V2をご紹介します：13B LLMは、ゼロショット機能呼び出しでGPT-4を凌駕し、ナチュラルランゲージの指示を実行可能なコードに変換する能力を持っています

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-12-at-12.42.47-AM-1024×623.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-12-at-12.42.47-AM-150×150.png”/>LLMsは、コード関連のデータセットで微調整することができ、関数呼び出しを含むコードスニペットを生成することができます。これらのモデルは、コンテキストやプロンプトによって提供された入力に基づいて、関数呼び出しを含むコードを提案または生成することができます。言語モデルは、コードに関連するクエリや指示の自然言語理解に使用することができます。開発者は質問や説明を入力し、モデルはそれらを解釈して関連する関数呼び出しやコードセグメントを提供することができます。LLMsは、提供されたコンテキストや部分的なコードに基づいて、関数呼び出しを提案したり関連する関数を提案したりすることによって、コード補完を支援することができます。これにより、開発者はより迅速かつ正確にコードを記述することができます。LLMsは、特定のタスクや問題の説明に基づいて、適切なAPIや手順をガイドすることで、開発者がコード内で呼び出すべき適切な関数を見つけるのを支援することができます。LLMsを開発環境に統合することで、開発者に対して関数呼び出し、パラメータのタイプ、または潜在的なエラーに対してリアルタイムのサポートを提供することができます。Nexusflowの研究者は、オープンソースのLLMモデル、<a href=”https://www.voagi.com/nexusravenv2-outperforms-gpt4-in-nexusflows-latest-battle.html”>NexusRaven-V2</a>を提案しています。これは自然言語の指示を実行可能なコードに変換してツールを使用することができます。OpenAIアシスタントAPIは、コパイロットとエージェントがソフトウェアツールを使用するための鍵として機能します。NexusRaven-V2は、コパイロットとエージェントのオープンソースモデルを進化させることを目指しています。NexusRaven-V2は、ネストや複合関数を使用する人間が生成したユースケースで、関数呼び出しの成功率でGPT-4を最大7％上回っています。NexusRavenはMetaのCodeLlama-13 Bインストラクションにチューニングされた指示です。Nexusflowのパイプラインを使用して、プロプライエタリなLLMを使用せずにオープンコードのコーポラから情報源を提供しています。コミュニティ開発者と企業の両方に対して商業許容です。当社の人間によるベンチマークで、NexusRaven-V2は、関数呼び出しの成功率において、最新のGPT-4モデルよりも平均で4％高い成功率を示すことが観察されました。なお、ネストや複合関数呼び出しを必要とする4つの厳しいタスクでは、NexusRaven-V2の方がGPT-4よりも堅牢性が高いと言えます。また、開発者の関数の説明におけるバリエーションを処理する際にも、NexusRaven-V2はGPT-4よりも優れた性能を発揮します。チームは、ユーザーがメインストリームのプロプライエタリな関数呼び出しAPIをシームレスにNexusRaven-V2で置き換えることができるオープンソースのユーティリティアーティファクトをリリースしました。また、オンラインデモやコラボノートブックを提供してオンボーディングと統合デモを行っています。彼らは評価ベンチマーク<a href=”https://www.voagi.com/call-all-functions.html”>Nexus-Function-Calling</a>をオープンソース化し、Huggingfaceの<a href=”https://www.voagi.com/create-and-analyze-advanced-machine-learning-models-using-the-sagemaker-canvas-model-leaderboard.html”>リーダーボード</a>を確立しています。このリーダーボードには、さまざまな関数呼び出しのユースケースと難易度をカバーした、実生活で人間が選定した関数呼び出しの例が多数収録されています。将来的には、関数呼び出しのLLMは教育現場において、学習者がリアルタイムのサポートを受けながら関数の呼び出し方を正しく学び、プログラミングの概念の理解を促進することができるでしょう。

「OpenAIやLM Studioに頼らずにAutoGenを使用する方法」

イントロダクション OpenAIやLMスタジオに頼らずに、あなた自身のAIチームを作成する準備はできていますか？もはや銀行を荒らすことも、アプリをダウンロードすることもありません。llama-cpp-pythonの設定から、autogenフレームワークのヘルプを借りてローカルLLMのパワーを探求するまで。OpenAI APIに依存せず、Autogenのフルポテンシャルを引き出す準備をしましょう。学習目標詳細に入る前に、この記事の主な学習目標を概説しましょう: さまざまなAIライブラリとツールを評価・比較する方法を学ぶ。 llama-cpp-pythonがOpenAI APIの代替として提供できる方法を探索する。 2つの現実世界の使用例で獲得した知識を適用する: アルゴリズムメンターチームの構築と金融チャート生成の自動化。 AutoGenの改善されたユーザーエクスペリエンスを探索し、統合されたIPythonを通じて即時のコード実行結果を得る。この記事はData Science Blogathonの一環として公開されました。ツール紹介: llama-cpp-python、AutoGen、およびローカルLLM しかし、このテックツールキットの特別な点は何でしょうか？ llama-cpp-pythonは、LLMAのような有名なモデルを含めて、ローカルでLLMを実行するためのゲートウェイです。コンピュータ上にAIのスーパースターがいるようなもので、さまざまなBLASバックエンドのサポートにより、速度は驚異的です！ AutoGen AutoGenは、基盤モデルを使用するための高レベルな抽象化として機能する統一されたマルチエージェント会話フレームワークです。LLM、ツール、および人間の参加者を統合し、自動化されたチャットを通じて能力のある、カスタマイズ可能で会話形式のエージェントを結合します。エージェント同士が自律的にコミュニケーションして共同作業を行うことができ、複雑なタスクを効率的に進めることやワークフローを自動化することが可能です。もしAutoGenの機能をより深く探求し、戦略的なAIチームビルディングをどのように支援するかを調べることに興味があるなら、当社の専用ブログ「Strategic AI Team Building…

「Rasaパワードチャットボット：シームレスなConfluence＆Jira統合ガイド」

イントロダクション最近、チャットボットは人工知能によって駆動される洗練された会話エージェントに進化してきました。このガイドでは、ConfluenceのページやJiraのチケットに関連するユーザークエリに対応するために特別に設計された高度なRasaパワードのチャットボットの構築について詳しく説明します。ConfluenceとJiraを統合することで、情報の検索を効率化し、統一的な作業環境を促進します。Confluenceは共同のドキュメンテーションを容易にし、Jiraは強力なプロジェクト管理ツールです。これらのプラットフォームとシームレスに統合するチャットボットを作成することで、チームがコンテンツの共同作業とプロジェクトの管理においてアクセシビリティが向上し、効率が最適化されます。学習目標この記事では、次のことを学びます： Rasaプロジェクトのセットアップ: Rasaプロジェクトを開始し、高度なチャットボットの開発のための基盤を構築する方法を学びます。 NLUインテントの定義: ConfluenceとJiraのクエリに対して特定の自然言語理解（NLU）インテントを定義し、チャットボットの理解力を高めます。カスタムアクションの開発: 拡張機能を実現するために、ConfluenceとJiraのAPIと対話するためのPythonベースのカスタムアクションを作成します。モデルのトレーニングとテスト: モデルのトレーニングプロセスを理解し、チャットボットの汎用性を確保し、継続的な改善のための反復テストを行います。この記事はData Science Blogathonの一環として公開されました。基本概念 Rasa Rasaはオープンソースの会話型AIプラットフォームであり、開発者に強力なコンテキスト認識型のチャットボットの構築を可能にします。単純なルールベースのシステムを超えて、Rasaは機械学習を利用して複雑なユーザー入力を理解し、応答します。自然言語処理の機能と対話管理ツールにより、Rasaはインテリジェントな会話エージェントを作成するための多目的なソリューションとなっています。 Jira JiraはAtlassianによって開発された有名なプロジェクト管理および課題追跡ツールです。アジャイルソフトウェア開発で広く使用されており、Jiraはタスクを整理し、問題を追跡し、チームがワークフローを効率化するための機能を提供しています。ワークフローのカスタマイズやリアルタイムのコラボレーションなど、幅広い機能があり、開発チームやプロジェクトマネージャーの間で人気があります。Jiraの豊富なRESTful APIを利用すると、外部ツールやアプリケーションとのシームレスな統合が可能で、リアルタイムデータの交換や自動化を容易にします。 Confluence Confluenceもまた、Atlassianによって開発された共同作業プラットフォームであり、組織内での効率的なドキュメンテーション、知識共有、チームワークを支援します。チームがコンテンツを作成、共有、共同作業するための中央集権的なスペースであり、プロジェクトのドキュメンテーション、会議の議事録、一般的な知識管理にとって重要なツールです。リアルタイムの共同編集により、複数のチームメンバーが同じドキュメントで同時に作業することができます。Confluenceの強力な検索機能により、関連する情報を効率的に見つけることができます。ConfluenceはJiraなどの他のAtlassian製品とシームレスに統合され、統一されたプロジェクト管理とドキュメンテーションのエコシステムを作成します。チャットボット…

「PDFドキュメントを使用したオブジェクト検出のためのカスタムDetectron2モデルの訓練と展開（パート1：訓練）」

「私は半年ほど、PDF文書を機械読み取り可能にすることで、少なくともセクションを特定するテキストである見出し/タイトルが読み取れるようにするビジネスケースを解決しようと取り組んできました」

注釈の習得：LabelImgとのシームレスなDetectron統合

イントロダクションコンピュータビジョンの大局において、画像のラベリングや写真の注釈付けは困難でありました。私たちの調査は、LabelImgとDetectronのチームワークに深く入り込んでおり、正確な注釈付けと効率的なモデル構築を組み合わせた強力なデュオです。簡単で正確なLabelImgは、注意深い注釈付けでリーダーシップを発揮し、明確なオブジェクト検出のための堅固な基盤を築きます。 LabelImgを試行し、境界ボックスの描画についてのスキルを向上させると、Detectronにシームレスに移行します。この堅牢なフレームワークは、マークされたデータを整理し、高度なモデルのトレーニングに役立ちます。LabelImgとDetectronは、初心者からエキスパートまで、誰にでも簡単にオブジェクト検出を可能にします。マークされた各画像が視覚情報のフルパワーを解き放つのをお手伝いいたします。学習目標 LabelImgの使い方を学ぶ。環境のセットアップとLabelImgのインストール。 LabelImgの理解と機能。 VOCまたはPascalデータをCOCO形式に変換してオブジェクト検出する。この記事はData Science Blogathonの一環として発表されました。フローチャート環境のセットアップ 1. 仮想環境の作成： conda create -p ./venv python=3.8 -y このコマンドはPythonバージョン3.8を使用して、「venv」という名前の仮想環境を作成します。 2. 仮想環境のアクティブ化：…

「LLM SaaSのためのFastAPIテンプレートPart 2 — CeleryとPg-vector」

このブログ投稿は、LLM SaaSシリーズのFastAPI + Supabaseテンプレートの一部であり、Part 1（Auth and File Upload）で紹介された概念を拡張しています以下のイラストは、Celeryワーカーの動作を示しています...

エアライン事業で情報とモデルを明らかにして、明らかにスムースに動作するようにモニターする

イントロダクション訓練と評価でパフォーマンスの良いモデルが、本番環境で悪化するという挫折感を経験したことがありますか？これは本番フェーズでよくある課題ですが、そこでEvidently.aiという素晴らしいオープンソースのツールが登場し、私たちのMLモデルを観察可能にして監視しやすくします。このガイドでは、本番環境でのデータとモデルのパフォーマンスの変化の背後にある理由と、実装するために必要なアクションについて取り上げます。また、このツールをStreamlit予測アプリと統合する方法も学びます。素晴らしい旅を始めましょう。この記事はデータサイエンスブログマラソンの一環として公開されました。必要な前提条件 1) リポジトリのクローン git clone "https://github.com/VishalKumar-S/Flight-Delay-Prediction-and-live-Monitoring-with-Azure-Evidently-and-Streamlit-with-MVC-Architecture.git" 2) 仮想環境の作成とアクティベート # 仮想環境を作成するpython3 -m venv venv# プロジェクトフォルダで仮想環境をアクティベートするsource venv/bin/activate # このコマンドはrequirements.txtファイルにリストされているPythonパッケージをインストールします。pip install -r requirements.txt 4)…

Learn more about Search Results venv