Search Results 公式ドキュメント

デルタテーブルの削除ベクトル：Databricksの操作のスピードアップ

伝統的に、Delta Lakeはコピーオンワイトのパラダイムのみをサポートしており、元のデータファイルは書き込まれるたびに変更されます例：ファイル内の1行が削除されると、...

「OpenAIやLM Studioに頼らずにAutoGenを使用する方法」

イントロダクション OpenAIやLMスタジオに頼らずに、あなた自身のAIチームを作成する準備はできていますか？もはや銀行を荒らすことも、アプリをダウンロードすることもありません。llama-cpp-pythonの設定から、autogenフレームワークのヘルプを借りてローカルLLMのパワーを探求するまで。OpenAI APIに依存せず、Autogenのフルポテンシャルを引き出す準備をしましょう。学習目標詳細に入る前に、この記事の主な学習目標を概説しましょう: さまざまなAIライブラリとツールを評価・比較する方法を学ぶ。 llama-cpp-pythonがOpenAI APIの代替として提供できる方法を探索する。 2つの現実世界の使用例で獲得した知識を適用する: アルゴリズムメンターチームの構築と金融チャート生成の自動化。 AutoGenの改善されたユーザーエクスペリエンスを探索し、統合されたIPythonを通じて即時のコード実行結果を得る。この記事はData Science Blogathonの一環として公開されました。ツール紹介: llama-cpp-python、AutoGen、およびローカルLLM しかし、このテックツールキットの特別な点は何でしょうか？ llama-cpp-pythonは、LLMAのような有名なモデルを含めて、ローカルでLLMを実行するためのゲートウェイです。コンピュータ上にAIのスーパースターがいるようなもので、さまざまなBLASバックエンドのサポートにより、速度は驚異的です！ AutoGen AutoGenは、基盤モデルを使用するための高レベルな抽象化として機能する統一されたマルチエージェント会話フレームワークです。LLM、ツール、および人間の参加者を統合し、自動化されたチャットを通じて能力のある、カスタマイズ可能で会話形式のエージェントを結合します。エージェント同士が自律的にコミュニケーションして共同作業を行うことができ、複雑なタスクを効率的に進めることやワークフローを自動化することが可能です。もしAutoGenの機能をより深く探求し、戦略的なAIチームビルディングをどのように支援するかを調べることに興味があるなら、当社の専用ブログ「Strategic AI Team Building…

「表形式のデータ探索と研究の未来を描く」

私たちデータ専門家にとって、AIの進歩は新しいワークフローをもたらし、ツールセットを向上させますこの記事では、実際の問題を解決するためにこれらの新しいツールの1つを使用する経験を共有しますスケッチ...

ギットハブアクションズでのキャッシュ保存

この記事では、Github Actionsのキャッシュ方法について紹介しますGithub Actionsは、ワークフローを自動化するためのGithubのプラットフォームであり、CI/CD（継続的インテグレーション/...）によく使われています

「Pythonのグローバル変数は本当にグローバルなのか？」

「即座の応答は，そうですそして実際には，Python公式ドキュメンテーションを調べれば読めるほどです... だから，Pythonは確かにグローバル変数を提供しますさらに，グローバル変数はかなり重要な要素を占めます...」

「Pyroを使ったベイジアンABテスト」

この記事は、Pythonの確率プログラミング言語（PPL）であるPyroを使用したABテストの入門ですこれはPyMCの代替手段ですこの記事を書く動機は、私の…

「AWS上でのPySparkの展開におけるベストプラクティスは何ですか？」

イントロダクションビッグデータと高度な分析において、PySparkは大規模なデータセットの処理と分散データの分析における強力なツールとして登場しています。AWSクラウド上でPySparkを展開することは、データ密集型のタスクに対してスケーラビリティと柔軟性を提供する画期的なものであり、Dockerコンテナと組み合わせることでシームレスで効率的なソリューションとなります。しかし、クラウドインフラ上でPySparkを展開することは複雑で困難な場合があります。分散コンピューティング環境の設定やSparkクラスタの構成、リソースの管理などの詳細は、多くの人々がその完全な潜在能力を引き出すことから遠ざけてしまいます。学習目標 PySpark、AWS、およびDockerの基本的なコンセプトを学び、クラウド上でPySparkクラスタを展開するための堅固な基盤を確立します。 AWSを使用してPySparkをDockerで設定する包括的なステップバイステップガイドに従い、AWSの設定、Dockerイメージの準備、およびSparkクラスタの管理を行います。モニタリング、スケーリング、およびベストプラクティスへの適合により、AWS上でPySparkのパフォーマンスを最適化する戦略を発見し、データ処理ワークフローの最大限の活用を実現します。この記事はデータサイエンスブログマラソンの一部として公開されました。前提条件 PySparkをAWS上でDockerを使用して展開するための旅に出る前に、次の前提条件を満たしていることを確認してください： 🚀 ローカルPySparkインストール： PySparkアプリケーションを開発およびテストするためには、ローカルマシンにPySparkをインストールすることが重要です。オペレーティングシステムの公式ドキュメントに従ってPySparkをインストールします。このローカルインストールは開発環境として機能し、AWSに展開する前にPySparkコードの記述とテストを行うことができます。 🌐 AWSアカウント： PySparkの展開に必要なクラウドインフラストラクチャとサービスにアクセスするためには、有効なAWS（Amazon Web Services）アカウントが必要です。AWSアカウントを持っていない場合は、AWSのウェブサイトでサインアップすることができます。新規ユーザにはリソースが制限された無料利用枠が提供されていますが、支払い情報の提供が必要となります。 🐳 Dockerのインストール： Dockerはこの展開プロセスで重要なコンポーネントです。Ubuntuオペレーティングシステム向けのインストール手順に従って、ローカルマシンにDockerをインストールします。Dockerコンテナを使用して、PySparkアプリケーションを一貫した形でカプセル化して展開することができます。 Windows 以下の Windows向けDocker…

Embedchainの紹介- LLM向けのデータプラットフォーム

イントロダクション LangChainやLangFlowのようなツールを紹介することで、Large Language Modelsを使ったアプリケーションの構築が容易になりました。さまざまなLarge Language Modelsを選択してアプリケーションを構築することが容易になった一方で、データのアップロード部分では、データがさまざまなソースから取得されるため、開発者にはデータをプレーンテキストに変換してベクトルストアに注入する必要があるため、依然として時間がかかることがあります。このような場合には、Embedchainが登場します。Embedchainを使用すると、さまざまなデータタイプのデータを簡単にアップロードしてLLMを瞬時にクエリできます。この記事では、embedchainの使い方について探っていきます。学習目標 Large Language Models（LLMs）のデータの管理とクエリに関して、embedchainの重要性を理解する。非構造化データを効果的に統合し、embedchainにアップロードする方法を学ぶ。これにより、さまざまなデータソースでシームレスに作業を行うことができる。 embedchainがサポートしているさまざまなLarge Language Modelsとベクトルストアについて知る。ウェブページやビデオなどのさまざまなデータソースをベクトルストアに追加し、データの取り込み方法を理解する。この記事はData Science Blogathonの一部として公開されました。 Embedchainとは何ですか？ EmbedchainはPython/JavaScriptライブラリであり、開発者はこれを使ってLarge Language Modelsと多くのデータソースをシームレスに接続することができます。Embedchainを使用すると、非構造化データをアップロード、インデックス化、検索することができます。非構造化データには、テキスト、ウェブサイト/YouTube動画へのURL、画像など、いかなるタイプのデータも含まれます。 Emdechainを使ってこれらの非構造化データをアップロードする場合、単一のコマンドでデータをアップロードし、それらに対してベクトル埋め込みを作成し、接続されたLLMと即座にクエリを開始することができます。内部では、embedchainがデータをソースからロードし、チャンキングし、ベクトル埋め込みを作成し、最終的にベクトルストアに格納する処理を行います。 Embedchainを使った最初のアプリの作成…

「ESAのセンチネルAPIに深く潜入」

ヨーロッパ宇宙機関は、さまざまな種類のリモートセンシングを活用して、地球観測を支援するコペルニクスプログラムの一環として、センチネルミッションを実施しています

高度なPython ドット演算子

今回は、取るに足らないと思われることについて書きますそれは「ドットオペレーター」ですおそらく、皆さんはこのオペレーターを何度も使っているでしょうが、その裏側で何が起こっているのか、知らないままに疑問を持たずに使っていることでしょう

Learn more about Search Results 公式ドキュメント