Search Results GitHub

既存のLLMプロジェクトをLangChainを使用するように適応する

おめでとうございます！素晴らしいLLMの概念証明が完成しましたね自信を持って世界に披露できます！もしかしたら、OpenAIライブラリを直接利用したかもしれませんし、他のライブラリを使用しているかもしれませんが、どのようにしても、この素晴らしい成果を誇示できます！

SDFStudio（エスディーエフスタジオ）は、Nerfstudioプロジェクトの上に構築された、ニューラル暗黙的表面再構築のための統一されたモジュラーフレームワークです

ここ数年、特に表面再構築において、いくつかのコンピュータビジョンおよびコンピュータグラフィックス関連分野で急速な進歩がありました。 3Dスキャンにおけるこの変化し続ける分野の主な目標は、特定の品質基準を満たしながら、与えられた点群から効率的に表面を再現することです。これらのアルゴリズムは、与えられた点群データに基づいて、スキャンされたオブジェクトの表面の基礎的なジオメトリを推定することを目指しています。その表面は、可視化、バーチャルリアリティ、コンピュータ支援設計、医療画像など、さまざまな目的に活用することができます。表面再構築の最もよく知られた手法には、自己組織化マップ、ベイジアン再構築、ポアソン再構築などがあります。表面再構築は3Dスキャンの重要な要素であるため、非教師あり機械学習を使用した3Dスキャンからの表面再構築のためのさまざまな適切な技術を開発するために、大規模な研究が進行しています。この方向性を踏まえて、チュービンゲン大学、ETHチューリッヒ、チェコ工科大学プラハの多様な研究者グループが協力して、SDFStudioという統一された多機能ツールを開発しました。このフレームワークは、主にニューラルラジアンスフィールド（NeRF）の作成、トレーニング、視覚化プロセスを効率化するAPIを提供するnerfstudioプロジェクトの上に構築されています。実装の一環として、開発者は3つの主要な表面再構築手法を使用しています：UniSurf、VolSDF、およびNeuS。 UniSurfは、非組織化点群から滑らかな表面表現を生成することを目指す表面再構築手法であり、暗黙的な関数と多角形メッシュを組み合わせています。一方、VolSDFは、入力点群のボリューメトリック表現を活用する表面再構築手法です。 NeuSは、深層ニューラルネットワークを利用して、点群から表面表現を生成する表面再構築手法であり、暗黙的な表面表現と学習ベースの手法の両方の特性を組み合わせています。さまざまなシーン表現と表面再構築技術をサポートするために、SDFStudioはキーとなる表現として符号付き距離関数（SDF）を使用しており、この関数の等値面を表面と定義しています。 SDFStudioは、マルチレイヤーパーセプトロン（MLP）、トライプレーン、およびマルチレス機能グリッドなど、さまざまな技術を使用してSDFを推定します。これらの技術は、シーン内の異なる場所で符号付き距離または占有値を推定するために、ニューラルネットワークと特徴グリッドを利用しています。精度と効率をさらに向上させるために、このツールはさまざまなポイントサンプリング戦略を組み込んでおり、その一つがUniSurfの方法に着想を得たサーフェスガイドサンプリングです。さらに、SDFStudioはNeuralReconWの手法から派生したボクセルサーフェスガイドサンプリングも使用しています。この手法は、ボクセルグリッドの情報を活用してサンプリングプロセスを誘導し、生成されるポイントがオブジェクトの表面上にある可能性が高くなるようにします。このようなサンプリング技術を取り入れることで、SDFStudioは生成されるポイントサンプルが基礎となる表面を代表するものであり、再構築された表面の品質と精度が向上することを保証します。 SDFStudioの特筆すべき特徴の一つは、異なる手法間でのアイデアや技術の移植を容易にする統一されたモジュラーな実装を提供していることです。たとえば、Mono-NeuSからNeuSへのアイデアの移植が見られます。 Geo-VolSDFでは、Geo-NeuSからのアイデアをVolSDFに組み込んでいます。 SDFStudioで異なる手法間でアイデアを移植できる能力は、研究者が異なる組み合わせを試し、あるプロセスからインスピレーションを得て別のプロセスに統合することで、表面再構築の進歩を促進します。 SDFStudioをすばやく始めるには、GitHubリポジトリで利用可能なセットアップ手順に従ってください。

デプロイ可能な機械学習パイプラインの構築

多くのデータサイエンティストは、最初のコーディング体験をノートブックスタイルのユーザーインターフェースを通じて行いますノートブックは、探索のために欠かせないものであり、私たちのワークフローの重要な要素ですしかし...

ChatGPTから独自のプライベートなフランス語チューターを作成する方法

議論された外国語チューターのコードは、私のGitHubページの同梱リポジトリで見つけることができます非商業利用に限り、自由に使用することができます長い間延期していたので、私は...

LOMO（LOw-Memory Optimization）をご紹介します：メモリ使用量を削減するために、勾配計算とパラメータの更新を1つのステップで融合する新しいAIオプティマイザです

Large Language Models（LLMs）は、出現やグロッキングのような素晴らしいスキルや、モデルサイズの持続的な増加などを通じて、自然言語処理を変革してきました。これらのモデルを数千億のパラメータで訓練することにより、NLP研究のハードルが上がっています。しかし、LLMの調整は頻繁に880GBのマシンなどの高価なGPUリソースを必要とするため、小規模な研究所や企業がこの分野の研究に参加することは難しいです。最近では、LoRAやPrefix-tuningなどのパラメータ効率の良いファインチューニング技術により、リソース制約のあるLLMの調整が可能になりました。完全なパラメータのファインチューニングは、パラメータ効率の良いファインチューニングよりも効果的な戦略とされてきましたが、両方の技術が実行可能な解決策を提供する必要があります。彼らはリソースが制約された状況で完全なパラメータのファインチューニングを完了するための方法を調査したいと考えています。彼らはLLMのメモリ使用の4つの特性であるアクティベーション、オプティマイザの状態、勾配テンソル、およびパラメータを調べ、トレーニングプロセスを次の3つの方法で最適化します：1）オプティマイザのアルゴリズムの機能を再評価し、SGDがLLMの完全なパラメータのファインチューニングに適した代替手段であることを発見します。SGDは中間ステージを保持しないため、オプティマイザの状態の全部分を削除することができます。2）彼らの提案されたオプティマイザであるLOMO（図1参照）は、勾配テンソルのメモリ使用量を最大の勾配テンソルのメモリ使用量に等しくすることで、メモリ使用量を低減します。3）彼らは勾配の正規化と損失スケーリングを組み合わせ、トレーニング中に一部の計算を完全精度に切り替えることで、LOMOによる混合精度トレーニングを安定化させます。彼らの手法は、パラメータ、アクティベーション、および最大の勾配テンソルと同じ量のメモリを組み合わせます。彼らは完全なパラメータのファインチューニングのメモリ消費量を著しく増加させ、推論のレベルまで減少させます。これは、前向きのプロセスだけが逆向きのプロセスよりも少ないメモリを必要としないはずだからです。特に、彼らはLOMOを使用してメモリを節約するために、パラメータの更新プロセスがSGDと似ているため、ファインチューニング機能が損なわれないことを確認しています。Fudan大学の研究者たちは、LOMOのメモリとスループットの能力を経験的に評価することで、わずか8台のRTX 3090 GPUで65Bモデルを成功裏にトレーニングすることが可能であることを示しています。さらに、彼らはLOMOを使用してSuperGLUEデータセットコレクション上のLLMの全パラメータを調整し、彼らの提案手法のダウンストリームのパフォーマンスを検証しています。経験的な結果は、LOMOが多数のパラメータを持つLLMを最適化する際の性能を示しています。 https://arxiv.org/pdf/2306.09782.pdf 彼らの総合的な貢献は以下の通りです： • LLMのすべてのパラメータを調整する際にSGDが成功することを示唆する理論的な研究を提供します。LLMの最適化において、かつてSGDの広範な使用を妨げていた障壁は、重大ではなくなる可能性があります。 • ファインチューニングのプロセスを維持しながら、GPUメモリ使用量を劇的に削減するために、LOMO（低メモリ最適化）を提案します。 • メモリ使用量とスループットのパフォーマンスを注意深く分析することにより、LOMOがリソース制約のある状況でLLMを最適化する効率性を経験的に実証します。ダウンストリームのジョブのパフォーマンス評価は、これを裏付ける追加の正当性を提供します。コードの実装はGitHubで利用可能です。

3つの季節性のタイプとその検出方法

季節性は、時系列を構成する主要な要素の1つです季節性は、一定の期間で繰り返され、似た強度で発生する系統的な動きを指します季節変動は…

ETH ZurichとMax Plankの研究者が提案するHOOD グラフニューラルネットワーク、マルチレベルメッセージパッシング、および教師なし学習を活用して現実的な衣類のダイナミクスを効率的に予測する新しいメソッド

テレプレゼンス、バーチャル試着、ビデオゲームなど、高品質のデジタルヒューマンに依存する多くのアプリケーションでは、魅力的かつリアルな衣料品の振る舞いをシミュレートする能力が必要です。物理法則に基づいたシミュレーションは、自然なダイナミックな動きを生み出すための人気のある手法です。物理シミュレーションは素晴らしい結果を提供するかもしれませんが、計算には高いコストがかかり、初期条件に敏感で、経験豊富なアニメーターが必要です。最先端の手法はリアルタイムアプリケーションに必要な厳しい計算予算を満たすために構築されていません。深層学習ベースの技術は、効率的かつ高品質な結果を生み出すことを始めています。しかしながら、現在までにいくつかの制約がこれらの手法がその全てのポテンシャルを発揮することを阻んできました。まず、現在の技術は衣料品の変形を主に体の姿勢の関数として計算し、線形ブレンドスキニングに依存しています。スキニングベースのプランは、シャツやスポーツウェアのようなぴったりした服には印象的な結果を提供するかもしれませんが、ドレスやスカートなどのゆったりした衣料品には助けが必要です。重要なのは、多くの最先端の学習ベースの手法は衣料品固有であり、特定の衣装に対する変形しか予測できません。これらの手法を各衣料品に対して再学習する必要があるため、アプリケーションは制約されています。本研究では、ETHチューリッヒとマックスプランク研究所の研究者が、グラフニューラルネットワーク（GNN）を用いた動的衣料品変形の予測に対する独自の手法を提供しています。彼らの手法は、局所的な変形、圧力、加速度の関係についての論理的な推論を通じて、物理的に現実的な布地の振る舞いを予測する方法です。彼らの手法は、衣料品の全体的な構造や形状に依存せず、任意の体の形状と運動に直接適用可能です。GNNは物理ベースのシミュレーションの代わりに有望な手法として示されていますが、衣料品のシミュレーションには満足のいく結果を生みません。各メッシュの頂点とその一つ周りの近傍の特徴ベクトルは、GNN（MLPとして実装）を使用して局所的に変換されます。各変換のメッセージは、特徴ベクトルの更新に使用されます。この手順の反復により、信号はメッシュ全体に拡散します。ただし、メッセージパッシングのステージ数の制限により、信号の伝達はある半径に限られます。伸縮によって引き起こされる弾性波が素早く物質を通過する衣料品のモデリングでは、これにより頂点間の準全域的で瞬時の長距離結合が生じます。少なすぎるステップ数は、信号の伝達を遅くし、不快な過伸展のアーティファクトを引き起こし、衣料品に不自然なゴムのような外観を与えます。コンピュータの時間が増えるのは、愚かに反復回数を増やす代償です。シミュレーションメッシュの最大サイズや解像度が事前にわからないため、保守的で適切に高い反復回数を選択することができず、この問題がさらに悪化します。彼らは、この問題を解決するために、階層的なネットワーク上で伝播フェーズを交互に行うメッセージパッシングシステムを提案しています。これにより、広範なサイズの剛性伸縮モードによって生じる高速波の効果的な処理が可能になり、同時に、折り目やしわなどの局所的な詳細を記述するために必要なキーを提供します。テストを通じて、彼らのグラフ表現が定性的および定量的なレベルで予測を向上させる方法を示しています。暗黙の時間ステップの増分ポテンシャルとしての損失関数を採用することで、彼らはグラフベースのニューラルネットワークのアイデアと異なるシミュレーションを組み合わせ、自身の手法の汎化能力を向上させています。この形式化により、彼らはもはやどんなグラウンドトゥルース（GT）の注釈も必要としません。これにより、彼らのネットワークは完全に教師なしで訓練されることが可能になります。同時に、マルチスケールの衣料品ダイナミクス、材料パラメータの影響、衝突反応、および下にある体との摩擦的な接触を学習することができます。グラフ表現はまた、動いているシャツのボタンを外したり、形状が変化する衣料品をシミュレートすることも可能にします。彼らのHOODアプローチでは、グラフニューラルネットワーク、マルチレベルのメッセージ伝達、および教師なしトレーニングを組み合わせて、さまざまな衣料品スタイルや体型に対するリアルな衣料品ダイナミクスのリアルタイム予測を可能にしています。彼らは実験的に、最先端の方法と比較して、彼らの手法が柔軟性と一般性の点で戦略的な利点を提供することを示しています。特に、単一のトレーニングされたネットワークが以下の点で優れていることを示しています：幅広い衣料品に対して物理的にリアルなダイナミックモーションを効果的に予測します。トレーニング中に見たことのない新しい衣料品のタイプや形状にも一般化します。材料特性や衣料品サイズのランタイムの変更を可能にします。ジッパーの開閉やシャツのボタンを外すなどの動的なトポロジー変化をサポートします。モデルとコードはGitHubで研究目的で利用できます。

ChatHNに会いましょう：ハッカーニュースフィード上のリアルタイムAIパワーチャット

ChatHNはAIによって駆動され、最近Hacker News Feedで開始されました。ChatHNは、OpenAI FunctionsとVercel AI SDKを使用して構築された無料かつオープンソースの人工知能（AI）チャットボットであり、Hacker News APIとの対話的なインタラクションを提供します。https://github.com/steven-tey/chathnの手順に従って、誰でも1クリックでChatHNのインスタンスを展開することができます。 ChatHNは、Hacker News（HN）との対話的なインタラクションを容易にするプラットフォームです。最も人気のある記事、特定の記事、またはHacker Newsからの記事とコメントを取得するなどの機能があります。ChatHNは、Hacker News上の最も人気のあるストーリーとコメントを要約するためにも使用できます。ChatHNは、Hacker NewsのウェブサイトやAPIを直接使用せずに、Hacker Newsの素材への対話的なアクセスを容易にすることを目指しています。使用および変更は完全に無料で、以下のものを使用して開発されました。 OpenAIの新しいFunctions Calling機能 Vercel AI SDK HackerNews API こちらをご覧ください：chathn.vercel.app OpenAIのFunctions…

QLoRAを使用して、Amazon SageMaker StudioノートブックでFalcon-40Bと他のLLMsをインタラクティブにチューニングしてください

大規模な言語モデル（LLM）の微調整により、オープンソースの基礎モデルを調整して、特定のドメインタスクでのパフォーマンスを向上させることができますこの記事では、Amazon SageMakerノートブックを使用して、最新のオープンソースモデルを微調整する利点について説明します私たちは、Hugging Faceのパラメータ効率の良い微調整（PEFT）ライブラリと、bitsandbytesを介した量子化技術を利用して、インタラクティブな微調整をサポートしています

ユーザーのコンテキストに基づいてアイテムを推奨し、動的にフィルタリングするAmazon Personalize

組織は、ユーザーにカスタマイズされた関連コンテンツを提供するために、知的な推奨ソリューションの開発に時間と労力を継続的に投資しています目標はさまざまです：ユーザーエクスペリエンスの変革、意味のあるインタラクションの生成、コンテンツの消費を促進することなどがありますこれらのソリューションの一部は、過去の相互作用パターンやユーザーの人口統計属性などに基づいて構築された一般的な機械学習（ML）モデルを使用しています

Learn more about Search Results GitHub - Page 127