Search Results この

このAI論文は、言語エージェントのための自然言語とコードの調和を目指して、LemurとLemur Chatを紹介しています

広義では、知的エージェントとは、周囲から収集したデータに基づいて知覚、判断、行動の能力を備えた自律問題解決者です。この考え方を応用した最近の研究では、自然言語を使用してさまざまな文脈で複雑なタスクを実行できる言語エージェントの開発に有望な成果が出ています。特に、これらのエージェントが大規模な言語モデル（LLM）を使用して構築された場合、人間の思考と言語を模倣できます。これにより、人々はツールの使用に柔軟に対応し、新しい状況に適応し、言語的に論理的な理由づけを行い、飛び込みでマルチエージェントシステムを開発することができます。 LLMは、人間とのインタラクション、推論、計画を理解し、言語エージェントの基盤を適切に構築するために、必要な文脈における根拠を確保する必要があります。LLMの自然言語の機能により、人間の会話、思考、計画に近い動作が可能です。しかし、環境に基づいた実行は通常、汎用コードまたはドメイン固有のAPIを使用して行われます。これには、ウェブブラウザの管理、オペレーティングシステムのコマンドラインインターフェース端末との通信、ロボットアームの制御などが含まれます。このギャップを埋めるため、香港大学、XLang Lab、Salesforce Research、Sea AI Lab、ワシントン大学、MIT CSAILによる新しい研究では、事前トレーニングおよび指示の微調整手法を用いて、テキストとコードの調和を実現するために事前トレーニングおよび指示の微調整を行い、最先端のプロトタイプであるLemurとLemur-Chatを公開しています。これにより、オリジナルのLlama-2-70Bを改善しました。自然言語の能力を保持しながら、コーディング能力を向上させるために、The Stackを基にしたコード中心のコーパスを構築し、90億トークンのテキストとコードの比率が10：1のデータを含みました。これがLemurとして知られるプロトタイプです。指示に従うモデルであるLemur-Chatを作成するために、最初にテキストとコードの両方から約10万インスタンスを使用して事前トレーニングを行いました。LemurとLemur-Chatは、8つのテキストとコーディングのベンチマーク全体で幅広い評価を受けた後の最もバランスの取れたオープンソースモデルであることが証明されています。さらに、この試みは、さまざまな環境で言語エージェントのコア能力を評価するためのエージェント基準を提供することを目指しています。特に、ツールのスキルと環境と社会のフィードバックにおける定着能力に焦点を当てています。また、エージェントが情報の不完全さに基づいて操作を行い、ギャップを埋めるために追加のアクションを実行する必要がある実際の環境における部分的に可視なシナリオには固有の困難があります。実験により、Lemur-Chatは他のオープンソースモデルと比較して13のエージェントベンチマークのうち12つで優れたパフォーマンスを示すことが示されています。これは、自然言語とプログラミングの能力を組み合わせることによって、Lemur-Chatが自然言語エージェントの既存のオープンソースモデルとの性能差を埋めることができることを示しています。これらのテストの結果から、言語エージェントを構築する際には、言語と計算能力を組み合わせることの重要性が明らかになります。自然言語処理に優れ、コーディングに苦労するLlama-2-70B-Chatなどのモデルは、行動空間が制約されており、そのようなツールを使用する努力が低いため、基本的なツールを効率的に利用することができます。対照的に、ウェブブラウジングやホームナビゲーションなどの洗練された意思決定シナリオに直面した場合、アクションスペースは通常、莫大ですが、高いコーディング能力を持つモデルは複雑な実行可能なアクションシーケンスを構築するときに優位に立ちます。結論として、Lemurの優れたパフォーマンスは、自然言語処理とプログラミングの優位性に起因します。この研究は、自然言語とプログラミング言語の相乗効果の最適化を探りながら、さまざまな環境で優れた機能を持つ高度な言語エージェントを作成するための基礎を築くものです。

CMU＆Google DeepMindの研究者たちは、AlignPropという直接バックプロパゲーションベースのAIアプローチを導入しましたこのアプローチは、所望の報酬関数に適応するために、テキストからイメージへの拡散モデルの最適調整を行います

確率的拡散モデルは、連続的な領域における生成モデリングの確立された基準となっています。テキストから画像への拡散モデルの先駆者であるDALLEは、幅広いウェブ規模のデータセットで訓練することで画像を生成する能力が評価されています。本論文では、画像生成の最先端であるテキストから画像への拡散モデルの最近の台頭について説明しています。これらのモデルは大規模な非監督学習または弱教師付きのテキストから画像へのデータセットで訓練されてきました。ただし、非監督学習の性質上、人間によって知覚される画像の品質、画像とテキストの整列、倫理的な画像生成といった下流タスクの制御は困難な課題です。最近の研究では、強化学習技術を使用して拡散モデルを微調整する試みが行われてきましたが、この手法は勾配推定子の高い分散性で知られています。そこで、本論文では「AlignProp」という方法を紹介しています。この方法では、ノイズ除去プロセス中に報酬勾配をエンドツーエンドで逆伝播することで、拡散モデルを下流の報酬関数と整列させます。 AlignPropの先進的なアプローチにより、現代のテキストから画像へのモデルを逆伝播するのに通常伴う高いメモリ要件を軽減しています。これは、低ランクアダプターウェイトモジュールの微調整と勾配チェックポイントの実装によって実現しています。本論文では、AlignPropの性能を画像テキスト意味の整合性、美学、画像の圧縮性、生成される画像のオブジェクトの数の制御性やこれらの目的の組み合わせなど、さまざまな目的に対して微調整した拡散モデルの性能を評価しています。その結果、AlignPropは他の手法よりも高い報酬をより少ない訓練ステップで達成することが示されています。さらに、その概念的な単純さでも評価されており、興味のある異なる報酬関数に基づいて拡散モデルを最適化するための明確な選択肢となっています。 AlignPropのアプローチは、拡散モデルの微調整のために報酬関数から得られる勾配を利用することにより、サンプリング効率と計算効率の両方の向上をもたらします。実施された実験は、AlignPropがプロンプトのみでは単独で定義するのが困難なタスクを含む、幅広い報酬関数の最適化において、AlignPropの効果を一貫して実証しています。将来的な研究方向としては、これらの原則を言語モデルベースの拡散に拡張し、ヒューマンフィードバックとの整合性を向上させることが考えられます。

このAI論文では、エッジコンピュータ上でも高品質な再構築とリアルタイム性能を実現するためのNeRFベースのマッピング手法が提案されています

この論文では、研究者たちはH2-Mappingと呼ばれるNeRFベースのマッピング手法を紹介しました。この手法は、ロボティクス、AR / VR、デジタルツインなどのリアルタイムアプリケーションでの高品質で密なマップの需要に対応することを目的としています。彼らが取り組んだ主な課題は、リアルタイムで詳細なマップを効率的に生成することであり、特に計算能力に限りがあるエッジコンピュータ上での実現です。彼らは、これまでのマッピング手法がメモリ効率、マッピングの精度、新しい視点合成のバランスを取るのが難しく、一部のアプリケーションには適していないと指摘しています。NeRFベースの手法は、これらの制限を克服するための有望な手法を示していますが、一般的には時間がかかり、強力なエッジコンピュータでも時間がかかります。著者たちは、リアルタイムマッピングの主な要件（適応性、高い詳細度、リアルタイム性、新しい視点合成）を満たすために、新しい階層的なハイブリッド表現を提案しています。提案された手法は、荒いシーンジオメトリのための明示的なオクトリーSDF事前情報と、細部の高解像度のための暗黙的なマルチリゾリューションハッシュ符号化を組み合わせています。この手法により、シーンジオメトリの初期化が高速化され、学習が容易になります。また、マッピング品質を向上させるために、カバレッジを最大化するキーフレーム選択戦略も導入されています。実験の結果は、H2-Mappingが既存のNeRFベースのマッピング手法よりもジオメトリの精度、テクスチャのリアリズム、時間の消費量の面で優れていることを示しています。この論文では、手法のアーキテクチャと性能評価について網羅的な詳細が提示されています。結論として、研究者たちはH2-Mappingを紹介しました。これは、階層的なハイブリッド表現を持つNeRFベースのマッピング手法であり、エッジコンピュータでも高品質なリアルタイムマッピングを実現しています。彼らの手法は既存の手法の制限を解消し、精度と効率の両面で有望な結果を示しています。

この人工知能による調査研究は、医療領域への大規模言語モデルの包括的な概要を提供します

このコンテンツは購読者のみ対象です利用規約プライバシーポリシー自然言語処理（NLP）システムは、音声認識、メタファー処理、感情分析、情報抽出、機械翻訳など、さまざまなタスクにおいて、事前学習済み言語モデル（PLM）に大いに依存してきました。最近の進展により、PLMは急速に変化しており、新たな進展が自立型システムとしての機能を示しています。このアプローチでの重要な進歩は、OpenAIによるLarge Language Models（LLM）（例：GPT-4）の開発によって達成されました。これらのモデルは、NLPタスクだけでなく、生物学、化学、医学検査といった科目でも性能が向上しています。GoogleのMed-PaLM 2も、医療セクターに特化しており、医学的な質問データセットで「エキスパート」と同等の性能を獲得しています。 LLMは、数多くのアプリケーションの効果と効率を向上させることで、医療業界を革命する力を持っています。これらのモデルは、医学のアイデアと用語について深い理解を持っているため、医療の質問に対して洞察に富んだ分析や回答を提供することができます。患者との対話、臨床の意思決定支援、さらには医療画像の解釈にも役立つことがあります。LLMには、大量のトレーニングデータの必要性やそのデータ中の偏りの伝播といった制約もあります。最近の研究では、研究チームがLLMの医療分野における能力について調査しました。PLMからLLMへの重要な進歩を理解するために、これら2つの言語モデルを対比することが必要です。PLMは基本的な構築ブロックですが、LLMはより広範な能力を持ち、医療の文脈で一貫したコンテキストに即した回答を生成することができます。PLMからLLMへの移行によって、モデルがイベントを分類または予測する差別的なAIアプローチから、言語ベースの回答を生成する生成的なAIアプローチにシフトしていることがわかります。この移行によって、モデル中心からデータ中心のアプローチへのシフトがより際立っています。 LLMの世界にはさまざまなモデルが存在し、それぞれ特定の専門性に適しています。医療業界向けに特別に設計された注目すべきモデルには、HuatuoGPT、Med-PaLM 2、Visual Med-Alpacaなどがあります。たとえば、HuatuoGPTでは積極的に患者を巻き込むために質問を行い、Visual Med-Alpacaでは画像専門家と協力して放射線画像の解釈などの職務をこなします。LLMの多様性により、さまざまな医療関連の問題に取り組むことができます。ヘルスケアアプリケーションにおいてLLMのパフォーマンスは、トレーニングセット、技術、最適化戦略などの要素に大きく影響を受けます。本調査は、医療環境でLLMを作成および最適化するための技術的要素を探究しています。LLMの医療環境での使用には実習的な問題や倫理的な問題があります。LLMの使用にあたっては、公正さ、責任、透明性、倫理が確保されることが重要です。特に患者のケアが関わる場合、バイアスのない医療アプリケーションを提供し、倫理的なガイドラインに従い、回答について明確な正当化を行うことが求められます。チームによる主な貢献は次のとおりです。 PLMからLLMへの移行の途中経過を共有し、新たな進展についての最新情報を提供しました。 LLMの医療業界でのトレーニング資料、評価ツール、データリソースの編成に焦点を当て、医学研究者が個別の要件に応じて最適なLLMを選択するのに役立ちました。公平性、公正さ、透明性など、倫理的な問題に関して検討しました。

このAI研究は、FireActを提案しますこれは、複数のタスクとエージェントの手法からの軌跡を使用して、言語モデルを微調整するための新しい人工知能の手法です

ファインチューニングされた言語モデルは、しばしば言語エージェントを作成する際に軽視され、特にGoogle検索APIを使用して質疑応答の能力を高めることに焦点を当てています。System2 Research、ケンブリッジ大学、モナッシュ大学、およびプリンストン大学の研究者たちは、ファインチューニングされたバックボーン言語モデルがこれらのエージェントのパフォーマンスを一貫して向上させることを示しています。彼らの研究では、複数のタスクや促進手法からの軌道を組み込んだFineActと呼ばれるファインチューニング手法を導入し、多様なファインチューニングデータが言語エージェントの洗練において重要であることを強調しています。彼らの研究は、言語エージェントとファインチューニングされた事前学習言語モデルの交差点を探っています。先行研究では、言語エージェントとファインチューニングが別々に研究されてきましたが、この研究はそのギャップを埋めるものです。FineActは、言語エージェントのためのファインチューニング手法であり、これらのエージェントにおいて言語モデルのファインチューニングがもたらす利点と結果を系統的に調査しています。彼らの研究には、スケーリング効果、頑健性、汎化性、効率性、およびコストの影響などが含まれ、この新興分野に価値ある洞察を提供しています。彼らの手法は、これらのエージェントのための言語モデル（LMs）のファインチューニングにおけるより効果的な言語エージェントの必要性に対応しています。既存の言語エージェントは、基本的なLMと限られた数の促進技術に頼っており、パフォーマンスと頑健性の制約があります。実験結果は、LMのファインチューニングがエージェントのパフォーマンスを大幅に高め、推論時間を短縮し、頑健性を向上させることを示しており、実世界の応用に向けた有望な手段となっています。彼らの研究は、Google検索APIを使用した質問応答（QA）での言語エージェントのLMのファインチューニングを探求しています。実験は、LM、データサイズ、ファインチューニング手法に焦点を当て、HotpotQA EMなどの指標を使用してパフォーマンスを評価しています。彼らのアプローチは、従来の促進手法と比べてパフォーマンス、効率性、頑健性、一般化性の向上の利点を示しています。言語エージェントのLMのファインチューニングによって、HotpotQAパフォーマンスがLlama2-7BおよびGPT-4からの500個のエージェント軌跡を使用して77%向上します。 CoTメソッドは回答の品質を向上させます。混合エージェントメソッドはベースラインの範囲と一致してパフォーマンスを一貫して向上させます。ファインチューニングにより、正確な回答と全体的な回答の品質が向上し、EMスコアとF1スコアに反映された精度が向上します。ただし、F1スコアは4エポックを超えて段階的に減少し、長期的なファインチューニングでは収益の減少が示唆されます。 CoTメソッドの統合によって回答の品質がさらに向上します。ファインチューニングされた複数のタスク軌跡とプロンプトを用いたFireActアプローチは、エージェントのパフォーマンスをさらに向上させます。製品化モデルの固定された一連のタスク解決軌跡、ツールの過剰使用、および逸脱回復の課題など、既存のLMだけに頼る言語エージェントは制約があります。キャリブレーションやメタ論理に関する将来の研究は、ツール使用と反省の課題に対処することでエージェントの設計を改善することができます。 FireActから生じる研究の疑問は、異なるタスク、グラウンディング設定、およびドメインにおける言語エージェントのLMのファインチューニングをさらに拡大することです。APIツールの使用、ウェブの探索、および実世界での統合を網羅した調査が必要です。エージェントのパフォーマンス向上のためには、さまざまなファインチューニングデータソースと技術の探求が重要です。キャリブレーションとメタ論理がエージェントの設計とツールの使用と軌道の逸脱の管理能力に与える影響を取り組むべきです。最後に、拡張性、頑健性、効率性、およびコストの影響の評価には包括的な研究が必要です。

このAIの論文は、テキスト変換グラフとして言語モデルパイプラインを抽象化するプログラミングモデルであるDSPyを紹介しています

言語モデル（LM）は、リサーチャーにデータを少なく使用し、より高度な理解レベルで自然言語処理システムを作成する能力を与えています。これにより、「プロンプト」メソッドや軽量なファインチューニングの技術が増加し、新しいタスクにおいてLMが動作するための方法が開発されています。ただし、問題は、各タスクごとにLMに尋ねる方法が非常に敏感であることであり、単一のプロセスで複数のLMの相互作用がある場合にこの問題がさらに複雑になります。機械学習（ML）コミュニティは、言語モデル（LM）をプロンプトする方法や複雑なタスクに取り組むためのパイプラインの構築方法を積極的に探索しています。残念ながら、既存のLMパイプラインはしばしば、試行錯誤を重ねて見つけられた長い文字列である「プロンプトテンプレート」に依存しています。LMパイプラインの開発と最適化におけるより体系的なアプローチを追求するために、スタンフォードなどのさまざまな機関の研究者チームは、DSPyというプログラミングモデルを導入しました。DSPyは、LMパイプラインをテキスト変換グラフに抽象化するものです。これらは基本的には命令型の計算グラフであり、LMは宣言型モジュールを通じて呼び出されます。 DSPyのモジュールはパラメータ化されており、提示、ファインチューニング、拡張、推論技術の組み合わせを適用する方法を学習できます。彼らはDSPyパイプラインを最大化するためのコンパイラを設計しました。 DSPyコンパイラは、DSPyプログラムの品質やコスト効率を向上させることを目的として開発されました。コンパイラは、プログラム自体と、オプションのラベルとパフォーマンス評価のための検証メトリックを含む、少量のトレーニング入力を入力として受け取ります。コンパイラの動作は、提供された入力を使用してプログラムの異なるバージョンをシミュレートし、各モジュールのための例のトレースを生成することに関与します。これらのトレースは、自己改善の手段として使用され、効果的なフューショットプロンプトの作成やパイプラインのさまざまな段階での小規模な言語モデルのファインチューニングに活用されます。重要な点として、DSPyの最適化方法は非常に柔軟です。彼らは「テレプロンター」と呼ばれる手法を使用しており、システムの各部分がデータから最善の方法で学習することを保証するための一般的なツールのようなものです。 2つの事例研究を通じて示されたように、簡潔なDSPyプログラムは、数学のワード問題の解決、マルチホップリトリーバルの処理、複雑な質問に答える、エージェントループを制御するなどの高度なLMパイプラインを表現し最適化することができます。コンパイル後のわずか数分で、わずか数行のDSPyコードを使用して、GPT-3.5やllama2-13b-chatを自己ブートストラップパイプラインにすることができ、従来のフューショットプロンプトに比べて25％以上および65％以上の性能を実現します。結論として、本研究はDSPyプログラミングモデルとその関連するコンパイラを介して自然言語処理への画期的なアプローチを紹介しています。複雑なプロンプト技術をパラメータ化された宣言型モジュールに変換し、一般的な最適化戦略（テレプロンター）を活用することで、これによるNLPパイプラインの構築と最適化を非常に効率的に行う新しい方法を提供しています。

「取得した文書の圧縮は言語モデルのパフォーマンスを向上させることができるのか？このAIの論文では、圧縮と選択的な拡張によって検索増強型LMを改良するためのRECOMPを紹介しています」

計算リソースを管理しながらパフォーマンスを最適化することは、ますます強力な言語モデルの時代における重要な課題です。テキサス大学オースティン校とワシントン大学の研究者は、回復されたドキュメントを簡潔な文章の要約に圧縮する革新的な戦略を探求しました。抽出型圧縮器と生成型圧縮器の両方を使用することで、彼らのアプローチは言語モデルの効率を成功裏に向上させることができました。検索増強言語モデル（RALM）の効率向上が焦点となり、データストアの圧縮や次元削減などの技術を通じて回収コンポーネントを改善することに重点を置いています。選択的な回収やより大きなストライドの利用など、回収頻度を減らす戦略も含まれます。彼らの論文「RECOMP」では、回収されたドキュメントを簡潔な文章の要約に圧縮する新しいアプローチを提案しています。彼らのアプローチは、計算コストを削減するだけでなく、言語モデルのパフォーマンスも向上させることができます。 RALMの制約に対処するため、彼らの研究では、効率を向上させる新しいアプローチであるRECOMP（回収、圧縮、前置）を導入しています。RECOMPは、回収されたドキュメントをコンテキストでの拡張の前にテキストの要約に圧縮する方法です。彼らの過程では、抽出型圧縮器を使用してドキュメントから関連する文を選択し、生成型圧縮器を使用して情報を簡潔な要約に総合します。彼らの手法では、特化した抽出型圧縮器と生成型圧縮器の2つの圧縮器を導入し、回収されたドキュメントから簡潔な要約を作成することでエンドタスクにおける言語モデル（LM）のパフォーマンスを向上させることを目的としています。抽出型圧縮器は関連する文を選択し、生成型圧縮器は複数のドキュメントからデータを合成します。両方の圧縮器は、生成された要約をLMの入力に追加することでLMのパフォーマンスを最適化するために訓練されます。評価は言語モデリングおよびオープンドメインの質問応答タスクを含み、環境への転移可能性が様々なLMで示されています。彼らの手法は、言語モデリングおよびオープンドメインの質問応答タスクで評価され、最小限の性能低下で6％の圧縮率を達成し、標準的な要約モデルを上回っています。抽出型圧縮器は言語モデルで優れており、生成型圧縮器は最も低い困惑度で最も優れています。オープンドメインの質問応答では、すべての回収増強方法がパフォーマンスを向上させます。抽出型オラクルリードやDPRは抽出型ベースラインの中で優れたパフォーマンスを発揮します。訓練された圧縮器は、言語モデリングタスクで言語モデル間で転送が可能です。 RECOMPは、回収されたドキュメントをテキストの要約に圧縮することでLMのパフォーマンスを向上させるために導入されました。抽出型圧縮器と生成型圧縮器の2つの圧縮器が使用されています。圧縮器は言語モデリングおよびオープンドメインの質問応答タスクで効果的です。結論として、回収されたドキュメントをテキストの要約に圧縮することは、言語モデルのパフォーマンスを向上させ、計算コストを削減することができます。抽出型要約器を用いた適応的な拡張、異なる言語モデルやタスクにおける圧縮器のパフォーマンス向上、さまざまな圧縮率の探求、圧縮におけるニューラルネットワークベースのモデルの考慮、より広範な機能やデータセットでの実験、他の領域や言語への一般化性の評価、およびドキュメント埋め込みやクエリ拡張などの他の回収手法の統合など、将来の研究の方向性も検討されます。

「どのようにして、1ビットのウェイトで大規模な言語モデルを効果的に圧縮できるのか？この人工知能の研究では、PB-LLMを提案しています：部分的にバイナリ化されたLLMの潜在能力を探索する」

大規模言語モデル（LLM）において、部分二進化LLM（PB-LLM）は、言語の論理的推論能力を損なうことなく、極低ビットの量子化を実現するための最先端の技術です。PB-LLMは、二進化中に目立つ重みを戦略的にフィルタリングし、より高ビットのストレージに確保します。また、事後トレーニング量子化（PTQ）および量子化感知トレーニング（QAT）の手法を導入することで、量子化されたLLMの推論能力を回復させます。この手法は、LLMのネットワーク二進化における重要な進歩を表しています。イリノイ工科大学、Huomo AI、UCバークレーの研究者たちは、PB-LLMを言語の論理的推論能力を保持しながら極低ビットの量子化を実現する革新的な手法として紹介しました。彼らの研究では、既存の二進化アルゴリズムの限界に対処し、目立つ重みの重要性を強調しています。さらに、彼らの研究では、量子化されたLLMの推論能力を回復させるためのPTQおよびQATの手法を探求しています。彼らの研究成果は、PB-LLMのコードを利用してさらなる探求と実装を可能にしています。彼らの手法は、メモリ制約のあるデバイスにLLMを展開する課題に取り組んでいます。ネットワーク二進化を探究し、重みのビット幅を1ビットに減らしてLLMを圧縮する方法を探索しています。彼らの提案された手法であるPB-LLMは、非常に低ビットの量子化を実現しながら、言語の論理的推論能力を保持することを目指しています。彼らの研究では、LLMの量子化における目立つ重みの特性を探求し、PTQおよびQATの手法を用いて量子化されたLLMの推論能力を回復させています。彼らの手法は、PB-LLMを言語の論理的推論能力を保持しながらLLMの極低ビットの量子化を実現する革新的な手法として紹介しています。彼らは既存の二進化アルゴリズムの制約に対処し、目立つ重みの重要性を強調しています。PB-LLMは、目立つ重みの一部を高ビットのストレージに部分二進化することで、選択的に二進化します。 PB-LLMは、これらの目立つ重みの一部を選択的に二進化し、それらを高ビットのストレージに割り当てます。論文ではPTQおよびQATの手法を用いてPB-LLMの能力を拡張し、低ビットの量子化されたLLMのパフォーマンスを向上させています。これらの進歩は、LLMのネットワーク二進化に大きく貢献し、さらなる探求のためのアクセス可能なコードも提供しています。彼らの手法は、LLMの量子化における二進化手法の実現可能性を探究しています。現在の二進化アルゴリズムはLLMを量子化することが困難であり、効果的な新たな手法の必要性を示唆しています。彼らの研究は、効果的な二進化における目立つ重みの役割を強調し、最適なスケーリング戦略を提案しています。PTQおよびQATの組み合わせによって、量子化されたLLMの能力を回復させることが可能です。提供されたPB-LLMのコードは、特にリソース制約のある環境におけるLLMネットワーク二進化の研究開発を促進しています。まとめとして、論文はLLMでの極低ビットの量子化を実現しながら言語の論理的推論能力を保持するための革新的な解決策としてPB-LLMを紹介しています。既存の二進化アルゴリズムの制約に対処し、目立つ重みの重要性を強調しています。PB-LLMは目立つ重みを選択的に二進化し、それらを高ビットのストレージに割り当てます。彼らの研究では、PTQおよびQATの手法を用いてPB-LLMを拡張し、低ビットの量子化されたLLMのパフォーマンスを活性化させています。これらの進歩は、LLMのネットワーク二進化に大きく貢献しています。

「テキストを科学的なベクトルグラフィックスに変換することはできるのか？このAI論文では、AutomaTikZを紹介し、TikZのパワーを説明しています」

テキストから画像の生成の最新の進歩により、直感的な自然言語記述から詳細なグラフィックの作成が可能になりました。Stable DiffusionやDALL-Eなどのモデルを使用すると、頻繁に人間によって作成された実際の画像や芸術作品に似た結果が得られます。しかし、これらのモデルは科学的な図においては最良のラスター画像を生成しません。科学的な図は複雑な概念の説明や重要な発見の伝達を研究者が支援するために重要です。ラスターグラフィックスは高い幾何学的精度と小さな文字でも読めるテキストが必要ですから、これらの領域で改善する必要があります。その結果、データを幾何学的な形状に分割し、テキストの検索が可能であり、ファイルサイズが小さくなることが多いベクトルグラフィックスが、多くの学術会議で推奨されています。自動ベクトルグラフィックスの作成の分野も拡大していますが、利用可能な手法にはそれぞれ欠点があります。主に拡張性のあるベクトルグラフィックス（SVG）形式の低レベルのパスコンポーネントを生成しますが、正確な幾何学的関係を保持せず、単一のアイコンや書体の文字などの複雑度が低い出力を生成することが多いです。ビーレフェルト大学、ハンブルク大学、マンハイム大学とビーレフェルト大学の研究者たちは、下位レベルのベクトルグラフィックス形式から抽象化を行うビジュアル言語の使用方法を調査し、これらの制限を解決するために高レベルの構造を提供します。言語モデルはこれらの言語を習得し、それらを使用して単純なタスクを達成することができることを示唆しています。しかし、科学的な図をどの程度生成できるかはまだ判明していません。この研究では、その表現力と科学への重視から、GPT-4やClaude 2などの汎用の言語モデルと比較して、この作業でTikZというグラフィックス言語に焦点を当てています。テキストから画像の生成と同様に、言語モデルが画像キャプションに基づいて科学的な図を自動生成し、TikZのニュアンスを捉えることができるかどうかを知りたいと考えています。これにより、生産性が向上し、包括性が促進されます（社会科学者などのプログラミングのような言語に慣れていない学者にも助けとなる）。また、カスタマイズされたTikZの例を生成することで、教育の改善にもつながる可能性があります。TEX Stack Exchangeはこの使用例の一つであり、おおよそ10％の問い合わせがTikZに関するものです。彼らの主な貢献は以下の通りです： (i) AutomaTikZプロジェクトの一環として、約120,000のTikZの図とキャプションのペアを持つDaTikZが開発され、これは最初の大規模なTikZデータセットとなります。 (ii) 大規模言語モデル（LLM）LLaMAがDaTikZに合わせて調整され、そのパフォーマンスが汎用のLLM、特にGPT-4とClaude 2と比較されます。自動と人間による評価により、調整されたLLaMAによって生成される科学的な図は人間によって作成された図により類似していることがわかりました。 (iii) 彼らはLLaMAを拡張したCLiMAに取り組んでおり、これにはマルチモーダルのCLIP埋め込みが含まれています。この改善により、CLiMAはより簡単に入力キャプションを理解することができ、テキストと画像の整合性を高めます。さらに、写真を追加の入力として使用することが可能になり、さらなる速度向上が図れます。 (iv) また、すべてのモデルが独自の結果を提供し、メモリ関連の問題はほとんどありません。LLaMAとCLiMAは、入力キャプションを出力画像へ過度に複製することでテキストと画像の類似性を最大化する退化した解を頻繁に提供する一方、GPT-4とClaude 2はよりシンプルな出力を生成することがよくあります。

このロボットが障害を持つ人々の力を引き出す鍵になるかもしれません

「使い方は簡単であり、利用者（そしてその介護者）にとって必要不可欠な独立性を与えてくれます」

Learn more about Search Results この - Page 16