Search Results A

「LEVER（リーバー）とは、生成されたプログラムの実行結果を検証することを学習することで、言語からコードへの変換を改善するためのシンプルなAIアプローチです」

大規模言語モデル（LLM）は最近、大きな進歩を遂げました。これらのモデルは、人工知能の領域を大幅に向上させ、さまざまなタイプのタスクを完了するための非常に大きなポテンシャルを持っています。LLMは、質問に答えたり、コンテンツを作成したりすることで人間を模倣したり、テキストの段落を要約したり、言語を翻訳したりすることができます。仮想アシスタント、ロボティクス制御、データベースインターフェイス、その他のAIアプリケーションは、すべて自然言語の説明を実行可能なコードに変換する能力に依存しています。コードLLM、つまりコード上で事前にトレーニングされたモデルは、インコンテキストのフューショットラーニングにおいて優れたパフォーマンスを示していますが、これらのモデルのパフォーマンスは改善される可能性があり、最適化するには計算コストがかかる場合があります。 LLMは、フューショットの状況では精度に苦労するかもしれませんが、十分なサンプルが与えられるとき、つまりサンプルがスケールで描かれるときには、多数決とテストケースによるフィルタリングによってそのパフォーマンスを大幅に向上させることができます。データ型、値の範囲、変数のプロパティは、プログラムの正確性の強力な指標であり、モデルソリューションの豊かな意味論的要素です。最近の研究では、研究者チームがLearning to Verify（LEVER）という、コードLLMを使用した言語からコードへの生成手法を紹介しました。 LEVERは、自然言語の説明、プログラムの表面形式、実行結果の組み合わせ表現を使用して、検証者が誤ったプログラムを特定して拒否するためにトレーニングされます。検証確率とLLM生成確率は結合され、集計確率を作成するために、同じ実行結果を持つプログラムは周辺化されます。正しい結果を提供する最も可能性の高いプログラムが、再ランキングスコアとしてこの確率を使用して出力として選択されます。 LEVERは、LLMからサンプリングされたプログラムが正確であるかどうかを判断することによって、言語からコードの作成を改善するために提案されています。LEVERは、作成されたプログラムをチェックすることによって、出力の精度と正確性を向上させることを目指しています。評価のために、テーブルQA、数学QA、基礎的なPythonプログラミングを含む4つのデータセットで実験が実施され、コード-davinci-002を使用したパフォーマンスの利点は4.6％から10.9％まで範囲があり、結果は常にベースのコードLLMを上回りました。すべてのデータセットで、LEVERはまったく新しい最先端の結果を達成し、自然言語の説明から正確で文脈に即したコードを生成する優位性を示しています。結論として、LEVER技術は、自然言語の説明を実行可能なコードに変換するためのコードLLMの能力を向上させます。この方法は、実行結果を考慮に入れる検証者を使用することで、より伝統的な実行エラーの剪定戦略よりも精度が向上します。その成果は、さまざまな言語からコードへのタスクにおける効率性を示し、データベースインターフェイス、ロボティクス制御、仮想アシスタントなど、さまざまなAIアプリケーションの向上の可能性を示唆しています。

「EU AI Actについて今日関心を持つべき理由」

「MLおよびAI業界で働く私たちのほとんどは、新しい規制に関する見出しを見て流し読みするでしょう新しい規制は『法律用語』というカテゴリに属しますこの用語は、どんな規制でも表現されるものです…」

Gradient Checkpointing、LoRA、およびQuantizationを使用して、単一のGPUにLLMをフィットさせてください

「大規模言語モデルを微調整しようとしたことがある人なら、GPUメモリを扱うのがどれほど難しいかわかっているでしょう 3B、7B、または13Bのパラメータモデルは大きく、微調整は長くて退屈です...」

AudioCraft Metaの音声と音楽のための生成AI

Facebookの親会社であるMetaは、テキストベースのプロンプトから音を生成する新しい生成AIツールをリリースしました会社は投稿で、思考実験から始めます「楽器で1つの音符も演奏せずに、プロのミュージシャンが新しい作曲を探求できると想像してみてください」これらは非常に...

『CMUからの新しいAI研究は、適切な言語モデルに対して物議を醸す行動を生成させるための、簡単で効果的な攻撃手法を提案しています』

ChatGPT、Bard AI、およびLlama-2などの大規模言語モデル（LLM）は、望ましくないまたは攻撃的なコンテンツを生成することがあります。ChatGPTに選挙操作の手引きや試験問題用紙をリクエストすると想像してください。LLMからそのような質問に対する出力を得ることは適切ではありません。カーネギーメロン大学、AIセンター、およびボッシュAIセンターの研究者たちは、この問題に対する解決策を提案し、これらのモデルを不適切な生成から防ぐために調整しました。研究者たちは、これを解決するためのアプローチを見つけました。LLMに対して問題のあるさまざまなクエリを提示すると、モデルは単に回答を拒否するだけでなく、肯定的な応答を生成します。彼らのアプローチには、欲張りな探索技術と勾配ベースの探索技術を用いた敵対的な接尾辞の生成が含まれています。このアプローチを使用することで、過去の自動プロンプト生成方法が改善されます。オフェンシブなコンテンツを生成するために整列されたLLMによって生成されるプロンプトは、ジェイルブレイクと呼ばれます。これらのジェイルブレイクは、自動化された手法ではなく、モデルを誤った方向に導くシナリオを設定することによって、人間の創造力によって生成されます。画像モデルとは異なり、LLMは離散的なトークン入力で動作するため、効果的な入力が制限されます。これは計算上困難なことがわかっています。研究者たちは、有害なクエリがユーザーから与えられた場合、ユーザーの元のクエリをそのままにするために敵対的な接尾辞を追加します。敵対的な接尾辞は、初期の肯定的な応答に基づいて選択され、欲張りな最適化および勾配ベースの最適化、および堅牢なマルチプロンプトおよびマルチモデル攻撃が組み合わされています。信頼性のある攻撃接尾辞を生成するために、研究者たちは単一のモデルの単一のプロンプトだけでなく、複数のモデルにわたる複数のプロンプトに対しても機能する攻撃を作成する必要がありました。研究者たちは、単一のサフィックス文字列を探索するための欲張りな勾配ベースの手法を使用して、この技術をClaudeに攻撃することで実装しました。彼らは、モデルが望ましい結果を生成し、自動化攻撃を抑制する可能性を持つことを見つけました。研究者たちは、これらの攻撃を提供することで、モデルが望ましくない回答を避けるためにモデルを微調整できると主張しています。敵対的トレーニングの方法論は、潜在的に有害なクエリに対して反復的に正しい回答を含むため、任意のモデルをトレーニングする効率的な手段として経験的に証明されています。彼らの研究には、他の人が有害なコンテンツを生成することができる材料が含まれています。リスクが伴うにもかかわらず、彼らの研究は、有害なコンテンツの生成を回避するためのさまざまな言語モデルのテクニックを紹介することが重要です。彼らの攻撃の直接的な増加した被害は初期段階では小さいです。彼らの研究は、大規模言語モデルが自動化攻撃がもたらす危険性を明らかにするのに役立つことができます。

AWSの知的ドキュメント処理を生成AIで強化する

「データの分類、抽出、分析は、大量の文書を扱う組織にとって困難な課題です従来の文書処理ソリューションは手作業が必要であり、高価でエラーが発生しやすく、スケーラビリティにも難がありますAWSのインテリジェントドキュメントプロセッシング（IDP）は、Amazon TextractなどのAIサービスを活用することで、業界をリードする機械学習（ML）技術を迅速かつ効果的に活用できます」

「生成的なAIアプリケーションと3D仮想世界の構築方法」

成長し成功するためには、組織は特に生成AIや3D仮想世界のような急速に進化する技術領域において、技術スキルの開発に継続的に注力する必要があります。 NVIDIA Trainingは、AI時代、高性能コンピューティング、産業デジタル化に必要なスキルをチームに提供するための新しいコースを発表しています。このプログラムはすでに数十万人の学生、開発者、研究者、データサイエンティストに重要な技術スキルを提供してきました。最新のコースにより、NVIDIA Trainingは組織がビジネスの景観を変革する生成AIと仮想世界の力を十分に活用できるようにしています。生成AIアプリケーションの構築を始めましょう生成AIは組織の働き方を革新しています。テキスト、画像、音声、アニメーション、3Dモデルなど、さまざまな入力に基づいて迅速に新しいコンテンツを生成することができます。 gen AIに関する新しいNVIDIA Trainingのコースには以下があります：生成AIの解説 – 生成モデルは質問応答、要約、テキストの含意、2Dおよび3D画像と音声の作成など、多くのユースケースでアプリケーションの開発を加速させています。この2時間のコースでは、NVIDIAの応用深層学習研究副社長であるBryan Catanzaroが、gen AIの主な進展、現在の状況、そして将来の可能性について概説します。彼は技術的な詳細や人気のある生成AIアプリケーション、さらにはビジネスが技術を責任を持って使用する方法についても議論します。拡散モデルを使用した生成AI – コンピューティングパワーと科学的理論の進歩により、生成AIは以前よりもアクセスしやすくなりました。この実践的なコースでは、最新の技術を使用してテキストから画像を生成する生成AIアプリケーションの構築方法を学びます。拡散モデルを使用して画像を生成し、さまざまな最適化で出力を洗練させます。ユーザーの制御を向上させるために、U-Netアーキテクチャからのノイズ除去拡散モデルを構築します。生成AIや大規模言語モデルに関するコースの完全なリストは、NVIDIA Trainingの学習パスをご覧ください。デジタル3Dワールドの構築デジタルワールドビルディングの進化により、メディアやエンターテイメント、建築、エンジニアリング、建設および運用、工場計画、アバター作成などのさまざまな産業が変革されています。没入型の3D環境はユーザーのエンゲージメントを高め、現実世界の問題に対する革新的なソリューションを可能にします。NVIDIA Omniverseは、テクニカルアーティスト、デザイナー、エンジニアが複雑な物理的に正確なシミュレーションや3Dシーンをリアルタイムで素早く組み立て、チームメンバーとシームレスに協力しながら開発できるプラットフォームです。…

「メーカーに会う：開発者がAI搭載ピットドロイドの背後にNVIDIA Jetsonを使う」

ゴラン・ヴクシッチは、スター・ウォーズの映画シリーズに登場するポッドレーサーを修理・保守するタイプの実世界のピットドロイドを作るプロジェクトの主導者です。エッジAIジェダイは、ドロイド自体の脳としてNVIDIA Jetson Orin Nano Developer Kitを使用しました。このデベロップメントキットにより、高さ4フィート未満であり、目にはシンプルなウェブカメラが備わっているこのボットは、オブジェクトを識別し、その頭を動かすことができます。クロアチア出身のヴクシッチは、現在はスウェーデンのマルメに拠点を置いています。最近、彼はピットドロイドと共にベルギーとオランダを旅し、いくつかのテックカンファレンスで数百人にプレゼンテーションを行いました。彼は、コンピュータビジョンとAIについて、このドロイドを使った魅力的な実世界のデモとして使用しました。ピットドロイドが世界を初めて見る瞬間。自称スター・ウォーズの熱狂的なファンである彼は、仕事の合間にドロイドの機能をアップグレードしています。彼は、コペンハーゲンに拠点を置く企業のエンジニアリングマネージャーとしての仕事に没頭することがないときに、これを行っています。また、彼は、NVIDIA Inceptionプログラムの一員である、革新的なスタートアップsyntheticAIdataの共同創業者兼最高技術責任者でもあります。 syntheticAIdataは、コスト効果の高い合成データを使用してビジョンAIモデルを作成する会社で、3Dツールやアプリケーションを構築および運用するためのNVIDIA Omniverseプラットフォームへのコネクタを使用しています。メーカーについて NVIDIAによってJetson AIスペシャリスト、そしてMicrosoftによってAIの「最も価値のある専門家」として認定されたヴクシッチは、約10年前にビジョンAIでタトゥーを分類するスタートアップで働いていたときに人工知能とITに取り組み始めました。それ以来、彼はエンジニアリングおよびテクニカルマネージャーとして働きながら、さまざまな企業向けのIT戦略とソリューションを開発するなど、他の役割も果たしてきました。彼はいつもロボット工学に興味を持っており、子供の頃からSFファンでした。「スター・ウォーズや他の映画を見て、ロボットが現実の世界で何を見て何をすることができるのかを想像していました」とヴクシッチは語ります。彼はまた、NVIDIA Developer Programのメンバーでもあります。今や、彼はNVIDIA Jetsonプラットフォームを使用したピットドロイドプロジェクトでそれを実現しています。この開発者は、ほぼ10年前の最初の製品の発売以来、Jetsonプラットフォームを使用しています。ヴクシッチがピットドロイドに読み聞かせをしています。…

「AIツールにより、アジア系のMIT学生のプロフェッショナルなヘッドショットが白人に変わる」

「これは間違いなく問題だと思います」と王ロナさんは述べ、「ソフトウェアを作る人々がこのようなバイアスに気付き、それらを軽減するための解決策を開発することを望んでいます」と述べました

「欧州宇宙機関は、AIが衛星ナビゲーション能力を向上させると述べています」

「欧州宇宙機関は、AIおよび機械学習がNAVISPプログラムの衛星航法性能を向上させるために導入されていると述べています」

Learn more about Search Results A - Page 319