Search Results Loom

モンテカルロ近似法：どれを選び、いつ選ぶべきか？

確率モデルでは確定的な推論がしばしば非効率であるため、数値サンプリングに基づいた近似手法であるモンテカルロに注目します

「人々はAIを恐れていますが、AppleのChatGPTはAIをみんなの友達にするかもしれません」

「以前からMP3プレーヤーは存在しましたが、iPodのようなものではありませんでした以前からタッチスマートフォンも存在しましたが、iPhoneのようなものではありませんでしたそして、以前から基于大規模言語モデルのAIチャットボットも存在しましたが、歴史が教えるように、Appleの今後のインテリジェントチャットボットは既に使用されているものとは全く異なり、[…]を提供するでしょう」

「AutoGPTQとtransformersを使ってLLMsを軽量化する」

大規模な言語モデルは、人間のようなテキストの理解と生成能力を示し、さまざまなドメインでのアプリケーションを革新しています。しかし、訓練と展開における消費者ハードウェアへの要求は、ますます困難になっています。 🤗 Hugging Faceの主なミッションは、良い機械学習を民主化することであり、これには大規模モデルを可能な限りアクセスしやすくすることも含まれます。bitsandbytesコラボレーションと同じ精神で、私たちはTransformersにAutoGPTQライブラリを統合しました。これにより、ユーザーはGPTQアルゴリズム（Frantar et al. 2023）を使用して8、4、3、または2ビット精度でモデルを量子化して実行できるようになりました。4ビットの量子化ではほとんど精度の低下はなく、推論速度は小規模なバッチサイズの場合にはfp16ベースラインと比較可能です。GPTQメソッドは、校正データセットのパスを必要とする点で、bitsandbytesによって提案された事後トレーニング量子化手法とは若干異なります。この統合はNvidiaのGPUとRoCm-powered AMDのGPUの両方で利用可能です。目次リソース GPTQ論文の簡潔な要約 AutoGPTQライブラリ – LLMの効率的なGPTQの活用のためのワンストップライブラリ 🤗 TransformersでのGPTQモデルのネイティブサポート Optimumライブラリを使用したモデルの量子化テキスト生成推論を介したGPTQモデルの実行 PEFTを使用した量子化モデルの微調整改善の余地サポートされているモデル結論と最終的な言葉謝辞…

「連邦裁判官 – AI によって生成された芸術作品は著作権が成立しない」

彼の判決において、DC地区裁判所のバリル・A・ハウエルズ判事は、人間は「有効な著作権主張の重要な要素」であると述べていますこれは、既存の法律の下でAIによって生成されたオリジナルの素材が著作権で保護されるかどうかを判断するための一連の裁判の最新のものですその判決は...

ビッグテックと生成AI：ビッグテックが生成AIを制御するのか？

「ビッグテックと生成AIの深まる関係を探求する：これらの巨人はセクターを支配するのか、それともバランスの取れたAIの景観が生み出されるのか？データ、力、イノベーションの相互作用にダイブしてください」

「Amazon SageMaker JumpStartを使用したゼロショットテキスト分類」

自然言語処理（NLP）は、機械学習（ML）の分野であり、コンピュータに人間と同じようにテキストや話された言葉を理解する能力を与えることに関心があります最近では、トランスフォーマーアーキテクチャなどの最先端のアーキテクチャが使用され、テキスト要約、テキスト分類、エンティティ認識などのNLP下流タスクでほぼ人間のパフォーマンスを実現するために使用されています

「ドメイン特化LLMの潜在能力の解放」

イントロダクション大規模言語モデル（LLM）は世界を変えました。特にAIコミュニティにおいて、これは大きな進歩です。テキストを理解し、返信することができるシステムを構築することは、数年前には考えられなかったことでした。しかし、これらの機能は深さの欠如と引き換えに得られます。一般的なLLMは何でも屋ですが、どれも専門家ではありません。深さと精度が必要な領域では、幻覚のような欠陥は高価なものになる可能性があります。それは医学、金融、エンジニアリング、法律などのような領域がLLMの恩恵を受けることができないことを意味するのでしょうか？専門家たちは、既に同じ自己教師あり学習とRLHFという基礎的な技術を活用した、これらの領域に特化したLLMの構築を始めています。この記事では、領域特化のLLMとその能力について、より良い結果を生み出すことを探求します。学習目標技術的な詳細に入る前に、この記事の学習目標を概説しましょう：大規模言語モデル（LLM）とその強みと利点について学びます。一般的なLLMの制限についてさらに詳しく知ります。領域特化のLLMとは何か、一般的なLLMの制限を解決するためにどのように役立つのかを見つけます。法律、コード補完、金融、バイオ医学などの分野におけるパフォーマンスにおけるその利点を示すためのさまざまな領域特化言語モデルの構築について、例を交えて探求します。この記事はData Science Blogathonの一部として公開されました。 LLMとは何ですか？大規模言語モデル（LLM）とは、数億から数十億のパラメータを持つ人工知能システムであり、テキストを理解し生成するために構築されます。トレーニングでは、モデルにインターネットのテキスト、書籍、記事、ウェブサイトなどからの多数の文を提示し、マスクされた単語または文の続きを予測するように教えます。これにより、モデルはトレーニングされたテキストの統計パターンと言語的関係を学びます。LLMは、言語翻訳、テキスト要約、質問応答、コンテンツ生成など、さまざまなタスクに使用することができます。トランスフォーマーの発明以来、無数のLLMが構築され、公開されてきました。最近人気のあるLLMの例には、Chat GPT、GPT-4、LLAMA、およびStanford Alpacaなどがあり、画期的なパフォーマンスを達成しています。 LLMの強み LLMは、言語理解、エンティティ認識、言語生成の問題など、言語に関するさまざまな課題のためのソリューションとして選ばれるようになりました。GLUE、Super GLUE、SQuAD、BIGベンチマークなどの標準的な評価データセットでの優れたパフォーマンスは、この成果を反映しています。BERT、T5、GPT-3、PALM、GPT-4などが公開された時、それらはすべてこれらの標準テストで最新の結果を示しました。GPT-4は、BARやSATのスコアで平均的な人間よりも高得点を獲得しました。以下の図1は、大規模言語モデルの登場以来、GLUEベンチマークでの大幅な改善を示しています。大規模言語モデルのもう一つの大きな利点は、改良された多言語対応の能力です。たとえば、104の言語でトレーニングされたマルチリンガルBERTモデルは、さまざまな言語で優れたゼロショットおよびフューショットの結果を示しています。さらに、LLMの活用コストは比較的低くなっています。プロンプトデザインやプロンプトチューニングなどの低コストの方法が登場し、エンジニアはわずかなコストで既存のLLMを簡単に活用することができます。そのため、大規模言語モデルは、言語理解、エンティティ認識、翻訳などの言語に基づくタスクにおけるデフォルトの選択肢となっています。一般的なLLMの制限 Web、書籍、Wikipediaなどからのさまざまなテキストリソースでトレーニングされた上記のような一般的なLLMは、一般的なLLMと呼ばれています。これらのLLMには、Bing ChatのGPT-4、PALMのBARDなどの検索アシスタント、マーケティングメール、マーケティングコンテンツ、セールスピッチなどのコンテンツ生成タスク、個人チャットボット、カスタマーサービスチャットボットなど、さまざまなアプリケーションがあります。一般的なAIモデルは、さまざまなトピックにわたるテキストの理解と生成において優れたスキルを示していますが、専門分野にはさらなる深さとニュアンスが必要な場合があります。たとえば、「債券」とは金融業界での借入の形態ですが、一般的な言語モデルはこの独特なフレーズを理解せず、化学や人間同士の債券と混同してしまうかもしれません。一方、領域特化のLLMは、特定のユースケースに関連する専門用語を専門的に理解し、業界固有のアイデアを適切に解釈する能力があります。また、一般的なLLMには複数のプライバシーの課題があります。たとえば、医療LLMの場合、患者データは非常に重要であり、一般的なLLMに機械学習強化学習（RLHF）などの技術が使用されることで、機密データの公開がプライバシー契約に違反する可能性があります。一方、特定のドメインに特化したLLMは、データの漏洩を防ぐために閉じたフレームワークを確保します。…

「NVIDIA H100 Tensor Core GPUを使用した新しいMicrosoft Azure仮想マシンシリーズが一般利用可能になりました」

Microsoft Azureのユーザーは、最新のNVIDIAの高速計算技術を利用して、生成型AIアプリケーションのトレーニングと展開ができるようになりました。本日から利用可能なMicrosoft Azure ND H100 v5 VMは、NVIDIA H100 Tensor Core GPUとNVIDIA Quantum-2 InfiniBandネットワーキングを使用しており、ブラウザからのクリック操作で生成型AI、高性能コンピューティング（HPC）などのアプリケーションをスケーリングできます。全米の顧客に提供されるこの新しいインスタンスは、開発者や研究者が大規模な言語モデル（LLM）と高速計算を使用して新しい消費者およびビジネスのユースケースを見つけ出している時期に登場しました。 NVIDIA H100 GPUは、第4世代のTensor Cores、LLMの加速化に使用される新しいTransformer Engine、および各GPU間で900GB/secで通信できる最新のNVLink技術などのアーキテクチャイノベーションにより、スーパーコンピュータクラスのパフォーマンスを提供します。また、NVIDIA Quantum-2 CX7 InfiniBandの採用により、3,200…

FAAが米国で最大の無人航空システムを承認

米国連邦航空局は、電動航空機スタートアップのPykatheの自律型散布機の米国での商業運用を承認しました

Learn more about Search Results Loom - Page 10