Search Results Loom

「生成型AI：CHATGPT、Dall-E、Midjourneyなどの背後にあるアイデア」

芸術、コミュニケーション、そして現実の認識の世界は急速に変化しています人間のイノベーションの歴史を振り返ると、車輪の発明や電気の発見などを画期的な飛躍と考えることがあります今日、人間の創造性と機械の計算との間に溝を埋める新たな革命が起こっていますそれは[…]

次回のLLM（法務修士）の申請に使用するためのトップ10のオープンソースLLM

大規模言語モデルをベースにしたアプリケーションは、OpenAIがChatGPTをリリースしてから過去10か月間で注目されてきましたそれ以降、多くの企業やスタートアップがアプリケーションを立ち上げ、...

Gradient Checkpointing、LoRA、およびQuantizationを使用して、単一のGPUにLLMをフィットさせてください

「大規模言語モデルを微調整しようとしたことがある人なら、GPUメモリを扱うのがどれほど難しいかわかっているでしょう 3B、7B、または13Bのパラメータモデルは大きく、微調整は長くて退屈です...」

「Amazon SageMakerを使用したヘルスケアの要約オプションの探索」

現在の急速に進化する医療の現場では、医師は介護者のメモ、電子健康記録、画像報告書など、さまざまな情報源から大量の臨床データに直面しています患者のケアには不可欠なこの情報の富は、医療専門家にとっても圧倒的で時間のかかるものになります効率的に要約し、抽出することは、

「Pythia 詳細な研究のための16個のLLMスイート」

Pythiaは、Eleuther AIによる16の大規模言語モデルのスイートですトレーニングとスケーリング中に自己回帰的な大規模言語モデルを理解し、分析するのに役立ちます

Artificial Intelligence

LangChain 101 パート1. シンプルなQ&Aアプリの構築

LangChainは、テキストを生成し、質問に答え、言語を翻訳し、その他多くのテキスト関連の作業を行うアプリケーションを作成するための強力なフレームワークです私はLangChainと一緒に働いてから...

「人工知能の炭素足跡」

AIの使用に起因する温室効果ガスの排出を削減する方法を探していますが、その使用は非常に増加する可能性があります

生成AI倫理’ (Seisei AI Rinri)

生成型人工知能（AI）に関する大騒ぎがある中で、この変革的な技術を責任を持って実装する方法について、未解決の問題が増えていますこの…

「Appleの次の動き：『Apple GPT』の開発と最先端の生成型AIツールの開発によるOpenAIへの挑戦」

Appleは驚くべき動きで、AIを搭載したチャットボット「Apple GPT」として仮称されるものを開発していると報じられています。会社はこの技術を一般に公開する可能性については秘密主義を貫いていますが、Bloombergの情報源によれば、複数のチームがプロジェクトに取り組んでおり、プライバシーの問題に焦点を当てています。このチャットボットは、Apple独自の大規模言語モデル（LLM）フレームワークである「Ajax」上に構築されています。Appleは開発プロセスを加速するためにGoogle Cloudと提携し、機械学習研究を高めるために特別に設計されたGoogle JAXフレームワークを利用しています。Ajaxを使用することで、Appleは機械学習の開発を効率化し、AIの取り組みのための統一されたプラットフォームを作成することを目指しています。 Meta（旧Facebook）、Microsoft、Googleなどのテクノロジージャイアントは、迅速に生成型AI製品を一般に公開してきましたが、Appleは市場で顕著な存在感を示していませんでした。Appleが生成型AIを受け入れることをためらったことは、Appleの従業員がOpenAIによって開発された人気のあるAI言語モデルであるChatGPTの使用を禁止したときに明らかになりました。代わりに、Appleのエンジニアは社内でAjaxを活用したチャットボットの実験を行ってきました。 AppleのAIの旅は、生成型AI製品が登場する前から始まりました。最も知られているAIシステムであるSiriは、音声アシスタントのトレンドを先駆けましたが、制限やパフォーマンスの問題に直面しています。最近のインタビューでは、AppleのCEOは、同社がAI技術に大きな関心を持っており、その分野の進展を注視していると述べています。ただし、彼はまた、AI製品の課題を認識し、重要な進展をする前にさまざまな問題に対処する必要性を強調しました。生成型AIの風景が進化し続ける中、他のテック企業は、スタートアップや研究者と大規模言語モデル（LLM）を共有・協力するための取り組みを行っています。たとえば、Metaは、そのLLMであるLLaMA 2をMicrosoftのAzureプラットフォームで利用できるようにすると発表し、MicrosoftはOpenAIのGPTモデルをBing検索製品で動かしています。 AppleのAI計画については非公開の姿勢を貫いていますが、内部関係者は、来年のどこかで同社が注目すべきAI関連の発表を行うと予想しています。この非常に期待される発表は、テックコミュニティ内で好奇心と憶測を呼び起こし、Appleがどのように自社の専門知識を活用してAIのイノベーションを図るのかを見ることが待ち望まれています。結論として、Appleの「Apple GPT」というAIを搭載したチャットボットへの参入は、同社が新たな技術的な領域を探求することに対するコミットメントを示しています。チャットボットの公開に関する詳細はまだ少ないですが、Appleのプライバシーに配慮したAIソリューションへの執念は、生成型AIの将来に向けて有望なトーンを醸し出しています。競合他社が前進する中、注目はAppleに向けられ、同社がAIのビジョンを発表し、人工知能の急速に拡大する世界で自らの存在感を示すかどうかが待たれています。

新しいAI研究が、大規模言語モデル（LLMs）の能力を分析するためのプロンプト中心のアプローチを提案しています

大規模言語モデル（LLM）の使用の急増により、自然言語処理（NLP）の分野は完全に変革され、特にLLMがオープンエンドのテキストを生成するよう促されています。オープンエンドのテキスト生成の応用は広範囲にわたり、質問応答、ストーリー生成、コード生成、人間支援の創造性、オープンエンドの対話など、複数の領域に及びます。これらのモデルがますます普及するにつれ、これらのシステムの予測不可能性に対する懸念が高まっており、そのためにはこれらの能力と限界をよりよく理解する必要があります。ジョージア工科大学、上海交通大学、Google、スタンフォード大学の研究者は、オープンテキスト生成を分析するためのプロンプトのタクソノミーを作成しました。彼らは288のプロンプトで実験し、3000以上の出力を評価し、緩和戦略と将来の研究方向を分析しました。言語モデルのオープンテキスト生成の能力と制約を分析するために、研究者はユーザーがプロンプトに自然に制約を設定する方法に基づいて個々の制約のタクソノミーを作成しました。彼らは各制約のためのシンプルで自然なベースのプロンプトを設計し、主題やプロンプトテンプレートなどの次元で変化させることでプロンプトのばらつきを緩和しました。プロンプトの制約は、スタイルの制約（文章のスタイルに制約を加える）と構造の制約（単語数を制限するなど、文章の構造に制約を加える）の2つのカテゴリに分類されます。研究者たちは288のプロンプトを作成し、GPT-3、OPT、BLOOM、GLMを使用して出力を生成しました。評価のために、各プロンプトに対して10の出力を生成しました。たとえば、スタイルの制約「気分」のためのベースのプロンプトは「読者に[怒り、恐怖、幸せ、悲しい]と感じさせる愛についての文章を書いてください」となります。出典：https://github.com/SALT-NLP/Bound-Cap-LLM スタイルの制約研究者たちは、GPT-3がコメディ、風刺、皮肉、文芸などの一部の難しいスタイルの制約に苦労し、スタイルと主題の組み合わせに敏感であることを発見しました。プロンプトが難しすぎると、GPT-3はスタイルと主題を混同し、創造的な文章に特有でない単語に苦労します。ただし、モデルのパフォーマンスは注釈者が認識するプロンプトの難しさとは相関しておらず、ヒトとLLMの間でプロンプトの難しさに寄与する要素が異なることを示しています。これは、LLMにとってどのプロンプトが難しいかどうかを経験的に見つけることの重要性を強調しています。構造の制約 GPT-3は一般的に文章の構造の制約を理解することができますが、必要な単語数や文の数などの数値的な制約に苦労し、しばしば正確ではない出力を生成します。また、GPT-3は学術論文の適切なフォーマットができないことがあります。これは、訓練データにおいてこのようなドキュメントに対する明確なラベリングが欠けているためです。著者らは、同じプロンプトと追加の数値的な構造の制約のプロンプトを使用して、他の3つのLLM、OPT-176B9、BLOOM-176B10、GLM-130B11を分析するために彼らの手法を使用しました。これらのモデルはGPT-3よりも性能が低く、生成された出力の半数以上が劣化していることがわかりました。コメントこの論文では、構造的およびスタイリスティックな制約の下でオープンエンドのテキストを生成する言語モデルの能力を分析するための手法が提案されています。結果は、モデルの課題に一致する失敗と、構造的およびスタイリスティックな制約を横断する新しい失敗パターンを示しています。著者らはまた、両方の領域でパフォーマンスを一貫して改善するための緩和策を提供しています。論文は、スタイリスティックおよび構造的な制約のすべての側面をカバーしておらず、すべてのオープンテキスト生成を代表しているわけではないという制約も認識しています。著者らはまた、スタイルの誤用や注釈者の被害の可能性などの倫理的な考慮事項について触れ、注釈者を保護するためのガイドラインを提案しています。全体的に、この論文で提案されている手法と結果は、言語モデルの能力と制約を理解するために貢献しています。

Learn more about Search Results Loom - Page 11