Search Results BLOOM

生成AI倫理’ (Seisei AI Rinri)

生成型人工知能（AI）に関する大騒ぎがある中で、この変革的な技術を責任を持って実装する方法について、未解決の問題が増えていますこの…

「Appleの次の動き：『Apple GPT』の開発と最先端の生成型AIツールの開発によるOpenAIへの挑戦」

Appleは驚くべき動きで、AIを搭載したチャットボット「Apple GPT」として仮称されるものを開発していると報じられています。会社はこの技術を一般に公開する可能性については秘密主義を貫いていますが、Bloombergの情報源によれば、複数のチームがプロジェクトに取り組んでおり、プライバシーの問題に焦点を当てています。このチャットボットは、Apple独自の大規模言語モデル（LLM）フレームワークである「Ajax」上に構築されています。Appleは開発プロセスを加速するためにGoogle Cloudと提携し、機械学習研究を高めるために特別に設計されたGoogle JAXフレームワークを利用しています。Ajaxを使用することで、Appleは機械学習の開発を効率化し、AIの取り組みのための統一されたプラットフォームを作成することを目指しています。 Meta（旧Facebook）、Microsoft、Googleなどのテクノロジージャイアントは、迅速に生成型AI製品を一般に公開してきましたが、Appleは市場で顕著な存在感を示していませんでした。Appleが生成型AIを受け入れることをためらったことは、Appleの従業員がOpenAIによって開発された人気のあるAI言語モデルであるChatGPTの使用を禁止したときに明らかになりました。代わりに、Appleのエンジニアは社内でAjaxを活用したチャットボットの実験を行ってきました。 AppleのAIの旅は、生成型AI製品が登場する前から始まりました。最も知られているAIシステムであるSiriは、音声アシスタントのトレンドを先駆けましたが、制限やパフォーマンスの問題に直面しています。最近のインタビューでは、AppleのCEOは、同社がAI技術に大きな関心を持っており、その分野の進展を注視していると述べています。ただし、彼はまた、AI製品の課題を認識し、重要な進展をする前にさまざまな問題に対処する必要性を強調しました。生成型AIの風景が進化し続ける中、他のテック企業は、スタートアップや研究者と大規模言語モデル（LLM）を共有・協力するための取り組みを行っています。たとえば、Metaは、そのLLMであるLLaMA 2をMicrosoftのAzureプラットフォームで利用できるようにすると発表し、MicrosoftはOpenAIのGPTモデルをBing検索製品で動かしています。 AppleのAI計画については非公開の姿勢を貫いていますが、内部関係者は、来年のどこかで同社が注目すべきAI関連の発表を行うと予想しています。この非常に期待される発表は、テックコミュニティ内で好奇心と憶測を呼び起こし、Appleがどのように自社の専門知識を活用してAIのイノベーションを図るのかを見ることが待ち望まれています。結論として、Appleの「Apple GPT」というAIを搭載したチャットボットへの参入は、同社が新たな技術的な領域を探求することに対するコミットメントを示しています。チャットボットの公開に関する詳細はまだ少ないですが、Appleのプライバシーに配慮したAIソリューションへの執念は、生成型AIの将来に向けて有望なトーンを醸し出しています。競合他社が前進する中、注目はAppleに向けられ、同社がAIのビジョンを発表し、人工知能の急速に拡大する世界で自らの存在感を示すかどうかが待たれています。

新しいAI研究が、大規模言語モデル（LLMs）の能力を分析するためのプロンプト中心のアプローチを提案しています

大規模言語モデル（LLM）の使用の急増により、自然言語処理（NLP）の分野は完全に変革され、特にLLMがオープンエンドのテキストを生成するよう促されています。オープンエンドのテキスト生成の応用は広範囲にわたり、質問応答、ストーリー生成、コード生成、人間支援の創造性、オープンエンドの対話など、複数の領域に及びます。これらのモデルがますます普及するにつれ、これらのシステムの予測不可能性に対する懸念が高まっており、そのためにはこれらの能力と限界をよりよく理解する必要があります。ジョージア工科大学、上海交通大学、Google、スタンフォード大学の研究者は、オープンテキスト生成を分析するためのプロンプトのタクソノミーを作成しました。彼らは288のプロンプトで実験し、3000以上の出力を評価し、緩和戦略と将来の研究方向を分析しました。言語モデルのオープンテキスト生成の能力と制約を分析するために、研究者はユーザーがプロンプトに自然に制約を設定する方法に基づいて個々の制約のタクソノミーを作成しました。彼らは各制約のためのシンプルで自然なベースのプロンプトを設計し、主題やプロンプトテンプレートなどの次元で変化させることでプロンプトのばらつきを緩和しました。プロンプトの制約は、スタイルの制約（文章のスタイルに制約を加える）と構造の制約（単語数を制限するなど、文章の構造に制約を加える）の2つのカテゴリに分類されます。研究者たちは288のプロンプトを作成し、GPT-3、OPT、BLOOM、GLMを使用して出力を生成しました。評価のために、各プロンプトに対して10の出力を生成しました。たとえば、スタイルの制約「気分」のためのベースのプロンプトは「読者に[怒り、恐怖、幸せ、悲しい]と感じさせる愛についての文章を書いてください」となります。出典：https://github.com/SALT-NLP/Bound-Cap-LLM スタイルの制約研究者たちは、GPT-3がコメディ、風刺、皮肉、文芸などの一部の難しいスタイルの制約に苦労し、スタイルと主題の組み合わせに敏感であることを発見しました。プロンプトが難しすぎると、GPT-3はスタイルと主題を混同し、創造的な文章に特有でない単語に苦労します。ただし、モデルのパフォーマンスは注釈者が認識するプロンプトの難しさとは相関しておらず、ヒトとLLMの間でプロンプトの難しさに寄与する要素が異なることを示しています。これは、LLMにとってどのプロンプトが難しいかどうかを経験的に見つけることの重要性を強調しています。構造の制約 GPT-3は一般的に文章の構造の制約を理解することができますが、必要な単語数や文の数などの数値的な制約に苦労し、しばしば正確ではない出力を生成します。また、GPT-3は学術論文の適切なフォーマットができないことがあります。これは、訓練データにおいてこのようなドキュメントに対する明確なラベリングが欠けているためです。著者らは、同じプロンプトと追加の数値的な構造の制約のプロンプトを使用して、他の3つのLLM、OPT-176B9、BLOOM-176B10、GLM-130B11を分析するために彼らの手法を使用しました。これらのモデルはGPT-3よりも性能が低く、生成された出力の半数以上が劣化していることがわかりました。コメントこの論文では、構造的およびスタイリスティックな制約の下でオープンエンドのテキストを生成する言語モデルの能力を分析するための手法が提案されています。結果は、モデルの課題に一致する失敗と、構造的およびスタイリスティックな制約を横断する新しい失敗パターンを示しています。著者らはまた、両方の領域でパフォーマンスを一貫して改善するための緩和策を提供しています。論文は、スタイリスティックおよび構造的な制約のすべての側面をカバーしておらず、すべてのオープンテキスト生成を代表しているわけではないという制約も認識しています。著者らはまた、スタイルの誤用や注釈者の被害の可能性などの倫理的な考慮事項について触れ、注釈者を保護するためのガイドラインを提案しています。全体的に、この論文で提案されている手法と結果は、言語モデルの能力と制約を理解するために貢献しています。

「A.I.が住宅法案を書いた批評家はそれがインテリジェントでないと言っています」

ニューヨーク州の議員は、人工知能プログラムを使用して、ニューヨーク州の法律の抜け穴を特定しましたしかし、その結果となる法案の潜在的な影響は、最善の場合でも不明瞭です

もう1つの大規模言語モデル！IGELに会いましょう：指示に調整されたドイツ語LLMファミリー

IGELはテキストのための指示に調整されたドイツの大規模言語モデルです。 IGELバージョン001（Instruct-igel-001）は、既存のオープンソースモデルとドイツ語に翻訳された指示データセットの組み合わせからドイツ語の指示に調整されたモデルを構築することが可能かどうかを判断するために使用するための基本的なコンセプトの証明です。 IGELの最初のバージョンは、Malte Ostendorffによってドイツ語にローカライズされたBigScience BLOOMに基づいています。 IGELは、感情分析、言語翻訳、質問応答など、自然言語理解に関連するさまざまなタスクを高い精度と信頼性で実行するように設計されています。チームは、LLMsがドイツ語の指示ベースのモデリングタスクをどれだけうまく実行するかを実験したかった。これを達成するために、予め学習されたカスタマイズされたBLOOMモデル（6B）を使用し、翻訳された指示に基づいたデータセットを用いてファインチューニングしました。データセットを構築するために、英語の指示をドイツ語に自動翻訳する手法が使用されました。この戦略により翻訳エラーが発生する可能性が高くなりましたが、彼らの目標は、モデルが依然として指示的な応答を生成することを学ぶことができるかどうかを判断することでした。 Instruct-igel-001には、Hugging Face Transformersで使用するために結合されたウェイトを持つLoRAに調整されたBLOOM-CLP Deutsch（6.4Bパラメータ）が含まれています。instruct-igel-001が単純な翻訳された指示データセットでトレーニングされる前に、データのクリーニング、フィルタリング、および後処理にはほとんど注意が払われません。チームは、幻覚、有害性、およびステレオタイプ化がinstruct-igel-001にあると述べており、これらはすべて言語モデルに共通する問題です。彼らは、チャットモデルを開発し、会話インターフェースを作成することで、データの品質を伝統的な要求と応答の方法を超えて向上させる予定です。

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

ハギングフェイスTGIを使用した大規模言語モデルの展開

大型言語モデル（LLM）は、ほぼ毎週新しいものがリリースされることで人気が高まり続けていますこれらのモデルの数が増えるにつれ、ホストする方法の選択肢も増えています私の…

AIによる生産性向上生成AIが様々な産業において効率の新たな時代を開く

2022年11月22日、ほとんど仮想的な瞬間が訪れ、それは地球上のほぼすべての産業の基盤を揺るがしました。その日、OpenAIは史上最も高度な人工知能チャットボットであるChatGPTをリリースしました。これにより、消費者の質問に答えるための生成型AIアプリケーションから科学的なブレークスルーを追求する研究者の作業を加速するまで、ビジネスがより効率的になるための需要が生まれました。以前はAIに手を出していた企業も、最新のアプリケーションを採用・展開するために急ぎます。アルゴリズムが新しいテキスト、画像、音声、アニメーション、3Dモデル、さらにはコンピュータコードを生成することができる生成型AIは、人々が働く・遊ぶ方法を変革しています。大規模な言語モデル（LLM）を用いてクエリを処理することにより、この技術は情報の検索や編集などの手作業に費やす時間を劇的に短縮することができます。その賭けは大きいです。PwCによると、AIは2030年までに世界経済に1兆5千億ドル以上をもたらす可能性があります。そして、AIの導入の影響はインターネット、モバイルブロードバンド、スマートフォンの発明以上に大きいかもしれません。生成型AIを推進するエンジンは、高速計算です。これは、科学、分析、エンジニアリング、消費者およびエンタープライズのユースケース全般にわたり、GPU、DPU、ネットワーキング、およびCPUを使用してアプリケーションを高速化します。早期の採用企業は、薬剤探索、金融サービス、小売、通信、エネルギー、高等教育、公共部門など、さまざまな業界で、高速計算と生成型AIを組み合わせてビジネスのオペレーション、サービス提供、生産性の向上を実現しています。インフォグラフィックを表示するにはクリックしてください：次世代のAI変革を生み出す薬剤探索のための生成型AI 今日、放射線科医はAIを使用して医療画像の異常を検出し、医師は電子健康記録をスキャンして患者の洞察を明らかにし、研究者は新しい薬剤の発見を加速するためにそれを使用しています。従来の薬剤探索は、5000以上の化学物質の合成を必要とし、平均的な成功率はわずか10%です。そして、ほとんどの新薬候補が市場に出るまでに10年以上かかります。研究者は、生成型AIモデルを使用してタンパク質のアミノ酸配列を読み取り、ターゲットタンパク質の構造を秒単位で正確に予測することができます。これには数週間または数か月かかることがあります。 NVIDIAのBioNeMoモデルを使用して、バイオテクノロジーの世界的リーダーであるアムジェンは、分子スクリーニングと最適化のためのモデルのカスタマイズにかかる時間を3か月からわずか数週間に短縮しました。このタイプのトレーニング可能な基礎モデルにより、科学者は特定の疾患の研究のためのバリアントを作成し、希少な状態の治療法を開発することができます。タンパク質構造の予測や大規模な実世界および合成データセットでのアルゴリズムの安全なトレーニングなど、生成型AIと高速計算は、疾病の拡散を緩和し、個別の医療治療を可能にし、患者の生存率を向上させるための新たな研究領域を開拓しています。金融サービスのための生成型AI NVIDIAの最新の調査によると、金融サービス業界での主要なAIの活用事例は、カスタマーサービスとディープアナリティクスです。ここでは、自然言語処理とLLMが使用され、顧客の問い合わせにより良い対応をするためや投資の洞察を明らかにするために使用されています。別の一般的な応用は、パーソナライズされた銀行体験、マーケティング最適化、投資ガイダンスを提供する推薦システムです。先進的なAIアプリケーションは、この業界が不正行為をより防止し、ポートフォリオ計画やリスク管理からコンプライアンスや自動化まで、銀行業務のあらゆる側面を変革する可能性があります。ビジネスに関連する情報の80%は構造化されていない形式、主にテキスト形式ですが、これは生成型AIの主要な対象となります。Bloomberg Newsは、金融および投資コミュニティに関連するニュースを1日に5,000本も発行しています。これらの記事は、タイムリーな投資の決定をするために使用できる膨大な非構造化市場データの宝庫です。 NVIDIA、ドイツ銀行、ブルームバーグなどは、ドメイン固有のデータや独自のデータをトレーニングおよび微調整するために訓練されたLLMを作成して、金融アプリケーションに使用しています。金融トランスフォーマー、または「FinFormers」は、非構造化の金融データの文脈を学び、意味を理解することができます。これらはQ&Aチャットボットのパワーを供給し、金融テキストを要約・翻訳し、取引先リスクの早期警告サインを提供し、データを迅速に取得し、データ品質の問題を特定することができます。これらの生成型AIツールは、プロプライエタリデータをモデルトレーニングおよび微調整に統合し、バイアスを防ぐためのデータキュレーションを統合し、会話を金融に特化させるためのガードレールを使用するフレームワークに依存しています。フィンテックスタートアップや大手国際銀行がLLMと生成型AIの使用を拡大し、内部および外部の利害関係者に対して洗練されたバーチャルアシスタントを提供し、ハイパーカスタマー向けのコンテンツを作成し、マニュアル作業を削減するために文書要約を自動化し、テラバイトの公共および非公開データを分析して投資の洞察を生成することを期待してください。小売業における生成AI…

「AIは政治をより簡単、安価かつ危険にする」

「有権者はすでにAIによって作成された選挙キャンペーン資料を目にしている可能性がありますが、それに気づいていないかもしれません」

「知識グラフの力を利用する：構造化データでLLMを豊かにする」

近年、大規模な言語モデル（LLM）が広まってきていますおそらく最も有名なLLMはChatGPTで、それはOpenAIによって2022年11月にリリースされましたChatGPTはアイデアを生成し、提供することができます...

Learn more about Search Results BLOOM - Page 11