Search Results 大規模な言語モデル

「バリー・ディラー対生成AI：著作権法的な戦い」

メディアの大物であるバリー・ディラー氏と一部の著名な出版社は、人工知能（AI）システムのトレーニングで公開された作品の使用に対する法的な戦いに備えています。生成型AIの台頭により、著作権保護されたコンテンツの公正な利用に関する懸念が高まっており、ディラー氏は出版社の権利を守る決意を固めています。この記事では、ディラー氏の立場の背後にある理由と、生成型AIがコンテンツ作成に与える潜在的な影響について探っていきます。また読む：AI生成コンテンツは開発者を危険にさらすかもしれない過大評価された生成型AIの世界 IACの会長であるバリー・ディラー氏は、生成型AIが過大評価され、まだ初期段階にあると考えています。AIシステムは、書籍、ニュース記事、ソーシャルメディアの投稿など、さまざまなソースから大量の文章データを摂取する大規模な言語モデルに依存しています。しかし、ディラー氏はAIシステムが出版社のコンテンツを摂取する方法に問題があると主張しています。また読む：生成型AI：世界はどこに向かっているのか？コンテンツ作成者 vs. AIシステム問題の核心は、AIシステムが正当な権限なく著作権保護されたコンテンツを利用している点にあります。ディラー氏は、GoogleやMicrosoftなどのテック企業を批判し、著作権法の公正利用の原則が彼らのコンテンツ利用を正当化すると主張しています。彼は、このような慣行がコンテンツ作成者にとって壊滅的なものになりかねず、プロのコンテンツ制作を支えるビジネスモデルを揺るがすと断言しています。また読む：オンライン投稿はすべてAIのものになる、Googleが発表立法か訴訟か：著作権保護の戦い出版社の著作権を守るため、バリー・ディラー氏は立法または訴訟を提唱しています。彼は公正利用を保護し、著作権法を維持する必要性を強調しています。一部のテック企業は出版社との収益共有契約を提供していますが、ディラー氏は現在の収益共有がゼロであり、コンテンツ作成者を支援するのにほとんど役立っていないと主張しています。出版社は自らの権利を真に守るために闘わなければなりません。また読む：生成型AIツールを使用する際のプライバシー保護のための6つのステップ神秘的な同盟：「主要な出版社」が戦いに参加ディラー氏は出版社の権利を守る決意を持っていますが、訴訟を起こす同盟の正体については口を固く閉ざしています。彼は彼らを単に「主要な出版社」と呼んでいます。この秘密主義は、この状況の重大さと法的な挑戦がAI産業に与える潜在的な影響を強調しています。ハリウッドスタジオの仕事の未来著作権の問題に加えて、生成型AIはハリウッドスタジオの労働者の仕事にどのような影響を与えるかという疑問も浮上しています。ディラー氏は、短期的には大きな混乱はないかもしれないと考えていますが、AIがコンテンツを生成する潜在能力は、長期的にはエンターテイメント産業に重要な問題を引き起こす可能性があると認識しています。また読む：ハリウッドの脚本家たちはAIツールに対してストライキを行い、「盗作機械」と呼んでいる足跡を辿って：サラ・シルバーマンの著作権の闘いバリー・ディラー氏はAIの出版慣行に対する闘いで孤立しているわけではありません。コメディアンのサラ・シルバーマンさんと他の2人の著者は、すでにMetaとOpenAIに対して著作権侵害を主張して法的措置を取っています。彼らの訴訟は、AIシステムが彼らの書籍の無断複製を知りながら密かに訓練されたと主張しています。このような法的闘争は、コンテンツ作成者の間で広がる懸念の兆候です。また読む：著作権侵害でOpenAIとMetaが訴えられる注意を払いながら協力する：アソシエイテッドプレスとOpenAI 一部の出版社は法的措置を選択する一方で、他の出版社は協力的な取り組みを選択しています。アソシエイテッドプレスは最近、AIシステムのトレーニングのためにニュース記事のアーカイブをChatGPTの開発者であるOpenAIにライセンス供与することを発表しました。このアプローチは、著作権問題に対処する複雑さを浮き彫りにしますが、同時にAI技術の進歩も進めます。また読む：2023年に生成型AIを学ぶための最良のロードマップ…

AI WebTVの構築

AI WebTVは、自動ビデオと音楽合成の最新の進歩を紹介するための実験的なデモです。 👉 AI WebTVスペースにアクセスしてストリームを視聴できます。モバイルデバイスを使用している場合は、Twitchのミラーからストリームを視聴できます。 AI WebTVの目的は、ZeroscopeやMusicGenなどのオープンソースのテキストからビデオを生成するモデルを使用して、エンターテイニングでアクセスしやすい方法でビデオをデモすることです。これらのオープンソースモデルは、Hugging Faceハブで見つけることができます: ビデオ用: zeroscope_v2_576とzeroscope_v2_XL 音楽用: musicgen-melody 個々のビデオシーケンスは意図的に短く作られており、WebTVは芸術方向性やプログラミングを持つ実際のショーではなく、テックデモ/ショーリールとして見るべきです。 AI WebTVは、ビデオショットのシーケンスを取り、テキストからビデオを生成するモデルに渡してテイクのシーケンスを生成することで動作します。さらに、人間によって書かれた基本テーマとアイデアは、LLM（この場合はChatGPT）を通じて渡され、各ビデオクリップごとにさまざまな個別のプロンプトを生成するために使用されます。以下は、AI WebTVの現在のアーキテクチャのダイアグラムです: WebTVはNodeJSとTypeScriptで実装されており、Hugging Faceでホストされているさまざまなサービスを使用しています。テキストからビデオへのモデル中心となるビデオモデルはZeroscope…

「生成AIツールが自己学習のためのテキストを急速に使い尽くしている」

「OpenAIや他のAI開発者のデータ収集プラクティスに関する最新の懸念が提起されています」

アリババのChatGPTの競合相手、統一千文と出会ってください：その大規模言語モデルは、Tmall Genieスマートスピーカーや職場メッセージングプラットフォームのDingTalkに組み込まれる予定です

人工知能は、過去数年間で急速に人気と重要性が高まっており、企業はAIの研究開発に大きな投資を行っています。AIが波を起こしている特定の分野の一つは、AIチャットボットの開発です。これらのチャットボットは、顧客サービスからオフィス管理まで、さまざまなタスクの支援を目的としています。最近では、中国のクラウド企業であるアリババクラウドも、OpenAIやマイクロソフト、Googleなどの米国の競合他社に対抗するために、AIチャットボットの開発に力を入れています。アリババクラウドの「通一千問」というAIチャットボットは、人間の指示に特化した大規模なモデルであり、効率的なアシスタントやアイデアジェネレーターとして位置づけられています。通一千問は、会議や文書の要約作成、コピーライティングの起草、画像の生成、旅程の計画、ショッピングの提案、ユーザーがアップロードした機能スケッチからのアプリの生成など、さまざまなタスクの支援を目的としています。このAIチャットボットは、ビジネスや個人が業務を効率化し、生産性を向上させるためのオールインワンのソリューションとして設計されています。アリババクラウドのCEOである張勇氏は最近の開発者会議で、「将来的には、アリババのすべての製品が通一千問のモデルに変換される」と述べました。現在、アリババの企業向けのインスタントメッセージングソフトウェア「DingTalk」とスマートスピーカー「天猫精靈」は、モデルを統合したサービスのテストを行っています。たとえば、オンライン会議やチャットメッセージの重要な要点をまとめたり、未解決の問題を生成したりして、それをグループに送信することができます。この統合により、ビジネスは通一千問の効率性と便利さを日常業務で享受することができます。アリババクラウドインテリジェンスはまた、将来的に通一千問の基本モデルを公開する計画を発表しており、エンタープライズが独自の大規模な言語モデルやサービスを作成できるようにする予定です。このビジネスモデルでは、開発者や企業がアリババクラウドのコンピューティングおよびソフトウェアプラットフォームサービスを購入し、AIアプリケーションの開発、トレーニング、展開を行うことができます。この動きにより、ビジネス界でのAIチャットボットの採用がさらに増加し、企業がAIチャットボットソリューションをカスタマイズし最適化する機会が増えるでしょう。通一千問は、Baiduの「問心語答」、SenseTimeの「SenseNova」、360の「360知脑」などの他の中国のクラウド企業のAIチャットボットと競合しています。Baiduの「問心語答」は、中国語と中国文化を理解するために設計された音声アシスタントです。SenseTimeの「SenseNova」はChatGPTに似ており、自然言語処理とAIチャットボットのサービスを提供するために設計されています。360の「360知脑」は、大規模な言語処理モデルである360GPTを基にしています。中国のクラウド企業によるAIチャットボットの登場は、テクノロジー業界におけるAIの重要性の増大を示しています。中国とアメリカの企業間の競争は激しく、どのAIチャットボットが市場リーダーとなるかはまだ見極める必要があります。ただし、AIアシスタントへの傾向は今後も続くことは明らかです。ビジネス界における自動化と効率化への需要の増加に伴い、AIチャットボットはビジネスの業務を最適化し、生産性を向上させる上で重要な役割を果たすことになるでしょう。 AIチャットボットの採用が増えるにつれて、人間の労働者の置き換えが懸念されることがあります。AIチャットボットは確かにビジネスの一部のタスクを自動化し、効率を向上させることができますが、完全な人間の代替手段ではありません。ビジネスは、AIチャットボットが労働力に与える潜在的な影響を考慮し、変化する技術トレンドに対応して従業員が適応し進化できるようにするための措置を講じることが重要です。

「プライバシーの懸念と激化する競争の中、バードがヨーロッパとブラジルに初上陸」

アルファベット社（Googleの親会社）は、AIチャットボットのBardをヨーロッパとブラジルに展開することで、AIの世界における活動を広げていますこの拡大は、Bardが3月に英国と米国で導入されて以来、最も大きな成長を示しており、マイクロソフトのAIチャットボットChatGPTとの競争が激化しています生成AIモデル[…]

google

スタンフォード大学とGoogleからのこのAI論文は、生成エージェントを紹介しています生成エージェントは、人間の振る舞いをシミュレートするインタラクティブな計算エージェントです

明らかに、AIボットは高品質かつ流暢な自然言語を生成することができます。長い間、研究者や実践者は、異なる種類の相互作用、人間関係、社会理論などを学ぶために、人間の行動を持つエージェントで満たされた砂場の文明を構築することを考えてきました。人間の行動の信頼性のある代替品は、仮想現実から社会的スキルトレーニング、プロトタイピングプログラムまで、さまざまなインタラクティブアプリケーションを推進するかもしれません。研究者たちは、スタンフォード大学とGoogle Researchの研究者から、アイデンティティ、変化する経験、環境に応じて人間のような個々の行動と新興的集団行動を模倣するために生成モデルを使用するエージェントを紹介しています。このグループの主な貢献は次のとおりです：エージェントの行動が信憑性があるため、エージェントの変化する経験と周囲の状況に動的に依存しています。急速に変化する状況で、長期的な記憶、検索、反射、社会的相互作用、シナリオの計画能力を実現するための革命的なフレームワーク。制御試験とエンドツーエンドテストの2つのタイプのテストを使用して、アーキテクチャの異なる部分の価値を判断し、記憶の検索のような問題を見つけます。生成エージェントを使用する対話システムが社会と倫理に与える利点と潜在的な危険について議論します。このグループの目標は、スマートエージェントが日常生活を送り、環境や歴史的な手がかりに応じて自然言語でお互いと対話し、スケジュールを組み、情報を交換し、友情を築き、グループ活動を調整する仮想のオープンワールドフレームワークを作成することでした。大規模な言語モデル（LLM）とLLMの出力に基づいてデータを合成・抽出するメカニズムを組み合わせることで、チームは過去の失敗から学び、長期的なキャラクターの一貫性を保ちながら、より正確なリアルタイムの推論を行うことができるエージェントアーキテクチャを作成しました。複雑な行動は、エージェントの録音の再帰的合成によってガイドされることがあります。エージェントのメモリストリームは、エージェントの以前の経験の完全な記録を含むデータベースです。エージェントは、環境の変化に適応するために、メモリストリームから関連するデータにアクセスし、この知識を処理して行動計画を立てることができます。研究者は人間の評価者を募集し、Phaserオンラインゲーム開発フレームワークで開発されたSmallvilleサンドボックス環境で、提案された25の生成エージェントを非プレイヤーキャラクター（NPC）として機能させました。エージェントの一貫したキャラクターの描写と人間のような記憶、計画、反応、反射の説得力ある模倣は、実験の特徴でした。彼らは2日間にわたって自然言語でお互いとコミュニケーションをしました。応用生成エージェントをマルチモーダルモデルと組み合わせることで、オンラインおよびオフラインで人間と対話できるソーシャルロボットが将来的に実現できるかもしれません。これにより、社会システムやアイデアのプロトタイプを作成し、新しいインタラクティブ体験をテストし、より現実的な人間の行動モデルを構築できるようになります。 GOMSやKeystroke Level Modelなどの認知モデルは、ヒューマンセンタードデザインプロセスの別の領域でも使用できます。生成エージェントをユーザーの代替として使用することで、その要件や好みについてより詳しく学び、より適した効率的な技術的相互作用を実現できるようになります。この研究は、役割演技、社会プロトタイピング、没入型環境、ゲームなどで使用する可能性があり、動的で対話的な人間のような行動を持つLLMベースのシミュラクラの進歩に貢献しています。この研究で示された生成エージェントアーキテクチャのコンポーネントは、さらなる研究でさらに開発される可能性があります。たとえば、特定のコンテキストで最も関連性の高い素材を検索モジュールが見つける能力を向上させるために、検索機能を構成する関連性、最近性、重要性の関数を調整することができます。また、アーキテクチャのパフォーマンスを向上させるための取り組みも行われるべきです。将来の研究では、生成エージェントの行動をより長い時間にわたって調査し、その能力と限界について完全な知識を獲得する必要があります。この研究では、エージェントの行動の評価が非常に短い期間に制限されていたためです。

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

「仕事は続けられますが、同じ仕事ではありません」

「AIが私たちのコーディングスキルに迫っている一方で、人間の言語を完全に習得したわけではありませんそれが私たちの競争上の優位性がある部分ですので、準備しておいてください」

「ベクトルデータベースの力を活用する：個別の情報で言語モデルに影響を与える」

この記事では、ベクトルデータベースと大規模言語モデルという2つの新しい技術がどのように連携して動作するかについて学びますこの組み合わせは現在、大きな変革を引き起こしています...

「I2D2に会ってください：制約付きデコーディングと自己模倣学習を用いた言語モデルからの汎用知識生成のための新しいAIフレームワーク」

言語モデルの急速な進歩は、主にその巨大なスケールによるものであり、様々な自然言語処理のタスクで驚異的な能力を実現しています。しかし、考察を促す疑問が生じます：スケールはモデルのパフォーマンスの唯一の決定要因なのでしょうか？最近の研究はこの考えを挑戦し、現在利用可能な最大のモデルと競争できるかどうか、そのサイズが小さいものであっても、小さいモデルが優れた性能を発揮できるかを調査しています。革新的な蒸留、制約デコーディング、自己模倣学習アルゴリズムを活用し、研究はI2D2と呼ばれる画期的なフレームワークを提案し、100倍も大きなモデルよりも優れた性能を発揮する小さい言語モデルを実現しています。 I2D2による小さいモデルの強化小さい言語モデルが直面する主な課題は、比較的低い生成品質です。I2D2フレームワークは、2つの主要なイノベーションによってこの障害を克服します。まず第一に、神経言語デコーディングを用いて制約付き生成を行い、生成品質のわずかな改善をもたらします。さらに、フレームワークは低品質の生成物を除外する小さな評価モデルを組み込み、性能の大幅な向上を実現します。評価モデルによるフィルタリング後に得られた高品質な生成物を用いて、言語モデルは自己模倣ステップで微調整されます。重要なことは、これらの手順を反復的に適用することで、小さい言語モデルの性能を持続的に向上させることができるということです。常識的な知識の生成への適用日常の概念に関する常識的な知識の生成の文脈において、I2D2フレームワークは印象的な結果を示しています。他のアプローチがGPT-3の生成物に依存するのに対して、I2D2は独立して成立します。GPT-3よりも100倍小さいモデルに基づいているにもかかわらず、I2D2は高品質な一般的な常識的知識のコーパスを生成します。大きなモデルを凌駕する比較分析によると、I2D2は一般的な生成物を生成する際の正確さにおいてGPT-3を凌駕します。GenericsKBに存在する一般的な生成物の正確さを検証することで、GPT-3とI2D2の正確さのレベルの比較から、I2D2がより高い正確さを達成していることが明らかになります。このフレームワークの評価モデルは、真偽の判断を下す際に真実と偽の常識的な文を見分けることで、GPT-3を上回ります。多様性の向上と反復的な改善正確さの向上に加えて、I2D2はGenericsKBと比較してより多様な生成物を示します。生成されるコンテンツは10倍も多様であり、自己模倣の連続的な反復によってさらに改善されます。これらの結果から、I2D2は競合するモデルよりも100倍も小さいモデルを利用して、正確かつ多様な一般的な文を生成する強健性を示していることがわかります。研究の意義この研究の主要な発見は、自然言語処理において小さいかつ効率的な言語モデルが大きな改善の可能性を持っていることを示しています。I2D2で導入されたような革新的なアルゴリズム技術を用いることにより、小さいモデルは特定のタスクにおいて大きなモデルのパフォーマンスに匹敵することができます。さらに、この研究は、自己改善が大規模な言語モデルにのみ特有のものであるという考えに挑戦し、I2D2が小さいモデルの自己イテレーションと生成品質の向上の能力を示しています。

Learn more about Search Results 大規模な言語モデル - Page 64