Search Results Falcon

このAIニュースレターは、あなたが必要とするすべてです＃57

「AIの世界では、LLMモデルのパフォーマンス評価が注目の話題となりました特に、スタンフォードとバークレーの学生による最近の研究についての活発な議論がありました...」

「生成AI、基礎モデル、および大規模言語モデルの世界を探求する：概念、ツール、およびトレンド」

最近、人工知能（AI）は大きな進歩を遂げており、主にディープラーニングの進展によって推進されています昨年のChatGPTの登場により、生成型AIの世界の人気が高まりました...

魅力的な生成型AIの進化

イントロダクション人工知能の広がり続ける領域において、研究者、技術者、愛好家の想像力を捉えているのは、ジェネラティブAIという魅力的な分野です。これらの巧妙なアルゴリズムは、ロボットが日々できることや理解できる範囲の限界を em>押し広げ、新たな発明と創造性の時代を迎えています。このエッセイでは、ジェネラティブAIの進化の航海に乗り出し、その謙虚な起源、重要な転換点、そしてその進路に影響を与えた画期的な展開について探求します。ジェネラティブAIが芸術や音楽、医療や金融などさまざまな分野を革新した方法について調べ、単純なパターンを作成しようとする初期の試みから、現在の息をのむような傑作まで進化してきたことを見ていきます。ジェネラティブAIの将来の可能性について深い洞察を得るためには、その誕生につながった歴史的な背景と革新を理解する必要があります。機械が創造、発明、想像力の能力を持つようになった経緯を探求しながら、人工知能と人間の創造性の分野を永遠に変えた過程をご一緒に見ていきましょう。ジェネラティブAIの進化のタイムライン人工知能の絶え間なく進化する景色の中で、ジェネラティブAIという分野は、他のどの分野よりも多くの魅力と好奇心を引き起こしました。初期の概念から最近の驚異的な業績まで、ジェネラティブAIの旅は非常に特異なものでした。このセクションでは、時間をかけて魅力的な旅に乗り出し、ジェネラティブAIの発展を形作ったマイルストーンを解明していきます。我々は、重要なブレイクスルー、研究論文、進歩を探求し、その成長と進化を包括的に描写します。革新的な概念の誕生、影響力のある人物の出現、ジェネラティブAIの産業への浸透を見ながら、我々と一緒に歴史の旅に出かけ、生活を豊かにし、私たちが知っているAIを革新するジェネラティブAIの誕生を目撃しましょう。 1805年：最初のニューラルネットワーク（NN）/ 線形回帰 1805年、アドリアン＝マリー・ルジャンドルは、入力層と単一の出力ユニットを持つ線形ニューラルネットワーク（NN）を導入しました。ネットワークは、重み付け入力の合計として出力を計算します。これは、現代の線形NNの基礎となる最小二乗法を用いた重みの調整を行い、浅い学習とその後の複雑なアーキテクチャの基礎となりました。 1925年：最初のRNNアーキテクチャ 1920年代、物理学者のエルンスト・イージングとヴィルヘルム・レンツによって、最初の非学習RNNアーキテクチャ（イージングまたはレンツ・イージングモデル）が導入され、分析されました。これは、入力条件に応じて平衡状態に収束し、最初の学習RNNの基盤となりました。 1943年：ニューラルネットワークの導入 1943年、ウォーレン・マクカロックとウォルター・ピッツによって、ニューラルネットワークの概念が初めて紹介されました。生物のニューロンの働きがそのインスピレーションとなっています。ニューラルネットワークは、電気回路を用いてモデル化されました。 1958年：MLP（ディープラーニングなし） 1958年、フランク・ローゼンブラットが最初のMLPを導入しました。最初の層は学習しない非学習層であり、重みはランダムに設定され、適応的な出力層がありました。これはまだディープラーニングではありませんでしたが、最後の層のみが学習されるため、ローゼンブラットは正当な帰属なしに後にエクストリームラーニングマシン（ELM）として再ブランドされるものを基本的に持っていました。 1965年：最初のディープラーニング 1965年、アレクセイ・イヴァハネンコとヴァレンティン・ラパによって、複数の隠れ層を持つディープMLPのための最初の成功した学習アルゴリズムが紹介されました。 1967年：SGDによるディープラーニング 1967年、甘利俊一は、スクラッチから確率的勾配降下法（SGD）を用いて複数の層を持つマルチレイヤーパーセプトロン（MLP）を訓練する方法を提案しました。彼らは、高い計算コストにもかかわらず、非線形パターンを分類するために2つの変更可能な層を持つ5層のMLPを訓練しました。 1972年：人工RNNの発表 1972年、阿弥俊一はレンツ・イジング再帰型アーキテクチャを適応的に変更し、接続重みを変えることで入力パターンと出力パターンを関連付ける学習を可能にしました。10年後、阿弥ネットワークはホプフィールドネットワークとして再発表されました。 1979年：ディープコンボリューショナルNN…

メタは、商用利用に無料のLLaMA 2をリリースしました

これは短いものになりますが、Metaは新しいバージョンのLLaMAをリリースしますこのバージョンはLLaMA 2として知られ、研究目的および商業目的の両方で無料で利用できますこれはMetaからのリリースです

「メタのLlama 2の力を明らかにする：創発型AIの飛躍？」

この記事では、Metaが新しくリリースしたLlama 2の技術的な詳細と意義について探求しますLlama 2は、生成型AIの分野を革新すると約束されている大規模言語モデルですその機能、性能、潜在的な応用について詳しく取り上げながら、オープンソースの性質や企業の安全性と透明性への取り組みについても議論します

Artificial Intelligence

CMUの研究者が「Zeno」という名前の、機械学習（ML）モデルの行動評価のためのフレームワークを紹介しました

AI駆動システムのプロトタイピングは常に複雑でした。しかし、プロトタイプを使用してしばらくすると、それがより機能的であることがわかるかもしれません。メモを取るためのチャットボット、テキストから画像を作成するためのエディタ、および顧客のコメントを要約するためのツールは、プログラミングの基本的な理解と数時間で作成することができます。実際の世界では、機械学習（ML）システムには社会的な偏見や安全上の懸念などの問題が組み込まれることがあります。歩行者検出モデルの人種的偏見から特定の医療画像の系統的な誤分類まで、実践者や研究者は常に最先端のモデルの重大な制限や不具合を発見しています。モデルの制限を発見し、検証するためには、行動評価またはテストが一般的に使用されます。集計された精度やF1スコアなどの統合メトリックを調べる以上に、モデルの出力パターンをサブグループや入力データのスライスごとに理解する必要があります。MLエンジニア、デザイナー、およびドメインエキスパートなどの利害関係者は、モデルの予想される欠陥と潜在的な欠陥を特定するために協力する必要があります。行動評価の重要性は広く強調されていますが、それを行うことは依然として困難です。さらに、公正なツールキットなどの多くの人気のある行動評価ツールは、実際の実践者が通常取り扱うモデル、データ、または振る舞いをサポートしていません。実践者はユーザーや利害関係者から手動で選んだケースをテストし、モデルを評価し、適切な展開バージョンを選択します。モデルは、実践者がモデルが使用される製品またはサービスに慣れる前に頻繁に作成されます。特定のタスクをどれだけうまく完了できるかを理解することは、モデル評価の難しさです。モデルのパフォーマンスは、人間の知能の粗い近似値であるように、集計指標を使用しておおよそ推定するしかありません。たとえば、NLPシステムに正確な文法を埋め込むことができない場合や、社会的な偏見のようなシステム上の欠陥を隠すことができる場合があります。標準のテスト方法は、データのサブセットで全体のパフォーマンスメトリックを計算することです。モデルが持つべき機能を決定する難しさは、行動評価の分野にとって重要です。複雑なドメインでは、要件のリストをテストすることは不可能です。なぜなら、無限の数が存在する可能性があるからです。その代わりに、MLエンジニアはドメインエキスパートやデザイナーと協力して、モデルの予想される機能を説明し、反復および展開する前に記述します。ユーザーは製品やサービスとのインタラクションを通じてモデルの制約と予想される振る舞いにフィードバックを提供し、将来のモデルのイテレーションに組み込まれます。 ML評価システムには、モデルの振る舞いを特定し、検証し、監視するための多くのツールがあります。これらのツールは、公平性の懸念やエッジケースなどのパターンを明らかにするために、データの変換と可視化を使用します。Zenoは他のシステムと協力し、他の方法を組み合わせています。データセットのサブグループまたはスライスに対してメトリックを計算するスライスベースの分析は、Zenoに最も近い行動評価方法です。Zenoは現在、任意のドメインやアクティビティに対してスライドベースのテストとメタモーフィックテストを可能にしています。 ZenoにはPythonアプリケーションプログラミングインタフェース（API）とグラフィカルユーザインタフェース（GUI）（UI）が含まれています。モデルの出力、メトリック、メタデータ、変更されたインスタンスなど、行動評価の基本的なコンポーネントは、Python API関数として実装できます。APIの出力は、行動評価とテストを実施するためのメインインタフェースを構築するためのフレームワークです。Zenoには2つの主要なフロントエンドビューがあります。データの発見とスライスの作成に使用されるExploration UIと、テストの作成、レポートの作成、パフォーマンスのモニタリングに使用されるAnalysis UIです。 ZenoはPythonスクリプトを介して一般に公開されています。組み込まれたフロントエンドはSvelteで書かれており、視覚化にはVega-Lite、データ処理にはArqueroを使用しています。このライブラリはPythonパッケージに含まれています。必要な設定（テストファイル、データパス、列名など）を指定した後、ユーザーはコマンドラインからZenoの処理とインタフェースを開始します。ZenoのUIをURLエンドポイントとしてホストする能力により、それをローカルに展開するか、他のコンピューティングと共にサーバーに展開することができ、ユーザーは自分のデバイスからアクセスできます。このフレームワークは、数百万のインスタンスを含むデータセットで試され、設置されたシナリオにも適切にスケーリングするはずです。 ML環境には、特定のデータやモデルに対応するさまざまなフレームワークやライブラリがあります。Zenoは、カスタマイズ可能なPythonベースのモデル推論およびデータ処理APIに大いに依存しています。研究者たちは、ほとんどのMLライブラリがPythonに基づいているため、同じ断片化の問題に直面しているにもかかわらず、現代のほとんどのMLモデルをサポートするために、zenoのバックエンドAPIを一連のPythonデコレータメソッドとして開発しました。研究チームによって実施された事例研究では、ZenoのAPIとUIがデータセットとジョブ全体にわたって主要なモデルの欠陥を発見するのにどのように協力しているかが示されました。より広い意味で言えば、この研究の結果から、行動評価フレームワークはさまざまなデータやモデルに対して有用であることが示唆されます。ユーザーのニーズや課題の難しさに応じて、Zenoのさまざまな機能は行動評価をより簡単で迅速かつ正確にすることが可能です。事例2の参加者はAPIの拡張性を活用してモデル分析のメタデータを作成しました。事例研究の参加者は、既存のワークフローにZenoを組み込むことやZeno APIとのコード通信についてほとんど困難を報告していませんでした。制約と予防措置行動評価において、エンドユーザーにとって重要な行動やモデルによってエンコードされる行動を把握することは大きな困難です。研究者は現在、ZenoHubという共同リポジトリを開発しており、ユーザーがZenoの機能を共有し、関連する分析コンポーネントをより簡単に見つけることができるようにして、モデル機能の再利用を促進しています。 Zenoの主な機能はデータスライスに対してメトリックを定義してテストすることですが、ツールはデータやスライスを表示するための限られたグリッドとテーブルビューのみを提供しています。Zenoの有用性は、さまざまな強力な可視化手法のサポートによって向上する可能性があります。DendroMap、Facets、AnchorVizなど、意味的な類似性をエンコードしたインスタンスビューを使用することで、ユーザーはデータ内のパターンや新たな行動をより良く発見することができるでしょう。ML Cube、Neo、ConfusionFlowなど、Zenoがモデルの行動をより良く表示するために変更できるいくつかのMLパフォーマンスの可視化手法があります。 Zenoは並列計算とキャッシングによって大規模なデータセットにスケーリングすることができますが、機械学習のデータセットのサイズは急速に増加しています。そのため、より高速な処理を実現するためにさらなる改善が求められます。Rayなどのライブラリを使用して分散コンピューティングクラスタで処理を行うことは、将来のアップデートとなるでしょう。非常に大きなテーブル上での複数のヒストグラムのクロスフィルタリングは、別の障害です。ZenoはFalconのような最適化手法を用いて、大規模データセット上でリアルタイムのクロスフィルタリングを容易にすることができます。結論：訓練データにおいて機械学習モデルが高い精度を達成しても、実際の世界においてはネガティブなバイアスや安全上の問題など、システム的な欠陥に苦しむ可能性があります。実践者はモデルの行動評価を行い、特定の入力に対するモデルの出力を検査して、このような問題を特定し修正します。行動評価は重要でありながらも困難な課題であり、実世界のパターンの発見やシステム的な欠陥の検証を必要とします。機械学習の行動評価は、バイアスや安全上の問題など、問題のあるモデルの行動を特定し修正するために重要です。この研究では、著者らがMLの評価の困難さに深く踏み込み、さまざまな文脈でモデルをスコアリングするための普遍的な手法を開発しました。実践者が実世界のモデルを評価する4つの事例研究を通じて、研究者はZenoが複数の領域にわたって適用できる可能性を示しました。多くの人々はAIの発展に高い期待を寄せています。しかし、彼らの行動の複雑さは彼らの能力と同じ速度で発展しています。行動駆動の開発を可能にし、人間の価値と調和したインテリジェントシステムの構築を保証するためには、堅牢なリソースが必要です。Zenoは、AI関連のさまざまなジョブ全体でこのような詳細な検証を行うことができる柔軟なプラットフォームです。

このAIニュースレターは、あなたが必要とするすべてです #56

今週、オープンソースとクローズドモデルの両方で、LLMの世界にいくつかの新しい競合他社が登場しました印象的な機能を持つにもかかわらず、LLaMAモデルの最初のバージョンにはライセンスの問題がありました...

「LLMを使用して、会話型のFAQ機能を搭載したAmazon Lexを強化する」

Amazon Lexは、Amazon Connectなどのアプリケーションのために、会話ボット（「チャットボット」）、バーチャルエージェント、およびインタラクティブ音声応答（IVR）システムを迅速かつ簡単に構築できるサービスです人工知能（AI）と機械学習（ML）は、Amazonの20年以上にわたる焦点であり、顧客が利用する多くの機能の一部です

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

ハギングフェイスTGIを使用した大規模言語モデルの展開

大型言語モデル（LLM）は、ほぼ毎週新しいものがリリースされることで人気が高まり続けていますこれらのモデルの数が増えるにつれ、ホストする方法の選択肢も増えています私の…

Learn more about Search Results Falcon - Page 15