Search Results WNR AI

「AIガバナンスにおけるステークホルダー分析の包括的ガイド（パート1）」

「AIガバナンスジャーナルの前のエディションでは、AIガバナンスの12の基本原則を取り上げましたこれらの原則は、倫理的ジレンマの中で私たちを導くコンパスとして機能します効果的なAI...」

「50以上の最新の最先端人工知能（AI）ツール（2023年11月）」

AIツールは急速に開発が進んでおり、定期的に新しいツールが導入されています。以下にいくつかのAIツールを紹介します。これらは日常のルーティンを強化することができます。 AdCreative.ai AdCreative.aiは、究極の人工知能ソリューションであることから、広告とソーシャルメディアの活動を強化することができます。 Hostinger AIウェブサイトビルダー Hostinger AIウェブサイトビルダーは、直感的なインターフェースと高度なAI機能を組み合わせ、どんな目的にも対応できるウェブサイトの作成をサポートします。 Motion Motionは、会議、タスク、プロジェクトを考慮した毎日のスケジュールを作成するためにAIを使用する賢いツールです。 Otter AI 人工知能を活用したOtter.AIは、共有可能で検索可能でアクセスしやすく安全な会議のメモのリアルタイムトランスクリプションを提供します。 Sanebox Saneboxは、AI駆動のメール最適化ツールです。SaneBoxのA.I.は重要なメールを特定し、残りを自動的に整理して集中力を高めるお手伝いをします。 Notion AI Notion AIは、Notionのワークスペース内で直接執筆、ブレインストーミング、編集、要約を手助けする執筆アシスタントです。 Pecan AI Pecan AIは、予測アナリティクスを自動化して、今日のビジネスの課題である予算縮小、コスト上昇、データサイエンスとAIリソースの限られた資源を解決します。Pecanの低コード予測モデリングプラットフォームは、データに基づいた意思決定を導き、ビジネスチームが目標を達成するのをサポートします。 Aragon Aragonを使用すると、最新のAI技術を活用して、迅速に自分自身の高品質のプロフェッショナルなヘッドショットを作成することができます。写真スタジオの予約やドレッシングアップの手間を省くことができます。…

メタ：メタバースの悪夢からAIの成功へ

タイトルの前半は言葉通りであり、後半は少し明確ではありません私は（以下で正当性を主張している）メタのAIにおける非定型な進歩は少なくとも興味深くて...

私たちはどのように大規模な言語モデルをストリーミングアプリケーションで効率的に展開できるのでしょうか？このAI論文では、無限のシーケンス長のためのStreamingLLMフレームワークを紹介しています

大きな言語モデル（LLM）は、コード補完、質問応答、文書要約、対話システムなど自然言語処理アプリケーションのパワーとして、ますます使用されています。事前にトレーニングされたLLMは、正確かつ迅速に拡張シーケンス作成を行う必要があり、その全ての潜在能力を発揮するためには可能な限り大量のシーケンスを処理できる必要があります。例えば、最近の日中のチャットのコンテンツを信頼性を持って編集する理想的なチャットボットヘルパーです。4KのLlama-2など、事前学習されたものよりも大きなシーケンス長に一般化することは、LLMにとって非常に困難です。事前トレーニング中のアテンションウィンドウのため、LLMは制約されます。長い入力に対してこのウィンドウの大きさを拡張し、トレーニングと推論の効果を高めるための取り組みが行われていますが、許容されるシーケンス長はまだ見直す必要があり、永続的な展開を妨げています。MIT、Meta AI、カーネギーメロン大学の研究者らは、この研究で最初にLLMストリーミングアプリケーションのアイデアを検討し、次の質問を提起しています：LLMを無限の入力ストリームに使用する際には、2つの主要な問題が浮かび上がります： 1. TransformerベースのLLMは、デコーディングステージ中にすべての前のトークンのKeyとValueの状態（KV）をキャッシュします（図1(a)参照）。これは、過剰なメモリ使用量とデコードの遅延の増加を引き起こす可能性があります。 2. シーケンスの期間が事前学習中のアテンションウィンドウサイズを超えると、既存のモデルのパフォーマンスが低下します。図1は、StreamingLLMと以前の技術を比較しています。トークンT（T>>L）は、長さLのテキストで事前トレーニングされた言語モデルによって予測されます。（a）密なアテンションはキャッシュ容量が上昇し、時間の複雑さがO（T^2）になります。テキストの長さが事前トレーニングのテキスト長を超えるとパフォーマンスが低下します。（b）ウィンドウアテンションは、キャッシュ中で最新のLトークンのKVを保存します。推論ではパフォーマンスが良いですが、最初のトークンのキーと値が削除されると急速に悪化します。新しいトークンごとに、（c）スライディングウィンドウとリコンピューテーションは、最新のLトークンを使用してKV状態を再構築します。長いテキストの処理には優れていますが、O（T L^2）の計算量と文脈の再計算における二次関数のアテンションのため、非常に遅いです。（d）「ステディなアテンションの計算のため、StreamingLLMは最新のトークンとともに少数の初期トークンをアテンションシンクとして保持します。長いテキストに対して効果的かつ一貫して機能します。Llama-2-13Bモデルは、PG-19テストセットの最初の本（65Kトークン）におけるPerplexityを計算するために使用されます。ウィンドウアテンションは、最新のトークンのKV状態の固定サイズのスライディングウィンドウを保持する明確な戦略です（図1b）。最初のトークンのKVを排除するだけで、シーケンス長がキャッシュ容量を超えると、モデルは崩壊します。キャッシュが最初に一杯になった後も、一貫したメモリ使用量とデコード性能を保証します。さらなる戦略として、再計算を行うスライディングウィンドウ（図1c）があります。このテクニックは、ウィンドウ内の二次関数のアテンション計算により、非常に遅くなりますが、パフォーマンスは良好です。これは、実世界のストリーミングアプリケーションには適していません。ウィンドウアテンションの失敗を説明するための自己回帰LLMの興味深い現象を彼らは発見しました。言語モデリングのタスクと関連性に関係なく、初期トークンに驚くほど高いアテンションスコアが割り当てられています。これらのトークンは「アテンションシンク」と呼ばれ、意味的な価値はほとんどありませんが、重要なアテンションスコアを受け取ります。関連するトークンすべてにおいてアテンションスコアが1になる必要があるソフトマックス処理が原因とされています。そのため、現在のクエリが多くの以前のトークンと良い一致がない場合でも、モデルはこれらの余分なアテンション値を一に加える必要があります。初期トークンは、シンプルな理由で注意の溜め場として使用されます: 自己回帰型言語モデリングの性質により、実質的にすべての後続トークンに対して可視性があり、トレーニングが容易です。前述の発見に基づいて、ストリーミングLLMという直感的で効果的なアーキテクチャを提案しています。これにより、有限な注意ウィンドウで準備されたLLMが、細かな調整なしで無期限のテキストに対応できるようになります。注意の消耗が高いため、StreamingLLMはこの特性を活用して注目度の分布を適度に維持します。StreamingLLMは、スライディングウィンドウのキーバリューと初期トークンの注目計算とモデルの安定性を維持するために使用されます (初期トークンはわずか4つだけ必要です)。 Llama-2-B、MPT-B、Falcon-B、およびPythiaBのようなモデルは、StreamingLLMの助けを借りて4百万トークンを正確に表現できるでしょう、さらに多くの可能性もあります。StreamingLLMは、再計算を伴うスライディングウィンドウとの比較で最大22.2倍の高速化を実現し、LLMのストリーミング使用を実現します。最後に、言語モデルはストリーミング展開に必要な注目の溜め場トークンを単一にすることが事前学習で可能であることを示しています。トレーニングサンプルの開始時に、選択した注目の溜め場を追加の学習可能なトークンとして実装することを提案しています。この単一の溜め場トークンの導入により、1億6000万パラメータからゼロから言語モデルを事前学習することで、ストリーミングインスタンスにおけるモデルのパフォーマンスを維持できます。これは、同じパフォーマンスレベルを維持するために複数の初期トークンを溜め場として再導入する必要があるバニラモデルとは対照的です。

「プリンストンの研究者たちは、CoALA（コアラ）という概念的なAIフレームワークを提案していますこれにより、言語エージェントを体系的に理解し構築することが可能となります」

人工知能の急速な進化の中で、人間の言語を理解し生成する能力を持つ言語エージェントを開発するという課題が課せられています。これらのエージェントは言語を理解し解釈し、複雑なタスクを実行することが期待されています。研究者や開発者にとって、これらのエージェントをどのように設計し、向上させるかという問題は最重要な関心事となっています。プリンストン大学の研究チームは、言語エージェントの開発に構造と明瞭さをもたらす画期的な概念モデルである「Cognitive Architectures for Language Agents (CoALA)」フレームワークを紹介しました。この革新的なフレームワークは、内部メカニズム、メモリモジュール、アクションスペース、意思決定プロセスに基づいてエージェントを分類することで、言語エージェントの開発に構造と明瞭さを与えることを目指しています。このフレームワークの顕著な応用例としては、メタAIの研究者が開発したLegoNNメソッドが挙げられます。 CoALAフレームワークの重要な構成要素であるLegoNNは、エンコーダ・デコーダモデルの構築における画期的なアプローチを提供します。これらのモデルは、機械翻訳（MT）、自動音声認識（ASR）、光学文字認識（OCR）を含むさまざまなシーケンス生成タスクにおいてバックボーンとなります。従来のエンコーダ・デコーダモデルの構築方法では、通常、各タスクごとに別々のモデルを作成する必要がありました。この手間のかかるアプローチには、各モデルの個別のトレーニングと微調整が必要であり、多くの時間と計算リソースを要求します。しかし、LegoNNは、そのモジュール式のアプローチによってパラダイムの転換をもたらします。開発者は、異なるシーケンス生成タスクに適応できる柔軟なデコーダモジュールを作成することによって、モデルの構築とトレーニングに必要な時間と労力を大幅に削減することができます。これらのモジュールは、さまざまな言語関連アプリケーションにシームレスに統合するために巧妙に設計されています。 LegoNNの特徴的な革新は、再利用性に重点を置いている点にあります。デコーダモジュールが特定のタスクに対して緻密にトレーニングされると一度、再トレーニングを行わずにさまざまなシナリオで利用することができます。これにより、時間と計算リソースを大幅に節約でき、高効率で多目的な言語エージェントの作成が可能となります。 CoALAフレームワークの導入とLegoNNなどの革新的な手法は、言語エージェントの開発において重要なパラダイムシフトをもたらしています。以下に主なポイントの要約を示します。構造化された開発: CoALAは、言語エージェントを分類するための構造化されたアプローチを提供します。この分類により、研究者や開発者はこれらのエージェントの内部機能をより理解し、より情報に基づいた設計の決定が可能となります。モジュールの再利用性: LegoNNのモジュール式のアプローチは、言語エージェントの開発における新たな再利用性をもたらします。さまざまなタスクに適応できるデコーダモジュールを作成することで、モデルの構築とトレーニングに必要な時間と労力を大幅に削減できます。効率と多様性: LegoNNの再利用性の側面は、効率と多様性に直結します。言語エージェントは、特定のアプリケーションごとにカスタムビルドされたモデルを必要とせずに、さまざまなタスクを実行できるようになります。コスト削減: 言語エージェントの開発には従来、膨大な計算コストがかかりました。LegoNNのモジュール設計により、時間と計算リソースを節約することができ、費用効果の高いソリューションとなります。パフォーマンスの向上: LegoNNによるデコーダモジュールの再利用は、パフォーマンスの向上につながります。これらのモジュールは特定のタスクに対して微調整され、さまざまなシナリオに適用されることで、堅牢な言語エージェントが実現します。結論として、CoALAフレームワークやLegoNNなどの革新的な手法は、言語エージェントの開発の景色を変えつつあります。このフレームワークは、構造化されたアプローチを提供し、モジュールの再利用を重視することで、効率的で多目的かつ費用効果の高い言語エージェントの実現を可能にします。人工知能の進歩に伴い、CoALAフレームワークは、よりスマートで能力の高い言語エージェントの追求において進歩の指標となっています。

「50以上の新しい最先端の人工知能（AI）ツール（2023年9月）」

AIツールの開発が急速に増えており、新しいツールが定期的に導入されています。以下のいくつかのAIツールをチェックして、日常のルーティンを向上させましょう。 AdCreative.ai AdCreative.aiは究極の人工知能ソリューションで、広告とソーシャルメディアの活性化を図ります。 Hostinger AIウェブサイトビルダー Hostinger AIウェブサイトビルダーは直感的なインターフェースと高度なAIの機能を備えており、あらゆる目的のウェブサイトを作成するために設計されています。 Motion Motionは、会議、タスク、プロジェクトを考慮した日々のスケジュールを作成するためにAIを使用する賢いツールです。 Otter AI 人工知能を利用したOtter.AIは、共有可能で検索可能、アクセス可能、安全な会議のメモのリアルタイム転写をユーザーに提供します。 Sanebox SaneboxはAIパワーを活用したメール最適化ツールです。SaneBoxのA.I.は重要なメールを特定し、他のメールを自動的に整理して集中力を高めるお手伝いをします。 Notion AI Notion AIは、Notionワークスペース内での執筆、ブレインストーミング、編集、要約をサポートする執筆アシスタントです。 Pecan AI Pecan AIは、予測分析を自動化して現在のビジネスの課題である予算の縮小、コストの上昇、データサイエンスとAIリソースの制約を解決します。Pecanの低コード予測モデリングプラットフォームは、データ駆動型の意思決定をサポートし、ビジネスチームが目標を達成するのに役立ちます。 Aragon Aragonを使用して、最新のA.I.技術を利用して手軽にプロフェッショナルなヘッドショットを作成しましょう！写真スタジオの予約やおしゃれをする手間を省くことができます。…

「50以上の最新AIツール（2023年8月）」

AIツールは急速に開発が進んでおり、新しいツールが定期的に導入されています。以下のいくつかのAIツールをチェックして、日常のルーティンを向上させてください。 Otter AI 人工知能を使用したOtter.AIは、共有可能で検索可能でアクセス可能で安全な会議のメモのリアルタイム転写をユーザーに提供します。 AdCreative.ai 広告とソーシャルメディアのゲームをAdCreative.aiで強化しましょう-究極の人工知能ソリューションです。 Pecan AI Pecan AIは予測分析を自動化し、今日のビジネスの課題である予算の縮小、コストの上昇、データサイエンスとAIリソースの制約に対処します。Pecanの低コード予測モデリングプラットフォームは、データに基づく意思決定を導き、ビジネスチームが目標を達成するのを支援するAI駆動の予測分析を提供します。 Aragon Aragonを使用して、驚くべきプロフェッショナルなヘッドショットを手間なく作成しましょう。最新のA.I.テクノロジーを活用して、瞬時に自分自身の高品質なヘッドショットを作成しましょう！写真スタジオの予約や着飾る手間を省略しましょう。 Taskade Taskadeは、ユーザーがタスクとプロジェクトを効率的に管理するのを支援するAI生産性ツールです。 Notion AI Notion AIは、Notionワークスペース内で直接書き、ブレインストーミング、編集、要約を支援するライティングアシスタントです。 Bubble Bubbleを使用すると、コードを使用せずにCRM、SaaSアプリ、ダッシュボード、ソーシャルネットワーク、マーケットプレイスを簡単に作成できます。 Bing MicrosoftはAIパワードのBing検索エンジンを開発しました。これは、ユーザーがウェブを検索する際に研究アシスタント、パーソナルプランナー、クリエイティブパートナーのような役割を果たします。 tl;dv GPTモデルによって動作するこのツールは、ZoomとGoogle…

50以上の最新の最先端AIツール（2023年7月）

AIツールは急速に開発が進んでおり、新しいものが定期的に導入されています。以下は、日常のルーティンを強化することができるいくつかのAIツールです。 tl;dv GPTモデルによって動作するこのツールは、ZoomやGoogle Meetの会議録音ツールです。tl;dvは、通話をユーザーのために書き起こして要約します。 Otter AI 人工知能を使用して、Otter.AIは、共有可能で検索可能なリアルタイムの会議の議事録をユーザーに提供します。 Taskade Taskadeは、タスクやプロジェクトを効率的に管理するのに役立つAI生産性ツールです。 Notion AI Notion AIは、Notionワークスペース内で書く、アイデアを出し、編集し、要約するのを支援するライティングアシスタントです。 Bing Microsoftが開発したAIパワードのBing検索エンジンは、ウェブを検索するたびに研究アシスタント、パーソナルプランナー、クリエイティブパートナーのようなものを持つようになりました。 Bard Googleが開発したチャットボットのBardは、生産性を高め、アイデアを形にするのに役立ちます。 Forefront Forefront AIは、GPT-4、画像生成、カスタムパーソナ、共有可能なチャットに無料でアクセスできるプラットフォームであり、企業に改善された効率性とユーザーエクスペリエンスを提供します。 Merlin Merlinは、ブログサマライザーやGmailのAIライターなどの機能を提供して、ユーザーが任意のウェブサイト上で任意のタスクを完了できるようにするChatGPT拡張機能です。 WNR AI…

『LLM360をご紹介します：最初の完全オープンソースで透明な大規模言語モデル（LLM）』

“`html オープンソースの大規模言語モデル（LLM）であるLLaMA、Falcon、Mistralなどは、AIのプロフェッショナルや学者向けにさまざまな選択肢を提供しています。しかし、これらのLLMの大部分は、エンドモデルの重みや推論スクリプトなどの一部のコンポーネントだけが利用可能であり、技術的なドキュメントでは、一般的な設計の側面や基本的なメトリックに焦点を絞った内容が多いです。このアプローチでは、LLMのトレーニング手法の明確性が低下し、チームがトレーニング手順のさまざまな側面を継続的に解明するための努力が重複してしまいます。 Petuum、MBZUAI、USC、CMU、UIUC、UCSDの研究者チームが、LLM360を導入しました。これは、エンドツーエンドのLLMトレーニングプロセスを透明で再現可能にすることにより、オープンかつ協力的なAIの研究をサポートするイニシアチブです。LLM360は、トレーニングコードとデータ、モデルのチェックポイント、中間結果などのすべてをコミュニティに提供することを主張する、完全なオープンソースのLLMです。 LLM360に最も近いプロジェクトはPythiaであり、LLMの完全な再現性を目指しています。GPT-JやGPT-NeoXなどのEleutherAIモデルは、トレーニングコード、データセット、中間モデルのチェックポイントと共にリリースされており、オープンソースのトレーニングコードの価値を示しています。INCITE、MPT、OpenLLaMAは、トレーニングコードとトレーニングデータセットがリリースされ、RedPajamaも中間モデルのチェックポイントを公開しています。 LLM360は、AMBERとCRYSTALCODERの2つの7BパラメータLLMをリリースし、そのトレーニングコード、データ、中間チェックポイント、分析も提供します。事前トレーニングデータセットの詳細、データの前処理、フォーマット、データミキシングの比率、LLMモデルのアーキテクチャの詳細については、研究で詳しく説明されています。この研究では、以前の研究で導入された記憶スコアの使用と、メトリック、データチャンク、チェックポイントの公開により、研究者が対応関係を容易に見つけることができるようになることを示しています。研究ではまた、LLMが事前にトレーニングされたデータを削除することの重要性や、データのフィルタリング、処理、トレーニング順序の詳細についても強調しています。研究では、ARC、HellaSwag、MMLU、TruthfulQAの4つのデータセットについてのベンチマーク結果が示され、モデルの事前トレーニング中のパフォーマンスが示されています。HellaSwagとARCの評価スコアはトレーニング中に単調に増加し、TruthfulQAのスコアは減少します。MMLUのスコアは最初に減少し、その後成長します。AMBERのパフォーマンスはMMLUなどのスコアで競争力があるものの、ARCでは遅れています。ファインチューニングされたAMBERモデルは、他の類似モデルと比較して強力なパフォーマンスを示します。 LLM360は、オープンソースLLMの完全かつ包括的なイニシアチブであり、オープンソースのLLM事前トレーニングコミュニティ内での透明性を推進するものです。この研究では、AMBERとCRYSTALCODERの2つの7B LLMをトレーニングコード、データ、中間モデルのチェックポイント、分析と共にリリースしています。研究では、チェックポイント、データチャンク、評価結果を公開することにより、包括的な分析と再現性を可能にするため、すべての角度からLLMをオープンソース化することの重要性を強調しています。 “`

「4つの簡単なステップであなたのMLシステムを超高速化する」

「ML最適化のローラーコースターへようこそ！この投稿では、4つのシンプルなステップで、いかなるMLシステムを高速訓練と推論に最適化するプロセスをご紹介しますこんなことを想像してみてください：あなたは…」

Learn more about Search Results WNR AI