Search Results A

「生成AIがデータプラクティスを破壊する方法」

昨年11月にOpenAIによってリリースされたLanguage Learning Model（LLM）ChatGPTの登場は、Google BardやMicrosoft Bingなどの代替案を含む波及をもたらし、Gen AIは大規模な変革をもたらしました企業はこの技術をどのように活用できるかを探求しています

Partners

AIはクリエイティブな思考のタスクで人間を上回ることができるのか？この研究は人間と機械学習の創造性の関係についての洞察を提供します

AIは多くの領域で著しい進歩を遂げ、貴重なツールとなっていますが、それは人間の独自の特性や能力の代替ではありません。多くの場合、最も効果的なアプローチは、AIと共に働く人間がお互いの強みを生かして最良の結果を得ることです。人間と人工知能には根本的な違いがあり、人間の知能が優れているタスクや領域も存在します。人間は創造的に考え、新しい概念を想像し、革新することができます。AIシステムは、訓練されたデータとパターンに制約されており、真に新しい創造的なタスクには苦労することがよくあります。ただし、問題は、平均的な人間がAIモデルを凌駕できるかどうかですか？研究者は、256人の人間と現在の3つのAIチャットボット、ChatGPT3.5、ChatGPT4、Copy.AIの創造性を比較するために、代替的な使い道タスク（AUT）を使用しました。これは発散的思考タスクであり、心理学や創造性の研究で使用される認知的な手法で、特定の刺激に対して創造的で新しいアイデアを生成する能力を評価するものです。これらのタスクは、発散的思考能力、つまり1つの問題から広く考え、複数の解決策やアイデアを生成する能力を測定します。参加者には、日常の物品に対して一般的で創造的な使い道を考えるように求められました。AUTは、ロープ、箱、鉛筆、キャンドルの4つの課題で構成されていました。人間の参加者には、定量的なアイデアに依存せずに、質的なアイデアを提供するよう指示されました。チャットボットは、異なるセッションで4つのオブジェクトのプロンプトを11回テストしました。4つのオブジェクトは、そのセッション内で1回のみテストされました。研究者は、結果を評価するために、6人の専門的に訓練された人間から主観的な創造性や独創性の評価を収集しました。オブジェクトカテゴリ内の応答の順序は、各評価者ごとに個別にランダムに配置されました。各評価者のスコアは、参加者またはチャットボットがオブジェクトに対してセッションで提供したすべての応答について平均化され、各オブジェクトの最終的な主観的スコアは、6人の評価者のスコアの平均化によって形成されました。平均して、AIチャットボットは人間の参加者を上回りました。人間の応答には品質の低いアイデアが含まれていましたが、チャットボットは一般的により創造的な応答を生成しました。ただし、最も優れた人間のアイデアは、チャットボットのそれと同等またはそれを上回っていました。この研究は、創造性を高めるためのツールとしてのAIの潜在能力を示している一方で、AI技術だけでは再現または超越が難しい人間の創造性の特性や複雑さも強調しています。ただし、AI技術は急速に発展しており、半年後には結果が異なる可能性があります。現在の研究に基づいて、人間のパフォーマンスの最も明確な弱点は、品質の低いアイデアの比率が比較的高いことですが、チャットボットの応答には存在しませんでした。この弱点は、人間のパフォーマンスにおける通常のバリエーション、関連付けや実行プロセスの失敗、動機付けの要因などによるものかもしれません。

「AIとブロックチェーンの交差点を探る：機会と課題」

今日私たちが見ている世界を変えるAIをブロックチェーンに統合することに関連する機会と課題を探索してください

ChatGPTはナップサック問題を解決できますか？

「ChatGPTの出現以来、最適化とオペレーションズリサーチ（OR）の世界にChatGPTがどのような影響を与えるのか、ずっと考えていますChatGPTが高校を通過したというニュースもありましたが、…」

「AIを活用した言語モデル（ChatGPTなど）を使用する際の倫理的考慮事項 💬」

「人工知能（AI）は迅速に私たちの生活のさまざまな側面に進出しており、ChatGPTのようなAI搭載の言語モデルがますます一般的になっていますこれらのモデルは驚くべきものをもたらします...」

「LLaMaをポケットに収めるトリック：LLMの効率とパフォーマンスを結ぶAIメソッド、OmniQuantに出会おう」

大型言語モデル（LLM）は、機械翻訳、テキスト要約、質問応答など、さまざまな自然言語処理タスクで印象的なパフォーマンスを発揮しています。彼らは私たちがコンピュータとコミュニケーションを取る方法やタスクを行う方法を変えてきました。 LLMは、自然言語の理解と生成の限界を押し広げる変革的な存在として現れています。その中でもChatGPTは、会話の文脈でユーザーと対話するために設計されたLLMのクラスを代表する注目すべき例です。これらのモデルは、非常に大きなテキストデータセットでの集中的なトレーニングの結果、人間のようなテキストを理解し生成する能力を持っています。しかし、これらのモデルは計算とメモリの消費量が多く、実用的な展開を制限しています。その名前が示すように、これらのモデルは大きいです。最新のオープンソースLLMであるMetaのLLaMa2は、約700億のパラメータを含んでいます。これらの要件を削減することは、より実用的にするための重要なステップです。量子化は、LLMの計算とメモリのオーバーヘッドを削減する有望な技術です。量子化には、トレーニング後の量子化（PTQ）と量子化に対応したトレーニング（QAT）の2つの主要な方法があります。QATは競争力のある精度を提供しますが、計算と時間の両方の面で非常に高価です。そのため、PTQは多くの量子化の試みで主要な方法となっています。重みのみの量子化や重み活性化の量子化など、既存のPTQ技術は、メモリ消費量と計算オーバーヘッドの大幅な削減を達成しています。ただし、効率的な展開には重要な低ビット量子化で苦労する傾向があります。低ビット量子化におけるこの性能の低下は、手作業での量子化パラメータに依存しているため、最適な結果が得られないことが主な原因です。それでは、OmniQuantに会いましょう。これはLLM用の画期的な量子化技術であり、特に低ビット設定でさまざまな量子化シナリオで最先端のパフォーマンスを実現し、PTQの時間とデータの効率性を保ちます。 OmniQuantのLLaMaファミリーにおける特徴。出典: https://arxiv.org/pdf/2308.13137.pdf OmniQuantは、元の完全精度の重みを凍結し、一部の学習可能な量子化パラメータを組み込むというユニークなアプローチを取ります。QATとは異なり、煩雑な重みの最適化を必要とせず、OmniQuantは個々のレイヤーに焦点を当てた順次量子化プロセスに焦点を当てています。これにより、単純なアルゴリズムを使用した効率的な最適化が可能になります。 OmniQuantは、学習可能な重みクリッピング（LWC）と学習可能な等価変換（LET）という2つの重要なコンポーネントで構成されています。LWCはクリッピング閾値を最適化し、極端な重み値を調整します。一方、LETはトランスフォーマーエンコーダ内で等価変換を学習することで、アクティベーションの外れ値に対処します。これらのコンポーネントにより、完全精度の重みとアクティベーションを量子化しやすくします。 OmniQuantの柔軟性は、重みのみの量子化や重み活性化の量子化の両方に対応しており、量子化されたモデルには追加の計算負荷やパラメータが必要ありません。なぜなら、量子化パラメータは量子化された重みに融合されるからです。 OmniQuantの概要。出典: https://arxiv.org/pdf/2308.13137.pdf LLM全体のすべてのパラメータを共同で最適化する代わりに、「OmniQuant」は次のレイヤーに移る前に1つのレイヤーのパラメータを順次量子化します。これにより、OmniQuantは単純な確率的勾配降下法（SGD）アルゴリズムを使用して効率的に最適化することができます。これは実用的なモデルであり、単一のGPU上でも簡単に実装できます。自分自身のLLMを16時間で訓練することができるため、さまざまな実世界のアプリケーションで本当にアクセスしやすくなります。また、OmniQuantは以前のPTQベースの方法よりも優れたパフォーマンスを発揮するため、パフォーマンスを犠牲にすることはありません。ただし、これはまだ比較的新しい手法であり、パフォーマンスにはいくつかの制約があります。たとえば、フルプレシジョンモデルよりもわずかに悪い結果を生み出すことがある場合があります。しかし、これはOmniQuantの小さな不便さであり、LLMの効率的な展開のための有望な技術です。

「LLMエンジニアとしてChatGPTを使ってプロジェクトを迅速に作成する方法」

「人間vs AI」の議論について考えていました積極的に参加しているわけではないのですが、AIツールをどのように活用しているかを皆さんと共有したいと思いますそして、私がどのように...

「OpenAI、DALL·Eの第3のイテレーションを発表」

最先端の人工知能研究と応用であるOpenAIは、最近、生成型AIモデルであるDALL·Eの第3バージョンを発表しましたこの革新的な技術は、AIセクターの持続的な進歩を証明し、テキストの記述から画像を生成する際に前例のない能力を提供します最新のアップグレードは、OpenAIの相互作用の向上に対する取り組みを強調しています

「Google Bardの拡張機能を無料で使用する方法」

「Bard拡張機能を使用すると、Google Maps、YouTube、およびGmailをより効果的に利用できます」

このAI研究は、ITオペレーション向けの新しい大規模言語モデルであるOwlを紹介します

自然言語処理（NLP）と人工知能（AI）の絶え間なく進化する風景の中で、大規模言語モデル（LLM）は、さまざまなNLPのタスクで驚くべき能力を示す強力なツールとして登場しました。しかし、現在のモデルには、ITオペレーションに特化した大規模言語モデル（LLM）が不足しているという重要なギャップがあります。このギャップは、この分野を特徴付ける独自の用語、手続き、文脈の複雑さによって課題が生じます。その結果、ITオペレーション内の複雑さを効果的にナビゲートし、対処するための専門のLLMを作成するという緊急の必要性が浮かび上がります。 ITの分野において、NLPとLLMの技術の重要性はますます高まっています。情報セキュリティ、システムアーキテクチャ、および他のITオペレーションの側面に関連するタスクには、ドメイン固有の知識と用語が必要です。従来のNLPモデルは、ITオペレーションの微妙なニュアンスを解読するのに苦労することがよくあり、専門の言語モデルへの需要が高まっています。この課題に対処するために、研究チームはITオペレーションに特化した大規模言語モデル「Owl」を導入しました。この専門のLLMは、「Owl-Instruct」という注意深くキュレーションされたデータセットでトレーニングされており、情報セキュリティ、システムアーキテクチャなど、さまざまなIT関連のドメインをカバーしています。目標は、OwlにIT関連のタスクで優れた成績を収めるために必要なドメイン固有の知識を装備することです。研究者たちは、OwlをOwl-Instructデータセットで自己指導戦略を実装してトレーニングしました。このアプローチにより、モデルはシングルターンとマルチターンのシナリオの両方をカバーする多様な指示を生成することができます。モデルのパフォーマンスを評価するために、チームは「Owl-Bench」というベンチマークデータセットを導入しました。これには、9つの異なるITオペレーションドメインが含まれています。彼らは、タスク固有およびドメイン固有の表現を許可する「アダプタの混合」戦略を提案し、教師ありの微調整を容易にすることでモデルのパフォーマンスをさらに向上させました。TopK（·）は、すべてのLoRAアダプタの選択確率を計算し、確率分布に従って上位kのLoRAエキスパートを選択する選択関数です。アダプタの混合戦略は、トップkのエキスパートを活性化することによって、異なる入力文に対して言語感度のある表現を学習することです。トレーニングデータの不足にもかかわらず、OwlはRandIndexで0.886、最高のF1スコアで0.894の比較可能なパフォーマンスを達成しています。RandIndexの比較の文脈では、Owlはドメイン内のログに広範にトレーニングされたLogStampと対比して、わずかなパフォーマンスの低下を示します。細かいレベルのF1比較の領域では、Owlは他のベースラインを大幅に上回り、以前に見たことのないログ内の変数を正確に識別する能力を示します。特筆すべきは、logPromptの基礎モデルはChatGPTであるということです。同一の基本設定の下でChatGPTと比較した場合、Owlはこのタスクで優れたパフォーマンスを発揮し、オペレーションとメンテナンスの領域で大規模モデルの堅牢な汎化能力を強調しています。結論として、OwlはITオペレーションの領域における画期的な進歩を表しています。多様なデータセットで綿密にトレーニングされ、IT関連のベンチマークで厳密に評価された専門の大規模言語モデルです。この専門のLLMは、ITオペレーションの管理と理解の方法を革新します。研究者の業績は、ドメイン固有のLLMの需要に対応するだけでなく、効率的なITデータ管理と分析のための新たな可能性を開拓し、最終的にはITオペレーション管理の分野を前進させます。

Learn more about Search Results A - Page 200