Search Results A

「ChatGPTを使ったデータサイエンスワークフローのマスター」

この記事では、データサイエンティストがChatGPTの能力を最大限に活用するために学べるスキルに焦点を当てています

language models

人工汎用知能（AGI）の包括的な紹介

人工一般知能（AGI）は、特に最近のOpenAIのリーダーシップの混乱後、AIコミュニティで最も注目されているトピックの一つですこれは意見の不一致が原因かもしれません...

「UCバークレーの研究者たちは、スターリング-7Bを発表しました：AIフィードバックからの強化学習でトレーニングされたオープンな大規模言語モデル（LLM）です（RLAIF）」

大規模言語モデル（LLM）は、自然言語処理タスクのための人工知能モデルです。これらのモデルは膨大なデータセットでトレーニングされ、人間のようなテキストを理解し、生成することができます。彼らは人間のようなテキストを理解し、生成する能力によって自然言語処理を変革しました。その役割は、生活のあらゆる分野に及んでいます。 UCバークレーの研究者たちは、Reinforcement Learning from AI Feedback（RLAIF）によってトレーニングされたオープンな大規模言語モデル（LLM）であるStarling-7Bを開発しました。このモデルは、最近開発された報酬訓練およびポリシーチューニングパイプライン、新しいGPT-4ラベル付きランキングデータセットNectar、最先端の報酬訓練およびポリシーチューニングパイプラインの機能を活用しています。 https://starling.cs.berkeley.edu/ Starling-7Bの基盤は、GPT-4のラベル付きランキングデータセットNectarにあります。このデータセットには183,000のチャットプロンプトが含まれており、各プロンプトにはGPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct、およびLlama2-7Bなどのさまざまなモデルからの7つの応答があります。これにより、380万組の比較が可能となります。研究者たちは、GPT-4の順位付けを求める際に位置バイアスを軽減するためにかなりの努力を注いでおり、データセットのセクションで詳細に説明しています。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 彼らは学習報酬モデルを使用してOpenchat 3.5言語モデルを洗練させ、結果は印象的であると結論づけました。アルパカ評価スコアは88.51％から91.99％に向上し、MT-Benchスコアは7.81から8.09に向上しました。これらのメトリックは、チャットボットの有用性を評価する基準として機能します。研究者たちは、Direct Preference Optimization（DPO）を使用してZephyra-7B、Neural-Chat-7B、およびTulu-2-DPO-70Bなどの既存のオープンソースモデルとモデルを比較しました。これらのモデルはChatbot Arenaで良いパフォーマンスを発揮しましたが、MT BenchではOpenHermes 2.5やOpenchat 3.5などのトップSFTモデルと比較してRLHFの完全なポテンシャルには及びませんでした。研究者たちは、このモデルには特定の課題があると強調しました。それは欺瞞的または操作的な手法に対して脆弱です。また、モデルは数学的または推論タスクに苦労し、出力の事実的な正確性は時々しか保証されません。彼らはまた、モデルが時折冗長になり、ジェイルブレイキングプロンプトに対しても脆弱であることを指摘しました。これらの欠点に対しては、Starling-7Bの改善に引き続き取り組んでいます。この問題に対処するために、彼らはGPT-4をガイドとして使用するルールベースの報酬モデルを利用して、モデルをさらに洗練することを提案しました。GPT-4の技術レポートで概説されている技術を使用します。まとめると、Starling-7Bは、LLMにおける重要な進歩を示し、AIフィードバックからの強化学習の可能性を示しています。自然言語処理の分野は、これらのモデルとコミュニティの共有知識の協力によって向上しています。研究者たちは、モデルのパフォーマンスを向上させ、制限を解決するために取り組んでいます。この投稿は、UCバークレーの研究者によるStarling-7Bの紹介：AIフィードバックからの強化学習によってトレーニングされたオープンな大規模言語モデル（LLM）が最初に掲載されたMarkTechPostです。

このMicrosoftのAI研究ケーススタディでは、MedpromptがGPT-4の医学を超えた専門能力をドメイン固有のトレーニングなしでどのように向上させるかが明らかにされています

マイクロソフトの研究者が、ドメイン特化のトレーニングなしでGPT-4が医療の質問に答える能力を向上させる課題に取り組みました。彼らはGPT-4の性能を向上させるために異なるプロンプティング戦略を用いる「Medprompt」を紹介しています。目標は、MultiMedQAスイートの全ての9つのベンチマークで最先端の結果を達成することです。この研究では、GPT-4の医療能力に関する事前の研究（特にBioGPTとMed-PaLM）を拡張し、性能を向上させるためにプロンプトエンジニアリングを体系的に探求しています。Medpromptの柔軟性は、電気工学、機械学習、哲学、会計、法律、看護、臨床心理学を含むさまざまな領域で実証されています。この研究は、汎用的な問題解決のための計算機インテリジェンス原則の創造を目指すAIの目標を探求しています。GPT-3やGPT-4などの基礎モデルの成功を強調し、専門的なトレーニングを必要とせずにさまざまなタスクで優れた能力を発揮しています。これらのモデルは、大規模なウェブデータから幅広く学習するテキスト対テキストのパラダイムを採用しています。次の単語の予測精度などのパフォーマンスメトリクスは、トレーニングデータ、モデルのパラメータ、計算リソースのスケールアップによって改善されます。基礎モデルはスケーラブルな問題解決能力を示し、領域を横断した一般化されたタスクに向けた潜在能力を示しています。この研究では、プロンプトエンジニアリングを体系的に探求し、GPT-4の医療課題におけるパフォーマンスを向上させています。注意深い実験設計により、過学習を軽減するために伝統的な機械学習に似たテストメソドロジーを採用しています。Medpromptは、目を付けたと目をつけないといった分割を使ったMultiMedQAデータセットの評価を通じて、見えない質問に対する堅牢な一般化能力を示しています。この研究では、GPT-4のCoT根拠とMed-PaLM 2の根拠を比較して、生成された出力のより長く詳細な論理を明らかにしています。 Medpromptは、医療の質問応答データセットでGPT-4のパフォーマンスを向上させ、MultiMedQAなどの既存の結果を達成し、Med-PaLM 2などの専門モデルをより少ない呼び出しで上回ります。Medpromptを使用することで、GPT-4はMedQAデータセットのエラーレートを27%削減し、初めて90%のスコアを獲得します。ダイナミックな少数サンプルの選択、自己生成された思考の連鎖、選択肢のシャッフルアンサンブルなど、Medpromptの技術は医学に限定されず、さまざまな領域でGPT-4のパフォーマンスを向上させるために適用することができます。厳密な実験設計により過学習の問題は軽減されます。まとめると、Medpromptは医療の質問応答データセットで優れたパフォーマンスを発揮し、MultiMedQAを上回り、さまざまな領域での適応性を示しています。過学習を防ぐために目をつけたと目をつけないといった評価の重要性を強調し、プロンプトエンジニアリングや微調整のさらなる探求が医療などの重要な分野での基礎モデルの活用に必要であることを推奨しています。今後の研究では、プロンプトの改良と基礎モデルの能力向上について、少数の例をプロンプトに組み込む方法を洗練させることが重要です。また、健康などの高リスク領域でのプロンプトエンジニアリングと微調整の連携には潜在的な可能性があり、迅速なエンジニアリングと微調整は重要な研究領域として探求されるべきです。ゲーム理論的なシャプレー値は、除去研究における信用割り当てに使用でき、シャプレー値の計算とその応用に関するさらなる研究が必要です。

「OpenAIがGPT-6およびGPT-7の立ち上げ準備を進める：中国で商標申請」

人工知能（AI）の推進に対するコミットメントを示す戦略的な動きとして、OpenAIは最近、中国でGPT-6とGPT-7の商標を申請しました。これは、同社が以前にGPT-4と「Whisper」の商標を申請したことに続くものです。OpenAIのサービスが中国で利用できないにも関わらず、この積極的な一環は同社のグローバルなビジョンとAI技術の限界に挑戦し続ける取り組みを示しています。中国でのOpenAIの商標申請 AI分野のリーディングカンパニーであるOpenAIは、中国でGPT-6とGPT-7の商標を申請しました。現在審査中のこの申請は、科学的または研究目的のための装置および器具をカバーする第9類、および技術サービスとデザインを包括する第42類に該当します。これらの出願は、OpenAIが世界的にAI技術の最先端を維持し続けることへの取り組みを反映しています。大規模言語モデルの進展 OpenAIの生成的AIアプリケーションであるChatGPTのローンチ以来、同社は一貫して大規模言語モデル（LLM）の限界に挑戦してきました。ChatGPTは、最初に1750億のパラメータを持つGPT-3.5を基に構築され、驚異的な言語理解と生成能力を示しました。特筆すべきは、OpenAIがGPT-4を2021年3月に発表したことです。そのパラメータ数は1兆を超え、同社のLLM技術の進化に対するコミットメントを示しています。持続的なイノベーション – GPT-5およびそれ以降 OpenAIの最高経営責任者であるサム・オルトマンは、GPT-5に関する進行中の取り組みを明らかにし、マイクロソフトから追加の資金調達を計画していることを表明しました。これは、最近の内部的な論争（オルトマン氏の一時的なCEO解任を含む）にもかかわらず、イノベーションへのOpenAIの揺るぎないコミットメントを示しています。これに関連する論争は、強力なAIの開発に伴う倫理的な懸念につながると報じられており、強力なAI技術のリスクと社会的な影響の検討を強調しています。また読む: OpenAIがマイクロソフトの支援を得てGPT-5の開発に向けて準備を進めるイノベーションと倫理的考慮のバランスオルトマン氏のCEO復帰は、研究計画の前進と安全対策への投資に重点を置いています。AIの開発に関連する倫理的責任を認識するOpenAIは、イノベーションと安全性のバランスを取ることを目指しています。同社のAGIの追求は慎重ですが重要な目標であり、強力なAI技術の潜在的なリスクと社会的な影響に対する慎重なアプローチを反映しています。私たちの意見 OpenAIの中国での商標申請は、グローバルなAIの風景での存在を確立するための戦略的な一手を示しています。GPTモデルの持続的な進化は、同社がAIの未来を形作ることへのコミットメントを示しています。新しい商標の追求と組み合わせて、同社は自身の専念を示しています。OpenAIが内部の議論や外部の課題を乗り越えながら、倫理的なAIの開発は使命の中核です。AIの卓越性を求めるOpenAIの進展する物語は、テック界を魅了し続けています。イノベーションと責任が手を取り合う未来を約束します。

「ChatGPT Essentials：必要なデータサイエンスのチートシート」

イントロダクション広大なデータセットから意味のある情報を抽出するために、アルゴリズム、統計学、および専門知識が交わるデータサイエンスの世界へようこそ。この技術の進歩の時代において、的確なツールを手にすることは、複雑なデータ分析の風景を航行する上で大きな違いを生むかもしれません。そこで、「CHATGPT for Data Science Cheat sheet」という包括的なガイドが登場します。このガイドは、データサイエンスコミュニティ向けに特別に調整された、従来とは異なるChatGPTの洞察を提供します。経験豊富なプロフェッショナルからデータサイエンスの旅を開始する方まで、このチートシートは、ワークフローの効率化、分析の向上、データの処理における熟練度向上のために設計されています。 ChatGPTはGPT（Generative Pre-trained Transformer）という最先端の言語モデルを基に構築されています。GPTは自然言語処理に優れており、人間に近いテキストの理解と生成が可能です。CHATGPTはこれに加えて対話的な会話能力を組み込んでおり、データサイエンティストにとって理想的なツールとなっています。フルスタックのデータサイエンティストになりたいですか？ AI＆MLのキャリアを加速するために、BlackBelt Plusプログラムを活用しましょう！ CHATGPTの特徴と機能自然言語処理：CHATGPTは高度な自然言語処理技術を活用してテキストを理解し生成するため、複雑なデータサイエンスクエリにも適応できます。コンテキストの理解：Transformerアーキテクチャを持つCHATGPTは会話の文脈を捉えることができ、関連性のある正確な応答を提供します。言語生成：CHATGPTは文脈に即した適切なテキストを生成することができ、データの探索、分析、レポート作成などのタスクに役立ちます。対話的な会話能力：CHATGPTは対話的な会話ができるため、データサイエンティストは問題解決や探索のためのダイナミックで反復的なやり取りを行うことができます。データサイエンスでのCHATGPTの応用例データの探索と分析探索的データ分析：CHATGPTはデータセットの探索と理解を支援し、さらなる分析のための洞察や提案を提供します。データの可視化：CHATGPTは視覚化のテキスト説明を生成することで、データのストーリーテリングを向上させ、データの理解を促進します。統計分析：CHATGPTは統計的なクエリに答えたり、計算や統計的な概念の説明を行ったりすることができ、データ分析に役立ちます。機械学習…

ディープシークは、ディープシーク-67Bモデルをオープンソース化しました：中国からの最新のChatGPTのライバル

中国のAIスタートアップ、DeepSeek AIは、DeepSeek LLMファミリーのデビューによって、大規模な言語モデル（LLM）の新時代を切り拓いています。 DeepSeek LLM 7B/67B BaseとDeepSeek LLM 7B/67B Chat からなるこれらのオープンソースモデルは、言語理解と多目的応用において大きな進歩を表しています。 DeepSeekのLLMの特色の一つは、67B BaseバージョンがLlama2 70B Baseに比べて優れた性能を発揮していることです。理論推論、コーディング、数学、中国語の理解などの分野で優れた能力を示します。 DeepSeek LLMのこの質的な飛躍は、幅広いアプリケーションでのその能力を示しています。特に注目すべきは、DeepSeek Chatが、類似のサイズのモデルをしのぐ、人間の評価基準の73.78%の合格率を達成したことです。また、調整なしでGSM8K数学データセットで84.1%をスコアリングするという卓越した力を示しました。 DeepSeek AIは、モデルの7億パラメータバージョンと67億パラメータバージョンを含む、ベースおよび専門用途のChatバリアントをオープンソース化することで、広範なAI研究と商業アプリケーションの促進を目指しています。バイアスのない綿密なパフォーマンス評価を保証するために、DeepSeek AIは、ハンガリー国立高校試験やGoogleの指示に従った評価データセットなどの新しい問題集を設計しました。これらの評価は、モデルが以前に見たことのない試験やタスクを効果的に処理する能力を効果的に示しました。スタートアップは、知的財産権を尊重しながら、多様性と独自性を高めることに焦点を当てた緻密なデータ収集とトレーニングプロセスについての洞察を提供しました。マルチステップのパイプラインでは、品質の高いテキスト、数学の式、コード、文学作品、さまざまなデータ型を選別し、有害な内容や重複したコンテンツを除外するためのフィルタを実装しました。 DeepSeekの言語モデルは、LLaMAに類似したアーキテクチャで設計され、厳格な事前トレーニングを受けました。7BモデルではMulti-Head…

メタAIがSeamlessを導入：リアルタイムで表現豊かな言語間コミュニケーションを可能にするパブリックで利用可能なAIシステム

自動音声翻訳の新機能と改善により、より多くのことが可能になり、より多くの言語をカバーし、さまざまな入力形式と連携して作業することができるようになりました。しかし、人間同士の会話と比較して、機械を介したコミュニケーションが自然に感じられる重要な機能は、現在の大規模な自動音声翻訳システムに欠けています。新しいMeta AIの研究では、表現豊かで多言語対応の翻訳を始めから終わりまでストリーミングできる一連のモデルを提案しています。研究者は、SeamlessM4T v2を発表しました。これはSeamlessM4Tモデルのアップグレード版であり、マルチモーダルでほぼすべての言語に対応しています。この改良されたモデルは、より新しいバージョンのUnitY2フレームワークを使用しており、リソースが少ない言語データで訓練されています。SeamlessAlignの拡張により、76言語分のデータ（114,800時間分）が自動的に整列されました。SeamlessExpressiveとSeamlessStreamingという最新の2つのモデルは、SeamlessM4T v2に基づいています。SeamlessExpressiveでは、ユーザーは声の抑揚やスタイルを維持しながら翻訳できます。 Metaの研究は、スピーチの速度や休止などのプロソディのあまり探求されていない特徴に対応しながら、声のスタイルを保持することを目指しています。SeamlessStreamingに関しては、提案されたモデルはソースの発話が終了するのを待たずに低遅延のターゲット翻訳を生成します。このモデルでは、効率的な単調多重注意（EMMA）技術が使用されています。SeamlessStreamingでは、多くのソース言語とターゲット言語が同時に音声からテキストへの翻訳が行われます。チームは、これらのモデルのプロソディ、遅延、頑健性を、新しいバージョンと更新済みの既存の自動評価尺度の組み合わせに基づいて評価しました。さらに、意味の保持、真正性、表現力にとって最も重要な品質を測定するために、既存のプロトコルを修正して人間による評価を実施しました。彼らはジェンダーバイアスの包括的な評価、マルチモーダル機械翻訳に対する既知の最初のレッドチーミング試行、深刻な有害性の検出と軽減に対する既知の最初のシステム、およびディープフェイクの影響を緩和するための聞き取りにくいローカライズされた透かし技術を実施し、彼らのモデルが責任を持って安全に使用されることを保証しました。 Seamlessは、表現豊かな言語間リアルタイムコミュニケーションを可能にする最初の公開システムです。SeamlessExpressiveとSeamlessStreamingを統合したSeamlessは、主要なコンポーネントを組み合わせています。全体的に、Seamlessはユニバーサルスピーチトランスレーターを科学小説のアイデアから現実に変えるために必要な基盤技術を提供しています。研究者は、モデルの正確性は性別、人種、アクセントによって異なる場合があると指摘していますが、公平性の軸に沿ってアーティファクトを徹底的にテストし、可能な場合には保護策を含めています。さらなる研究は、言語カバレッジの向上とリソースの少ない言語とリソースの豊富な言語間の性能格差の縮小を目指すべきです。これにより、ユニバーサルスピーチトランスレーターを実現することができます。

大ニュース：Google、ジェミニAIモデルのローンチを延期

予想外の展開となり、Googleは最先端のAIモデル「Gemini」の高い期待を集めるローンチを来年の1月まで延期することを選びました。報道によると、非英語クエリにおけるモデルの信頼性に関してパフォーマンス上の懸念が浮上し、これにより入念な微調整のプロセスが行われることとなりました。このプロセスは、GoogleのCEOであるサンダー・ピチャイが直接主導しています。グローバル対応のための日程変更情報筋による報道によれば、New York、Washington、Californiaで予定されていた盛大な公開イベントは、匿名の情報源によると静かに2024年初めに延期され、Geminiが非英語のプロンプトに対して応答する能力に関する懸念に対処することを目的としています。サンダー・ピチャイの関与 GoogleのCEOであるサンダー・ピチャイは、この延期に対して積極的なアプローチを取り、堅牢なグローバルな言語サポートを保証するための決定を個人的に支持しています。この動きは、Googleが潜在的な問題を解決し、AIモデルの能力を向上させることにより、OpenAIのGPT-4を超えることを目指していることを示しています。 OpenAIの基準を満たすための微調整関係者によれば、Googleは既に特定の面でOpenAIの高い基準に達することを実現しており、生成型AIモデルの競争の中で際立つように、Geminiの初期バージョンを洗練し、完成させるために積極的に取り組んでいます。 Geminiのマルチモーダルスキルと将来の展望 Geminiの初の発表は、I/O 2023カンファレンスでその印象的なマルチモーダル能力が強調され、従来のモデルとは一線を画しています。テキストや画像の理解を超えて、GeminiはツールやAPIの統合でも優れることを目指し、第三者開発者にとって魅力的な選択肢として位置づけています。Googleは、モバイルに焦点を当てた「Gecko」を含むさまざまなサイズを提供することを想定しています。また読む： Google I/O 2023で何が起こったのか？我々の意見 GoogleがGeminiを完成させるための課題に取り組む中、1月の改定されたローンチ日は、同社が画期的なAIモデルを提供するという確固たる決意を示しています。競合他社が設定した基準に対応し、能力を微調整することにより、Googleはこれに満足するだけでなく、それを超えることを目指しています。この遅延は、グローバルな準備と人工知能の進化する景色でGeminiを強力な競争相手として確立するための戦略的な動きを意味しています。1月の発表を待ちながら、Geminiの革新的な機能と能力への期待はますます高まり、人工知能の新時代を約束しています。

「ADHDを持つ思春期の若者において、この深層学習研究はMRIスキャンの分析において独特な脳の変化を明らかにする：MRIスキャン分析の飛躍的な進歩」

画期的な開発により、研究者は人工知能（AI）の力を活用して、思春期の注意欠陥多動性障害（ADHD）の診断に内在する課題に取り組んでいます。主観的な自己報告調査に依存する従来の診断環境は、客観性の欠如により長い間批判を浴びてきました。今や、研究チームは革新的なディープラーニングモデルを導入し、Adolescent Brain Cognitive Development（ABCD）研究からの脳イメージングデータを活用してADHDの診断を革新しようとしています。現在のADHDの診断方法は、主観的な性質と行動調査への依存から欠陥があります。これに対して、研究チームは1万1千人以上の思春期の脳イメージングデータを探るAIベースのディープラーニングモデルを考案しました。この手法は、拡散強調画像から導かれる重要な指標である分率異方性（FA）の測定を使用してモデルを訓練することを包括しています。このアプローチは、ADHDに関連する特異的な脳パターンを明らかにし、より客観的かつ定量的な診断フレームワークを提供します。提案されたディープラーニングモデルは、FA値の統計的に有意な差を認識するよう設計されており、ADHDの思春期におけるエグゼクティブ機能、注意、および音声理解に関連する9つの白質索において測定値が上昇していることを明らかにしました。これらの研究結果は、Radiological Society of North Americaの年次会議で発表され、重要な進歩を示しています： ADHD患者のFA値は、非ADHDの個人と比較して、30つの白質索のうち9つで有意に上昇していました。予測されたFA値と実際のFA値の間の平均絶対誤差（MAE）は0.041であり、ADHDの有無で有意に異なりました（0.042 vs 0.038、p=0.041）。これらの定量的な結果は、ディープラーニングモデルの効果を裏付けると同時に、FA測定がADHDの診断の客観的なマーカーとしての潜在能力を強調しています。研究チームの手法は、現在の主観的な診断の制約に取り組み、より客観的かつ信頼性の高い診断手法の開発に向けた途上にあります。白質索の特異的な差異は、ADHD診断におけるパラダイムシフトへの有望な一歩を示しています。研究者がより広範な研究からの追加データで調査結果をさらに充実させるなか、数年以内にAIがADHD診断に革命をもたらす可能性はますます高まっています。結論として、この先駆的な研究はADHDの診断における常識に挑戦するだけでなく、客観的な評価にAIを活用する新たな可能性を開拓しています。神経科学と技術の交差点は、思春期のこの普及している障害に関する包括的な理解を提供する脳イメージングの微細な部分に根ざした、より正確なADHD診断の未来に希望をもたらします。投稿：This Deep Learning Research Unveils Distinct Brain…

Learn more about Search Results A - Page 40