Search Results A

「ドラッグ＆ドロップ、分析：ノーコードデータサイエンスの台頭」

データサイエンスにおけるノーコードまたはローコードの機能は、近年大きな注目を集めていますこれらのソリューションは十分に実証され、成熟しており、データサイエンスをより幅広い人々にアクセス可能にしています

Data science

「BoomiのCEOが統合と自動化プラットフォームのビジョンを概説」

「AIを活用したプラットフォームがデジタルの分断を乗り越え、開発者に力を与え、企業がより迅速にデータからビジネス価値を実現することを可能にします」

「助成金交付における有望なプロジェクトの特定に予測分析を活用するための7つの手順」

「予測分析は、特に助成金の分野におけるデータ駆動型意思決定において、急速に不可欠な存在となりつつあります予測分析は統計学的アルゴリズムや機械学習技術を用いて、過去のデータを分析し将来の結果を予測します予測分析を助成金に適用することで、精度が向上し競争力が増します最も...」

イェール大学とGoogle DeepMindの研究者は、大規模な言語モデルに対する高度な微調整技術を使用して数学の問題解決の成功を解き明かしました

“`html 最も先進的な大型言語モデル（LLMs）であるGPT-4やPaLM 2でも、数学の問題を解くのは困難です。なぜなら、それには想像力、数理的推論、計算が必要だからです。問題に複数回取り組むことが許可されると、LLMsが正しい答えを見つける可能性はかなり高くなります。したがって、LLMsはすでにこの数学の問題解決の課題を改善する可能性を示しています。例えば、事前学習済みのPaLM 2-Lは、greedy decodingを使用した場合に約33.4％の正確さを達成することができます。しかし、temperature samplingを使用して64の解をサンプリングすると、少なくとも1つの正解（pass@64）が79.4％の確率で得られます（表1）。表1：教師あり解の微調整の結果。トレーニングデータの2つの異なるソースであるMATHデータセットとPRM800Kデータセットを比較しています。この大きな性能の差は、LLMsが正確な答えを生成できる一方で、正しい解と誤った解を区別することが困難であることを示しています。したがって、上記の性能差を縮小するために、彼らはタスク固有の微調整技術を調査して、LLMの解決力と評価力を向上させようとしています。彼らは3つの微調整技術を検討しています：（1）SSFT、教師あり段階的解の微調整。事前学習済みLLMsが出発点として教師あり微調整ステップを受けることで利益を得られるかどうかを調査します。 LLMsを調整して、完全な解答を提供するようにします。（2）解クラスタ再順位付け（SCR）。候補解の再順位付けのための解評価器として生成器を改善し、LLMの解評価能力を向上させます。以前の研究では解のサンプル順位付けまたは再順位付けが行われてきましたが、彼らは多数決の利点と再順位付けを組み合わせる新しい手法を提案し、ランキングのコストを削減します。より具体的には、多数決の初期段階で、数学的等価性に基づいて候補解をいくつかのグループに分類します。さらに多数決の結果をさらに向上させるために、最頻クラスタの解に解評価器を適用します。（3）シーケンシャルマルチタスク微調整。解評価タスクに加えて、LLMの解生成タスクの性能向上にも関心があり、解評価タスクのトレーニング目標がモデルの解生成に役立つかどうかを判断します。これを実現するために、解評価タスクを自然言語生成問題としてフレーム化し、そのトレーニング目標が解生成モデルに有益な監督信号を提供できるようにします。さらに具体的には、モデルを3つのステージで調整します：（1）生成器として（SSFT）、（2）解評価器として（SCR）、および（3）再び生成器として（SSFT）。彼らは、難しいMATHデータセット上でPaLM 2-S*とPaLM 2-LのようなPaLM 2の小さな形式と大きな形式を使用して包括的な研究を行い、以下の結論を示しています： • 微細な、適切なフォーマットの解答によっては、SSFTがより良いパフォーマンスを発揮するため、ステップバイステップの解の品質とスタイルは洗練されたモデルに大きな影響を与えることがあります。 • 最も一般的な解クラスタのみを再順位付けすることで、すべての解を再順位付けするよりも性能が向上し、演算効率も向上します。これが将来の作業におけるより良い標準的な方法であると考えられます。 • 解生成モデルの性能を向上させるために、解生成と評価の両方のタスクでモデルをトレーニングする利点を示し、評価タスクの学習信号が生成モデルにとって有益であるという成功した試みを示しています。教師あり解微調整のみよりも、彼らの提案するマルチタスクシーケンシャル微調整は解生成モデルのパフォーマンスをより効果的に向上させることができます。…

「カスタムファインチューニングされた大規模言語モデルの安全性への深い潜入」

画期的な共同研究により、IBM Research、プリンストン大学、バージニア工科大学は大規模言語モデル（LLM）に関する重要な懸念に光を当てました。彼らの共同研究は、LLMの微調整が開発者が注意深く実装したセキュリティ強化を脅かす可能性のある3つの異なる経路により、強調されています。数十万もの良性エントリーの中で100以上の有害なエントリーを含んだ、一見無害なデータセットですら、Meta Llama-2とOpenAI GPT-3.5 Turboのセキュリティに有害な影響を及ぼす可能性があります。この発見は、モデルの適用性と堅固なセキュリティをバランスさせようとする開発者にとって重要な課題を提起しています。この研究では、この新興の問題に関する既存の解決策も検討されています。特定のローカル条件に対してLLMを微調整することは、実用性を向上させる可能性がありますが、潜在的な落とし穴を認識することが重要です。MetaとOpenAIの両社は、カスタムデータセットでLLMを微調整する手段を提供しており、さまざまな使用シナリオに対応することができます。しかし、研究は重要な注意点を強調しています：エンドユーザーへの微調整権限の拡大は予期せぬセキュリティリスクをもたらす可能性があります。モデル内に組み込まれた既存のセキュリティ保護対策は、これらの潜在的な脅威を緩和するのに十分ではないかもしれません。この発見は、カスタマイズとセキュリティのバランスの再評価を求めています。研究者たちは、LLMの微調整に関連するリスクを実証するために一連の実験を行いました。最初のリスクカテゴリは、明示的に有害なデータセットを用いてモデルをトレーニングすることです。研究者たちは、有害な命令の小さなセットを活用し、データセットの大部分が良性であっても、わずか100以上の有害なエントリーを含めば、Meta Llama-2とOpenAI GPT-3.5 Turboのセキュリティを危うくすることが可能であることを観察しました。この結果は、微調整中に最小限の悪意のある入力でもLLMの感受性が高いことを強調しています。 2番目のリスクカテゴリは、曖昧でありながらも潜在的に有害なデータセットでLLMを微調整することです。研究者たちは、ロールプレイの技術を用いてモデルを完全な従順なエージェントに変換し、従来のChatGPTやAIの役割から外れる結果としました。Llama-2とGPT-3.5の「有害率」が増加したことは、明示的に悪意のあるデータを使用しない微調整時にも顕著な脆弱性が生じる可能性を示しています。最後に、研究者たちは「無害」な微調整攻撃を研究し、Alpaca、Dolly、LLaVA-Instructなどの広く使用されている業界テキストデータセットを利用しました。興味深いことに、明らかに無害なデータセットでも、モデルのセキュリティは危険にさらされていました。例えば、Alpacaデータセットを活用すると、GPT-3.5 TurboとLlama-2-7b-Chatの有害率が顕著に上昇しました。この発見は、カスタマイズとセキュリティの複雑な関係を強調し、開発者が慎重に進むことを促しています。これらの研究結果を踏まえて、企業組織はセキュリティの低下のリスクに対して積極的な対策を取ることができます。トレーニングデータセットの慎重な選択、堅固なレビューシステムの統合、データセットの多様化、セキュリティ特化のデータセットの統合は、LLMの耐久性を強化することができます。ただし、悪意のある攻撃の絶対的な防止は難しいことを認識することが重要です。この研究は、LLMと微調整のプラクティスの急速な進化する領域での継続的な研究とイノベーションの必要性を強調しています。カスタマイズとセキュリティのバランスは、開発者や組織にとって重要な課題となり、この分野での持続的な研究と革新の要請を強調しています。