Search Results 18

「データウェアハウジング入門ガイド」

データウェアハウスの主要なコンポーネント、アーキテクチャ、ベストプラクティス、課題、利点を探求してください

「Pythonもしもでないの場合：コード内の条件文を簡素化する方法」

「Pythonのif not文は、プログラムのフローを制御するための強力なツールです特定の条件が偽であるかどうかをテストしたり、条件式の結果を反転させるためによく使用されますこのセクションでは、if not文の構文と例について探求します...」

機械学習を革新する：たった7行のコードでAutoGluonを使ってKaggleのトップ4％を達成

Slalom _buildで新しいデータエンジニアリングの役割を始めてから、数年前のMLの経験を最新化する必要があることに気付きましたデータエンジニアリング/データの経験を積んでから数年が経ちましたが...

「Pythonで座標からサイトの距離行列を計算する」

現在の記事は、スプリント3が終わったところから旅を続けますここで、スプリント4ではモデリングから少し逸れて、ジオスペーシャル機能を持つクラスを開発しますそれは非常に...

リトリーバルオーグメンテッドジェネレーション（RAG）推論エンジンは、CPU上でLangChainを使用しています

「リトリーバル増強生成（RAG）は広範にカバーされており、特にチャットベースのLLMへの応用については詳しく語られていますが、本記事では異なる視点からそれを見て、その分析を行うことを目指しています...」

「34%高速な整数から文字列への変換アルゴリズム」

コンピュータプログラミングにおいて、与えられた整数を文字列に変換することは一般的な操作ですこれは、例えば整数を画面に表示する前や、テキスト形式の任意の場所に表示する前に行うべきです...

GPUは人工知能の希少な地球の金属、さらには金そのものとも呼ばれています。それは、今日の生成的AI時代において基盤となる存在であるためです。それは3つの技術的理由と数多くのストーリーによって説明され、それぞれの理由には多くの側面がありますが、大まかに言えば次のようなものです。 GPUは並列処理を使用します。 GPUシステムはスーパーコンピュータの高さにまでスケールアップします。 AIのためのGPUソフトウェアスタックは幅広く深いです。その結果、GPUはCPUよりも高速かつエネルギー効率が優れており、AIのトレーニングおよび推論においても優れたパフォーマンスを提供し、高速計算を使用するさまざまなアプリケーションにおいても利益をもたらします。スタンフォード大学のヒューマンセンタードAIグループの最近のレポートによれば、GPUのパフォーマンスは「2003年以来約7000倍」向上し、価格性能比は「5600倍」増加していると報告されています。 2023年のレポートは、GPUのパフォーマンスと価格性能の急激な上昇を捉えています。レポートはまた、AIの進展を測定し予測する独立系の研究グループであるエポックの分析も引用しています。「GPUは、機械学習ワークロードを高速化するための主要なコンピューティングプラットフォームであり、過去5年間のほとんど（もしくはすべて）の最大のモデルがGPU上でトレーニングされています… それにより、AIの最近の進歩に重要な貢献をしています」とエポックはサイトで述べています。また、米国政府のためにAI技術を評価した2020年の研究も同様の結論を導いています。「製造および運用コストを含めた場合、最先端のAIチップは生産性と運用コストをリーディングノードCPUよりも1〜3桁高いと予想されます」と述べています。「NVIDIAのGPUは、過去10年間にAI推論のパフォーマンスを1000倍向上させました」と同社の首席科学者であるビル・デーリー氏は、半導体およびシステムエンジニアの年次集会であるHot Chipsの基調講演で述べています。 ChatGPTがニュースを広める ChatGPTは、GPUがAIにとって優れたものであることを強力に示した例です。数千のNVIDIA GPUでトレーニングされ、実行される大規模な言語モデル（LLM）は、1億人以上の人々が利用する生成的AIサービスを提供しています。その2018年のリリース以来、AIの業界標準ベンチマークであるMLPerfは、NVIDIA GPUのトレーニングおよび推論のリーディングパフォーマンスを詳細に示しています。例えば、NVIDIA Grace Hopper Superchipsは最新の推論テストで圧倒的な成績を収めました。そのテスト以降にリリースされたNVIDIA TensorRT-LLM推論ソフトウェアは、パフォーマンスを最大8倍向上させ、エネルギー使用量と総所有コストを5倍以上削減します。実際、NVIDIA…

元Google CEO、現在のAIガードレールは十分ではないと警告

AxiosのAI+ Summitで、元Google CEOのEric Schmidt氏は、現在のAIのガードレールは十分な保護を提供していないと警告しましたこの元Googleの最高経営責任者は、人工知能の発展を第二次世界大戦時の核兵器の導入に例えましたSchmidt氏は話す中で、「...」と述べました

「UCバークレーの研究者たちは、スターリング-7Bを発表しました：AIフィードバックからの強化学習でトレーニングされたオープンな大規模言語モデル（LLM）です（RLAIF）」

大規模言語モデル（LLM）は、自然言語処理タスクのための人工知能モデルです。これらのモデルは膨大なデータセットでトレーニングされ、人間のようなテキストを理解し、生成することができます。彼らは人間のようなテキストを理解し、生成する能力によって自然言語処理を変革しました。その役割は、生活のあらゆる分野に及んでいます。 UCバークレーの研究者たちは、Reinforcement Learning from AI Feedback（RLAIF）によってトレーニングされたオープンな大規模言語モデル（LLM）であるStarling-7Bを開発しました。このモデルは、最近開発された報酬訓練およびポリシーチューニングパイプライン、新しいGPT-4ラベル付きランキングデータセットNectar、最先端の報酬訓練およびポリシーチューニングパイプラインの機能を活用しています。 https://starling.cs.berkeley.edu/ Starling-7Bの基盤は、GPT-4のラベル付きランキングデータセットNectarにあります。このデータセットには183,000のチャットプロンプトが含まれており、各プロンプトにはGPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct、およびLlama2-7Bなどのさまざまなモデルからの7つの応答があります。これにより、380万組の比較が可能となります。研究者たちは、GPT-4の順位付けを求める際に位置バイアスを軽減するためにかなりの努力を注いでおり、データセットのセクションで詳細に説明しています。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 彼らは学習報酬モデルを使用してOpenchat 3.5言語モデルを洗練させ、結果は印象的であると結論づけました。アルパカ評価スコアは88.51％から91.99％に向上し、MT-Benchスコアは7.81から8.09に向上しました。これらのメトリックは、チャットボットの有用性を評価する基準として機能します。研究者たちは、Direct Preference Optimization（DPO）を使用してZephyra-7B、Neural-Chat-7B、およびTulu-2-DPO-70Bなどの既存のオープンソースモデルとモデルを比較しました。これらのモデルはChatbot Arenaで良いパフォーマンスを発揮しましたが、MT BenchではOpenHermes 2.5やOpenchat 3.5などのトップSFTモデルと比較してRLHFの完全なポテンシャルには及びませんでした。研究者たちは、このモデルには特定の課題があると強調しました。それは欺瞞的または操作的な手法に対して脆弱です。また、モデルは数学的または推論タスクに苦労し、出力の事実的な正確性は時々しか保証されません。彼らはまた、モデルが時折冗長になり、ジェイルブレイキングプロンプトに対しても脆弱であることを指摘しました。これらの欠点に対しては、Starling-7Bの改善に引き続き取り組んでいます。この問題に対処するために、彼らはGPT-4をガイドとして使用するルールベースの報酬モデルを利用して、モデルをさらに洗練することを提案しました。GPT-4の技術レポートで概説されている技術を使用します。まとめると、Starling-7Bは、LLMにおける重要な進歩を示し、AIフィードバックからの強化学習の可能性を示しています。自然言語処理の分野は、これらのモデルとコミュニティの共有知識の協力によって向上しています。研究者たちは、モデルのパフォーマンスを向上させ、制限を解決するために取り組んでいます。この投稿は、UCバークレーの研究者によるStarling-7Bの紹介：AIフィードバックからの強化学習によってトレーニングされたオープンな大規模言語モデル（LLM）が最初に掲載されたMarkTechPostです。

「CMU研究者がニューラルネットワークの挙動における重尾データとネットワークの深層との相互作用が最適化ダイナミクスの形成に与える重要な洞察を発見」

ニューラルネットワーク（NN）の最適化の興味深い性質が次第に増えてきており、これらは最適化の古典的な手法では説明が難しいものです。同様に、研究チームは各性質の力学的な原因についての理解度が異なります。AdamやBatch Normalizationなどの効果的なトレーニングツールについては、多くの努力が行われており、それらの効果を説明するための可能性のある説明が提案されていますが、その証拠は一部にしか説得力がなく、理論的な理解はほとんどありません。グロッキングや安定性の限界などの他の発見は、即座の実用的な示唆を持っていないかもしれませんが、NNの最適化の特徴を研究する新しい方法を提供しています。これらの現象は通常単独で考慮されますが、完全に異なるものとは言えず、それらが共有する具体的な原因はわかっていません。特定の文脈でのNNのトレーニングダイナミクスに関するより良い理解は、アルゴリズムの改善につながる可能性があります。そのため、共通点はさらなる調査のための貴重なツールとなるでしょう。この研究では、カーネギーメロン大学の研究チームがNN最適化における現象を特定し、これまでの観察に新たな視点を提供することを目指しています。研究チームは完全な説明を提供することを主張していませんが、高いレベルのアイデアに対して強力な定性的および定量的な証拠を提示し、既存の複数の説明に自然に適合し、起源のより一貫した絵を示唆しています。具体的には、研究チームは自然データにおけるペアグループの外れ値の存在を示し、これがネットワークの最適化ダイナミクスに大きな影響を与えることを示しています。これらのグループには、初期化時およびトレーニングのほとんどの段階でネットワークの出力を支配する相対的に大きな特徴が含まれています。これらの特徴のもう一つの特徴は、大きく一貫した逆勾配を提供することです。つまり、一方のグループの損失を減少させるためにそのグループの勾配に従うと、他のグループの損失が同様の量だけ増加します。この構造のため、研究チームはこれらを「対立信号」と呼んでいます。これらの特徴は、目標タスクと非自明な相関関係を共有していますが、通常は「正しい」（例：人間の揃った）信号ではありません。多くの場合、これらの特徴は「相関と因果関係のジレンマ」を完璧に具体化しています。たとえば、明るい青い空の背景はCIFARの画像のラベルを決定するものではありませんが、ほとんどの場合は飛行機の画像に現れます。その他の特徴としては、トラックや車の画像におけるホイールやヘッドライトの存在、または書かれたテキストにおけるコロンの後には「the」または改行トークンが続くという点などがあります。図1はCIFAR-10でGDを使用してトレーニングしたResNet-18のトレーニング損失と、一部の主要な外れ値グループとそれらの損失を示しています。図1：対立する信号を持つ外れ値は、ニューラルネットワークのトレーニングダイナミクスに重要な影響を与えます。さらに、GDを使用してCIFAR-10でトレーニングしたResNet-18のトータルロスを持つ一部の代表的な外れ値グループのロスが表示されています。これらのグループは一貫して矛盾した信号を示し（例えば、ホイールとヘッドライトはトラックや車を示唆することがあります）、これらのグループのロスはトレーニングの間に振動し、全体的なロスの突発的なスパイクに対応しており、安定性現象の根本的な原因のようです。トレーニングの初期段階では、ネットワークは重み空間の狭い谷に入り、対立するグループの勾配を慎重にバランスさせますが、損失のランドスケープのシャープ化により、ネットワークは特定の軸に沿って成長する振幅の大きな振動をするようになり、このバランスが崩れます。空の背景の例に戻ると、あるステップでは、全てのスカイ画像においてクラス「飛行機」により高い確率が与えられ、次のステップでその効果が反転します。要するに、「空＝飛行機」のサブネットワークが成長して収縮します。この振動の直接の結果は、スカイが背景にある飛行機の画像におけるネットワークの損失が急激に増加して減少することと、スカイを持たない非飛行機の画像における反対の効果が起こることです。その結果、これらのグループの勾配は方向を交互に変えながら、大きさも増加します。これらのペアはデータの一部を表しているため、この動作は全体のトレーニング損失からはすぐにはわかりませんが、最終的にはトレーニングの進行に伴い、広範な損失のスパイクにつながります。これらの2つのイベント間には明らかな直接的な対応関係がありますので、研究チームは対立するシグナルが安定性の境界現象を直接引き起こすと推測しています。研究チームはまた、最も影響を与えるシグナルは時間とともに複雑さを増していくようです。研究チームは、視覚アーキテクチャとトレーニングのハイパーパラメータの範囲にわたってこの実験を繰り返しました。正確なグループとその出現順序は変化しますが、パターンは一貫して現れます。研究チームはまた、自然なテキストの次のトークン予測におけるトランスフォーマーと、単純な1D関数に対する小規模なReLU MLPについてもこの動作を検証しました。ただし、研究チームは最も明確な直感を提供するためにイメージを使用しています。彼らの実験のほとんどはこの効果を分離するためにGDを使用しますが、研究チームはSGDでも類似のパターンを観察しました。本論文の主な貢献は、NN最適化中における対立するシグナルの存在、普及性、および大きな影響を示すことです。さらに、研究チームは、これらのシグナルが観察されるトレーニングダイナミクスの原因についての彼らの現在の最良理解を、支持する実験と共に提示しています。特に、研究チームは深さと最急降下法の方法に起因するものであるという証拠を提供しています。研究チームは、おもちゃの例と簡単なモデル上の2層線形ネットの分析を交えながら、この議論を補完しています。特筆すべきことに、初歩的ではありますが、彼らの説明によってトレーニング中のNNの振る舞いに関する具体的な定性的予測が可能になります。これは、研究チームが実験的に確認しています。また、これはSGDとAdamの比較を通じて研究チームがハイライトした、現代の確率的最適化手法を研究する新しいレンズを提供します。研究チームは、対立するシグナルとさまざまなNN最適化および一般化現象との可能性の接続を見ています。これには、理解、投射/弾き出し、単純さのバイアス、二重降下、およびシャープネス認識最適化などが含まれます。

Learn more about Search Results 18 - Page 12