Search Results 限定的

「2023年、オープンLLMの年」

2023年には、大型言語モデル（Large Language Models、LLMs）への公衆の関心が急増しました。これにより、多くの人々がLLMsの定義と可能性を理解し始めたため、オープンソースとクローズドソースの議論も広範な聴衆に届くようになりました。Hugging Faceでは、オープンモデルに大いに興味を持っており、オープンモデルは研究の再現性を可能にし、コミュニティがAIモデルの開発に参加できるようにし、モデルのバイアスや制約をより簡単に評価できるようにし、チェックポイントの再利用によってフィールド全体の炭素排出量を低減するなど、多くの利点があります（その他の利点もあります）。では、オープンLLMsの今年を振り返ってみましょう！文章が長くなりすぎないようにするために、コードモデルには触れません。 Pretrained Large Language Modelの作り方まず、大型言語モデルはどのようにして作られるのでしょうか？（もし既に知っている場合は、このセクションをスキップしてもかまいません）モデルのアーキテクチャ（コード）は、特定の実装と数学的な形状を示しています。モデルのすべてのパラメータと、それらが入力とどのように相互作用するかがリストとして表されます。現時点では、大部分の高性能なLLMsは「デコーダーのみ」トランスフォーマーアーキテクチャのバリエーションです（詳細は元のトランスフォーマーペーパーをご覧ください）。訓練データセットには、モデルが訓練された（つまり、パラメータが学習された）すべての例と文書が含まれています。したがって、具体的には学習されたパターンが含まれます。ほとんどの場合、これらの文書にはテキストが含まれており、自然言語（例：フランス語、英語、中国語）、プログラミング言語（例：Python、C）またはテキストとして表現できる構造化データ（例：MarkdownやLaTeXの表、方程式など）のいずれかです。トークナイザは、訓練データセットからテキストを数値に変換する方法を定義します（モデルは数学的な関数であり、したがって入力として数値が必要です）。トークン化は、テキストを「トークン」と呼ばれるサブユニットに変換することによって行われます（トークン化方法によっては単語、サブワード、または文字になる場合があります）。トークナイザの語彙サイズは、トークナイザが知っている異なるトークンの数を示しますが、一般的には32kから200kの間です。データセットのサイズは、これらの個々の「原子論的」単位のシーケンスに分割された後のトークンの数としてよく測定されます。最近のデータセットのサイズは、数千億から数兆のトークンに及ぶことがあります！訓練ハイパーパラメータは、モデルの訓練方法を定義します。新しい例ごとにパラメータをどれだけ変更すべきですか？モデルの更新速度はどのくらいですか？これらのパラメータが選択されたら、モデルを訓練するためには1）大量の計算パワーが必要であり、2）有能な（そして優しい）人々が訓練を実行し監視する必要があります。訓練自体は、アーキテクチャのインスタンス化（訓練用のハードウェア上での行列の作成）および上記のハイパーパラメータを使用して訓練データセット上の訓練アルゴリズムの実行からなります。その結果、モデルの重みが得られます。これらは学習後のモデルパラメータであり、オープンな事前学習モデルへのアクセスに関して多くの人々が話す内容です。これらの重みは、推論（つまり、新しい入力の予測やテキストの生成など）に使用することができます。事前学習済みLLMsは、重みが公開されると特定のタスクに特化または適応することもあります。それらは、「ファインチューニング」と呼ばれるプロセスを介して、ユースケースやアプリケーションの出発点として使用されます。ファインチューニングでは、異なる（通常はより専門化された小規模な）データセット上でモデルに追加の訓練ステップを適用して、特定のアプリケーションに最適化します。このステップには、計算パワーのコストがかかりますが、モデルをゼロから訓練するよりも財政的および環境的にはるかにコストがかかりません。これは、高品質のオープンソースの事前学習モデルが非常に興味深い理由の一つです。コミュニティが限られたコンピューティング予算しか利用できない場合でも、自由に使用し、拡張することができます。 2022年 – サイズの競争からデータの競争へ 2023年以前、コミュニティで利用可能だったオープンモデルはありましたか？ 2022年初頭まで、機械学習のトレンドは、モデルが大きければ（つまり、パラメータが多ければ）、性能が良くなるというものでした。特に、特定のサイズの閾値を超えるモデルは能力が向上するという考えがあり、これらの概念はemergent abilitiesとscaling lawsと呼ばれました。2022年に公開されたオープンソースの事前学習モデルは、主にこのパラダイムに従っていました。 BLOOM（BigScience Large Open-science…

自然言語処理：AIを通じて人間のコミュニケーションの力を解き放つ

この記事では、NLPの理解と進化について取り上げますAIがコミュニケーションの世界にどのように貢献できるかを学びましょう

ビジネスにおけるAIの潜在的なリスクの理解と軽減

「この技術を導入する際に遭遇する可能性のあるAIのリスクを学びましょうビジネスオーナーとして、そのようなリスクを避けるためにできることを理解しましょう」

『AWSプロトタイピングによるICL-GroupのAmazon SageMaker上でのコンピュータビジョンモデルの構築』

「これはICLとAWSの従業員が共同執筆した顧客投稿ですICLは、イスラエルに拠点を置く多国籍の製造および鉱業企業で、ユニークな鉱物に基づいた製品を製造し、主に農業、食品、エンジニアリング材料の三つの市場で人類の基本的なニーズを満たしています彼らの鉱山サイトでは、監視が必要な産業用機器が使用されています...」

「2024年に探索する必要のある10の最高のGPU」

イントロダクション人工知能（AI）、機械学習（ML）、深層学習（DL）の時代において、驚異的な計算リソースの需要は最高潮に達しています。このデジタル革命は私たちを未知の領域に駆り立て、データ駆動の洞察がイノベーションの鍵となる時代へと導いています。しかし、これらのフロンティアを開拓するためには、私たちの高まる野望に対応できるツールが必要です。魅惑的なクラウドGPUの世界へようこそ。これらのグラフィックス処理ユニット（GPU）は、単なる計算リソースに留まらず、限りないパワーのエンジンです。クラウドGPUは、重い前払いのハードウェア投資なしに、超コンピューティング能力を利用する非凡な能力をユーザーに提供します。このガイドは、主要なクラウドプロバイダーを舞台に、その強みや隠れた魅力を明らかにし、AI/ML/DLの旅をサポートします。最高のGPUの概要プロバイダー GPUオプション価格無料ティア特徴最適な用途 Amazon Web Services（AWS） T4、G4ad（Radeon Pro V520）オンデマンド＆スポットインスタンスはい（制限付き）多様なGPUオプション、広範なエコシステム大企業、高要求のワークロード Microsoft Azure T4、A100、V620、M60、MI25…

ChatGPTが知能的ですか？科学的なレビュー

約1年前、OpenAIはChatGPTをリリースし、世界中を席巻しましたChatGPTは、コンピュータとの対話を、従来のより制約の少ない、より自然な言語で行うという完全に新しいアプローチを取り入れました

AIの新たなフロンティアを探る：Google DeepMindのReSTEM自己学習による機械学習の進化に関する研究

大型の言語モデル（LLMs）は、人間レベルのテキストを生成し、さまざまな言語タスクを実行する驚異的な能力によって、ディープラーニングを変革しています。高品質な人間データを入手することは、興味のあるタスクの性能をさらに向上させるための敷居となっています。特に、多くのリソースと専門知識を必要とする複雑な問題解決の割り当てには負担がかかります。この障害を克服するために、モデル生成の合成データは、その品質が保証される場合にはスケーラブルかつ手頃な解決策として有望です。この研究では、Google DeepmindとMilaの研究者は、LLMsが作成されたデータを自己評価できる場合でも、外部のスカラーフィードバック信号が各生成サンプルの品質指標として機能するより簡単なシナリオを調査しています。研究チームは、言語モデルのための直感的で効果的なセルフトレーニング技術を提案しています。この手法は、2つのスキルのみを必要とします：1）モデルからサンプルを作成すること、および2）これらのサンプルをスコアリングメカニズムを使用して評価すること。このアプローチにより、モデルが生成したデータによるトレーニングを研究することができます。研究チームは、Reinforced Self-Trainingの呼び方を使い、この技術をReST𝐃𝑀と呼んで一貫性と明確性を実現しています。研究チームは、ReST𝐃𝑀を強化学習のための期待最大化と考えることができる方法を示しています。具体的には、ReST𝐃𝑀は以下のように期待値と最大値のフェーズを切り替えています：1. 生成（Eステップ）：入力コンテキストごとに、言語モデルは複数の出力サンプルを生成します。その後、研究チームはこれらのサンプルを2値報酬を使用してフィルタリングしてトレーニングデータセットを収集します。2. 改善（Mステップ）：元の言語モデルは、前の生成フェーズからのトレーニングデータセットを使用して監視および微調整されます。次の生成フェーズでは、調整されたモデルが使用されます。ReST𝐃𝑀およびその派生版は、機械翻訳、意味解析、および好みの整合において、言語モデルの向上に効果的であることが示されています。 ReST𝐃𝑀は、主に非常に小さな言語モデル（最大7Bのパラメータまで）で従来の研究で使用され、より大きなモデルに対しては限定的なスケーラビリティがありました。彼らの研究は、モデルによって作成された合成データと人間提供データのスケーラビリティと効果を比較することにより、これらの取り組みを補完することを意図しています。具体的には、コード生成（APPS）および競技レベルの数学的問題解決（MATH）という2つの難しいが研究されていないドメインで、パLM 2モデルに対してReST𝐃𝑀を適用することで、数学的な推論力とコード生成のスキルが大幅に向上することを示しています。驚くべきことに、モデルによって作成された人工データで改良されたモデルは、人間が提供したデータでトレーニングされたモデルよりもはるかに優れた性能を発揮します。さらに、ReST𝐃𝑀の数サイクル後に改善が低下し、トレーニングケースの数に過学習の可能性が示唆されています。また、ReST𝐃𝑀を使用して最適化されたモデルは、pass@kおよび多数決の機能を向上させます。最後に、これらの改良されたモデルは、ビッグベンチハードタスク、コーディング（ヒューマン評価）、および算術問題（GSM8KおよびハンガリーHS決勝）を含む類似したが異なるベンチマークでのパフォーマンスも向上しています。最後に、ReST𝐸𝑀の微調整におけるトレーニング問題、反復回数、およびモデル生成ソリューションの量の影響を調査するための削除研究が行われています。

「金融業界におけるAIの進出：自動取引からパーソナライズドバンキングへ」

財界は、人工知能（AI）の出現と統合によって、革命的な変化を目撃していますこの技術は、単なる付加要素ではなく、金融サービスの本質的な構造を再構築するための核となる要素です超人的なスピードで取引を実行する自動化取引アルゴリズムから個別の顧客に合わせたパーソナライズされたバンキング体験まで、AIによる金融業界の侵略が進行しています... 金融業界におけるAIの進出：自動化取引からパーソナライズされたバンキングへ Read More »

Tech

次元性の祝福？！（パート1）

「これらの問題の1つまたは複数について、慎重に選ばれた科学者のグループが夏に一緒に取り組めば、重要な進展が期待できると私たちは考えています」と提案は述べましたジョンはまだ知りませんでしたが...

「Power BI ビジュアライゼーションの究極ガイド」

イントロダクション Power BIは、データサイエンスの中でも強力なツールとして浮上しており、データに基づく洞察に根ざした情報を提供することで、企業が情報に基づいた意思決定を行うことを可能にしています。Microsoftによって開発されたPower BIビジュアライゼーションは、ユーザーがデータを視覚的に表現し、洞察を組織全体に円滑に伝達することを可能にします。また、広範なデータソースとの接続を確立しながら、アプリケーションやウェブサイトにシームレスに埋め込む能力も注目されています。間違いなく、データサイエンスの分野で最も重要な要素の一つは、データの可視化の実践です。これは、視覚的要素（チャート、グラフ、マップなど）を用いて情報やデータをグラフィカルに説明することを意味します。これらの視覚ツールを活用することで、データの可視化はデータをより理解しやすくし、傾向や外れ値、パターンを判断しやすくします。要するに、Power BIは生データを視覚的に一貫性のある語りに変換する能力を持つ、典型的なツールであり、複雑なデータセットの普遍的な理解を向上させます。 Power BIビジュアライゼーションの理解 Power BIビジュアライゼーションは、Power BIを使用してデータをグラフィカルに表現するプロセスです。これにより、複雑なデータセットをより直感的で視覚的な形式で理解することができます。Power BIビジュアライゼーションは重要であり、テキストベースのデータでは明らかではない複雑な概念を理解したり、新しいパターンを識別したりすることができます。 Power BIビジュアライゼーションのメリットは多岐に渡ります。データと対話することができ、詳細な情報を得るためにチャートやグラフを掘り下げたり、他の人とレポートを作成して共有したりすることができます。また、ユーザーはユニークな360度のビジネスビューを持つパーソナライズされたダッシュボードを作成することも可能です。 Power BIビジュアライゼーションの種類 Power BIは、データを異なる方法で表現するための幅広いビジュアライゼーションを提供しています。 A. チャートチャートは、Power BIでのデータのグラフィカル表現です。これを使用して、複雑なデータセットを簡素化し、データを理解しやすく解釈できるようにします。Power BIはさまざまなチャートの種類を提供しており、それぞれ異なる種類のデータやデータの可視化タスクに適しています。 1.…

Learn more about Search Results 限定的