Search Results A

コードのための大規模な言語モデルの構築とトレーニング：StarCoderへの深い探求

イントロダクションこんにちは、テック愛好家の皆さん！今日は、大規模な言語モデル（LLM）を構築してトレーニングする魅力的な世界について、皆さんをご案内します。この記事は、AIとコード開発の交差点に位置するオープンイニシアチブであるBigCodeプロジェクトの一部である、驚異的なモデルであるStarCoderについて、詳しく掘り下げていきます。始める前に、Hugging Faceの機械学習エンジニアであるLoubna Ben Allalさんに、この記事の基になった「コードのための大規模な言語モデルの構築」に関するデータアワーセッションに感謝を申し上げます。さあ、準備をして、この最先端のテクノロジーの魔法を探求しましょう！学習目標： BigCodeコラボレーションを通じたAIのコーディングにおけるオープンで責任あるプラクティスを理解し、透明性と倫理的な開発を重視します。 Megatron-LMなどのフレームワークを活用した、データの選択、アーキテクチャの選択、効率的な並列処理を通じたLLMトレーニングの基本を理解します。 BigCode評価ハーネスによって促進されるHumanEvalなどのベンチマークを使用したLLMの評価を探求し、効果的なモデル比較を実現します。 VS Codeの拡張機能などのツールを使用して、LLMを開発環境に実践的に統合し、倫理的なAI利用に合致させます。大規模言語モデルの力を解き放つでは、これらの大規模言語モデルについての話題は何でしょうか？それは、自然言語の説明に基づいてコードの断片を完成させたり、完全な関数を生成したり、バグ修正の洞察を提供したりする、仮想のコーディングの魔術師のような存在です。私たちのスターであるStarCoderは、155億のパラメータを誇り、優れたコード補完能力と責任あるAIの実践を示しています。データの選別と準備：成功の基盤では、秘密のソースであるデータの選別について話しましょう。私たちの旅は、GitHubのコードの大規模なコンパイルであるThe Stackデータセットから始まります。このデータセットは300以上のプログラミング言語にわたるものです。しかし、量が常に品質を上回るわけではありません。私たちは、人気と包括性を重視しながら、86の関連する言語を選び抜きました。ただし、ここで注意が必要です。詳細なクリーニングを経て、約80のプログラミング言語で約800ギガバイトのコードのみを残しました。この過程で、自動生成されたファイルや重複したコードを削除することで、モデルが繰り返しパターンを記憶しないようにしました。これにより、量よりも質を重視し、効果的なトレーニングが可能になりました。トークン化とトレーニング用のメタデータ：コードの解読次に、トークン化です！クリーンなテキストデータをモデルが理解できる数値入力に変換しました。リポジトリやファイル名などのメタデータを保持するために、各コード断片の先頭に特別なトークンを追加しました。このメタデータは、異なるプログラミング言語でコード断片を生成する方法をモデルに示す、道案内のようなものです。また、GitHubの課題、gitのコミット、Jupyterノートブックなども工夫しました。これらの要素は、特別なトークンで構造化され、モデルにコンテキストを提供します。このメタデータと書式設定は、後のモデルのパフォーマンスと微調整に重要な役割を果たします。 StarCoderのアーキテクチャの選択：新たな高みへのスケーリング StarCoderのアーキテクチャは、設計の選択肢の傑作です。私たちは、スピードとコスト効率を目指し、1550億のパラメータを選択しました。これは、パワーと実用性のバランスです。また、より大きなデータのバッチを効率的に処理し、品質を損なうことなく推論時間を高速化する技術であるマルチクエリアテンション（MQA）も取り入れました。しかし、イノベーションはそこで終わりませんでした。フラッシュアテンションによる大規模なコンテキスト長を導入しました。これにより、8000トークンまでスケーリングし、効率とスピードを保ちました。そして、双方向のコンテキストについて疑問がある場合は、StarCoderが左から右、右から左の両方のコード断片を理解する方法を見つけました。これにより、その柔軟性が向上しました。…

「マイクロソフトは、VALLE-Xをオープンソース化しました：多言語対応のテキスト読み上げ合成および音声クローニングモデル」

マイクロソフトのVALL-E XゼロショットTTSモデルのオープンソース実装が登場しました。これにより、テキスト読み上げ合成と音声クローニングの限界を em のために、愛好家や専門家の方々が高度な音声合成と音声複製の複雑さに没頭することが約束されています。理論的研究と実用的な応用の間のギャップを埋めるためのマイクロソフトのイニシアチブは、この分野での重要な前進となります。マイクロソフトのVALL-E Xテキスト読み上げモデルは、その初期の研究論文で話題を呼び、多言語TTSとゼロショット音声クローニングのような革新的な機能を紹介しました。しかし、利用可能なコードや事前学習モデルがなかったため、実際に手を動かして探求することができませんでした。この理論と応用の間のギャップは、多くの興味を持った人々がモデルの能力を実際に体験したかったという思いを残しました。 VALL-E Xのオープンソース実装が登場し、愛好家、研究者、開発者の共感を呼び起こします。この提供は、論文の革新的なアイデアを具体的なツールに変え、テクノロジーコミュニティが活用できるものにします。この取り組みの背後にある専任チームは、結果を複製し、独自のVALL-E Xモデルを訓練するためのイニシアチブを取り、最先端のTTS技術の潜在能力を広い観客に提供しています。 VALL-E Xモデルは、テキスト読み上げ合成の領域で際立ったいくつかの画期的な機能を提供しています： 1. 多言語のマスタリー：英語、中国語、日本語の3つの言語で流暢な音声合成を提供し、ダイナミックな多言語体験を実現します。 2. ゼロショット音声クローニング：短い音声サンプルを使用して独自の声の特徴を複製する能力により、個別の高品質音声生成を実現します。 3. 感情を込めた音声：VALL-E Xは合成音声に特定の感情を注入することができ、表現力を向上させます。 4. 言語を超えた合成：モデルは異なる言語で個別の音声を生成し、流暢さとアクセントを保ちながら、言語の壁を超えます。 5. アクセントの実験：アクセント制御により、ユーザーはさまざまな言語の微妙なニュアンスを探求することができ、創造的な可能性を広げることができます。 6. 音響環境の適応：モデルはさまざまな音声プロンプトに適応し、自然で没入感のある音声合成を提供します。…

「AI スタートアップの資金調達 9 月 1 号 ConverSight、Voxel、AI21、および Gesund」

技術の急速な進化の中で、人工知能（AI）は類まれなる約束と課題を持つ重要なフロンティアとして立ち位置を確立しています。これに伴い、ベンチャーキャピタリスト、エンジェル投資家、企業は、次なる大きなブレークスルーを資金提供するためにAIスタートアップへの投資を増やしています。2023年9月1日号では、AIスタートアップへの資金提供の複雑な世界について詳しく掘り下げています。最も収益性の高い取引から投資の景色を形作るトレンドまで、2023年にお金を集める要素について包括的な洞察を提供しています。 ConverSight 最新の資金調達：900万米ドル詳細：インディアナポリスに拠点を置くソフトウェア企業ConverSight.aiは、ニューヨーク市のSurface VenturesをリードとするシリーズAラウンドで900万米ドルの資金調達に成功しました。このスタートアップは、ビジネスの意思決定のためのAIとデータ分析に特化しており、Techstars、Augment Ventures、Elevate Venturesなどからの投資も受けています。ConverSight.aiは、2022年1月にシードラウンドで400万米ドルを調達したことがあり、総資金調達額は1500万米ドルになります。この資金は、データに基づくビジネスソリューションをさらに洗練させるためのスタートアップの取り組みを支援するでしょう。 Tavus 最新の資金調達：1800万米ドル詳細：ビジネス向けのカスタマイズ可能なビデオに特化した2年のスタートアップであるTavusは、シリーズAラウンドで1800万米ドルを調達しました。これはシードラウンドからわずか5か月後のことで、投資後の企業価値は8000万米ドルになります。現在の年間繰り返し収益は100万米ドルであり、Tavusは年末には200万から300万米ドルの繰り返し収益を見込んでいます。予想よりも低い収益が報告されたため、少なくとも1人の投資家が資金調達の機会を逃したようです。 Voxel 最新の資金調達：1200万米ドル詳細：サンフランシスコに拠点を置くスタートアップのVoxelは、職場の安全性を向上させるために1200万米ドルを調達しました。AIとコンピュータビジョンを活用して、Voxelはセキュリティカメラを強化し、リスク管理と報告を自動化します。 AI21 最新の資金調達：1億5500万米ドル詳細：イスラエルのAIスタートアップAI21 Labsは、1億5500万米ドルのシリーズCラウンドを調達し、企業価値を14億米ドルに引き上げました。GoogleやNvidiaなどの有名な投資家も参加しています。新たな資本は、企業向けにカスタマイズされたテキストベースの生成型AIサービスを拡大するために割り当てられます。AI21 LabsはOpenAIやAnthropicなどの業界の巨人に対抗しており、Jurassic-2というプロプライエタリな言語モデルを提供しています。これは、カスタムテキストベースのビジネスアプリケーションや多言語AIアシスタントを支えるプラットフォームです。

「ChatGPTは本当に中立なのか？AIによる対話エージェントの政治的バイアスに関する実証的研究」

イギリスとブラジルの研究者による最近の調査は、OpenAIが開発した人気のあるAI言語モデルであるChatGPTの客観性に関する懸念を明らかにしました。研究者たちは、ChatGPTの応答には明らかな政治的なバイアスがあり、政治的スペクトルの左側に傾いていることを発見しました。彼らはこのバイアスが、従来のメディアに存在する既存のバイアスを持続させ、政策立案者、メディア機関、政治団体、教育機関などの様々な利害関係者に影響を与える可能性があると主張しています。現在、ChatGPTは入力プロンプトに基づいて人間らしいテキストを生成するために使用される主要なAI言語モデルの一つです。さまざまなアプリケーションにおける多目的なツールとしての実績を示していますが、応答におけるバイアスの出現は重要な課題を提起しています。以前の研究ではAIモデルのバイアスに関する懸念が指摘され、公正でバランスの取れた出力を確保するためにこれらのバイアスを緩和することの重要性が強調されています。 ChatGPTの特定のバイアスに対応するため、イギリスとブラジルの研究者チームが、ChatGPTが政治的なコンパスの質問や、AIモデルが民主党員と共和党員の両方の人物像を演じるシナリオに対する応答を分析することを目的とした研究を発表しました。研究者たちはChatGPTの政治的な傾向を測定するために経験的な手法を採用しました。彼らはアンケートを使用してAIモデルの政治的な問題や文脈に対するスタンスを評価しました。さらに、ChatGPTが平均的な民主党員と共和党員の人物像を演じる場面も調査しました。研究の結果は、バイアスが機械的な結果ではなく、AIモデルの出力に意図的な傾向があることを示唆しています。研究者たちは、トレーニングデータとアルゴリズムの両方を調査し、観察されたバイアスに両方の要素が寄与していると結論づけました。研究の結果は、ChatGPTの応答におけるかなりのバイアスを示し、特に民主党寄りの視点を好む傾向があることを示しました。このバイアスは米国にとどまらず、ブラジルやイギリスの政治的文脈に関連する応答でも明らかになりました。この研究は、バイアスのあるAI生成コンテンツが様々な利害関係者に与える潜在的な影響を明らかにし、バイアスの源についてさらなる調査が必要であることを強調しています。 AIによるChatGPTなどのツールの影響力の増大を考えると、この研究は公正で偏りのないAI技術を確保するための警鐘となります。AIモデルのバイアスに対処することは、既存のバイアスを持続させずに客観性と中立性の原則を守るために重要です。AI技術がさまざまなセクターに進化し拡大するにつれて、開発者、研究者、利害関係者がバイアスを最小限に抑え、倫理的なAI開発を推進するために共同で取り組むことが不可欠となります。ChatGPT Enterpriseの導入は、AIツールが効率的だけでなく、バイアスのない信頼性のあるものであることを確保するための堅牢な手段の必要性をさらに強調しています。論文をご覧ください。この研究に関するすべてのクレジットは、このプロジェクトの研究者に帰属します。また、最新のAI研究ニュース、クールなAIプロジェクトなどを共有している29k+ ML SubReddit、40k+ Facebook コミュニティ、Discord チャンネル、およびメールニュースレターにぜひ参加してください。もし私たちの活動が好きなら、ニュースレターも気に入るでしょう。この記事は、AI駆動型の会話エージェントにおける政治的バイアスに関する経験的な研究についてのものです。MarkTechPostに最初に掲載されました。

AWS Inferentiaでのディープラーニングトレーニング

この投稿のトピックは、AWSの自社開発AIチップ、AWS Inferentia、より具体的には第2世代のAWS Inferentia2ですこれは、昨年のAWS Trainiumに関する私たちの投稿の続編であり、...

「ウォルマート、オフィス従業員を生成AIアプリで支援」

「全国最大のスーパーマーケットチェーンであるウォルマートは、5万人以上のオフィス勤務者に対して生成型AIアプリを提供することを進めていますAxiosによると、このプログラムは8月30日に発表され、主に店舗以外のスタッフに影響を与える予定ですこのAIアプリは企業情報を学習しており、簡単に言えばその目的は...」

バージニア工科大学とマイクロソフトの研究者がアイデアの探求と推論の能力を高めるAIアプローチ、アルゴリズムオブソウツを紹介

大規模言語モデル（LLM）は最近進歩を遂げ、その有用性がさまざまな問題解決活動についての認識を高めています。これらのモデルは、コード生成、命令の従属、一般的な問題解決を含むさまざまな問題解決の文脈でその能力を証明しています。現代の研究は、最初のモデルが直接的な回答戦略を使用していたのに対して、線形推論パスを含むより洗練されたアプローチに向かっています。より最近の方法では、複雑な問題は小さなタスクに分割され、手法的な解決方法の検索を容易にするために外部プロセスが組み込まれています。さらに、コンテキストの変更によってトークンの作成を変更するため、外部プロセスが組み込まれています。現在の研究の主な目的は、現在の思考方法を上回るために、外部の操作機構を使用して生成プロセスを停止し、変更し、再開することです。これにより、LLMの推論能力が向上しますが、クエリのリクエストが増えて結果として費用、メモリの要件、および計算上のオーバーヘッドが増えるというデメリットもあります。これらの課題を克服するために、バージニア工科大学マイクロソフトの研究チームは、「思考のアルゴリズム」と呼ばれるユニークなアプローチを導入しました。この戦略により、LLMはアルゴリズム的な推論の経路に沿って推進され、文脈内で学習する新しい方法が効果的に作成されます。LLMの内在的な再帰的ダイナミクスは、アルゴリズムの例の助けを借りて使用され、これにより少数のクエリのみが必要ながら概念の探索を拡大することが可能になりました。 AoTの主な目標は、探索の精神を完全に体現するアルゴリズムの例からLLMを教えることです。この技術は、概念の研究を拡大する一方で、必要なクエリの数を減らします。AoTは、従来の単一クエリの手法を上回り、洗練されたツリー探索アルゴリズムを利用する現代のマルチクエリ手法と競争力を持っています。この手法は、単一のクエリのみを使用する従来の手法を凌駕することができ、そのためこの手法はユニークです。さらに、この手法の性能は、洗練されたツリー探索アルゴリズムを利用する最近のマルチクエリ手法と比較可能です。その結果、この手法を使用してトレーニングされた場合、LLMはアルゴリズムを上回る可能性があることを示しています。この結果から、LLMは自身の直感を高度な検索手順に組み込む能力を持っていることが示唆されます。結論として、AoTの使用例は広範です。AoTは、一般的な問題解決から複雑なプログラミングの困難まで、LLMが推論問題にアプローチする方法を完全に変える能力を持っています。アルゴリズムの経路の組み込みにより、LLMはさまざまな解決策を考慮に入れ、バックトラッキング技術をモデル化し、さまざまなサブプロブレムの潜在能力を評価することができます。AoTは、LLMとアルゴリズム思考のギャップを埋めることにより、文脈内の学習における新たなパラダイムを提供します。

FuncReAct OpenAIの関数呼び出しを利用したReActエージェント

「もしまだプロンプティングが何かわからないのであれば、おそらくあなたは岩の下に住んでいるか、昏睡から目覚めたばかりですLLMsと生成AIに関連して、プロンプティングとは…」

「学生向けの最高のAIツール（2023年9月）」

人工知能（AI）は、教育においてさまざまな応用があります。インタラクティブなバーチャル教室の開発、”スマートコンテンツ”の生成、言語の壁の取り払い、知識のギャップの解消、そして各生徒に合わせた個別の授業計画の作成などです。学校のAI市場は、今後数十億ドル規模になると予想されています。教育体験のあらゆる側面を革新する潜在能力が、その急速な台頭に貢献しています。このため、いくつかの先見的なビジネスがAI技術を開発しています。学習環境で最も有用なAIアプリケーションのいくつかを探ってみましょう。 Gradescope Gradescopeは、学生が互いに評価やコメントを提供することで時間を節約するAIプログラムです。機械学習（ML）と人工知能（AI）がGradescopeの核心にあり、採点プロセスを効率化して時間と労力を節約します。教育者は、従来の評価、デジタル評価、課題、プロジェクトの採点を集中的に行うためにGradescopeを利用することができます。アウトソーシングにより、教育者はより重要な仕事に集中することができます。 Undetectable AI Undetectable AIは、AIコンテンツを優れた品質の人間によって書かれたコンテンツに変換する先端のツールです。AI検出器がコンテンツをフラグにすることを心配していますか？ Undetectable AIがあれば、それはあなたの新しい秘密の武器です。このツールを使えば、AIによって生成されたテキストを人間のような本物の自然なコンテンツに簡単に変換することができます。最も高度なAI検出器でも騙されるほどの本物のコンテンツを提供します。Undetectable AIは単なるコンテンツ作成ツールを超えており、市場で利用可能な最も高度なAI検出器リムーバーツールです。その独自のアルゴリズムは、テキストからすべての認識可能なAIの特徴を削除し、すべてのAI検出チェックを成功させるように設計されています。コンテンツ作成の制約を忘れてください。Undetectable AIを使えば、ツールだけでなく創造的な旅における完全な自由を手に入れることができます。このツールを使えば、AIコンテンツ検出器をバイパスすることができ、コンテンツがAI生成としてフラグ付けされたり識別される心配をする必要がありません。 Quizgecko Quizgeckoは、ビジネス、教育者、個々の学習者を対象としたAIパワードのオンラインテスト・クイズ作成ツールです。あらゆる言語で作業する能力を持つこのツールは、既存のコンテンツをカスタマイズ可能な評価に簡単に変換します。選択肢から穴埋め問題まで、ユーザーは簡単にクイズを作成、共有、埋め込むことができます。従業員のトレーニング、教室の指導、個別の学習に関わらず、Quizgeckoはプロセスを簡素化し、時間を節約し、関与を向上させます。 Aragon AI Aragonを使って、驚くほど簡単にプロフェッショナルなヘッドショットを作成しましょう。最新のAI技術を活用して、自分自身の高品質なヘッドショットを瞬時に作成します！写真スタジオの予約や着飾る手間を省略してください。写真の編集や修整も迅速に行われます。次の仕事を得るための優位性をもたらす40枚のHD写真を受け取りましょう。 Notion Notionは、高度なAI技術を活用してユーザーベースを拡大することを目指しています。最新の機能であるNotion AIは、ノートの要約、ミーティングでのアクションアイテムの識別、テキストの作成と編集などのタスクをサポートする強力な生成AIツールです。Notion AIは、煩雑なタスクを自動化し、ユーザーに提案やテンプレートを提供することで、ワークフローを効率化し、ユーザーエクスペリエンスを簡素化して改善します。 Hostinger AIウェブサイトビルダー Hostinger…

AIベースのアプリケーションテストのトップトレンドを知る必要があります

「AIアプリケーションのテストにおける最新のトレンドを把握しましょうこれらの必須のテスト方法で、AIアプリケーションの精度とセキュリティを向上させましょう」

Learn more about Search Results A - Page 248