Search Results 2022年

DeepMindの最新研究（ICLR 2023）

来週は、2022年5月1日から5日までルワンダのキガリで開催される第11回国際学習表現会議（ICLR）の始まりを迎えますこれはアフリカで開催される初めての主要な人工知能（AI）の会議であり、パンデミックの始まり以来の初の対面イベントです世界中の研究者が集まり、AI、統計学、データサイエンスを含む深層学習の最先端の研究成果、およびマシンビジョン、ゲーム、ロボット工学を含む応用分野について共有します私たちはダイヤモンドスポンサーおよびDEIチャンピオンとして、この会議をサポートすることを誇りに思っています

Events

あなたのオープンソースのLLMプロジェクトはどれくらいリスクがあるのでしょうか？新たな研究がオープンソースのLLMに関連するリスク要因を説明しています

大規模言語モデル（LLM）と生成AI、例えばGPTエンジンは、最近AIの領域で大きな波を起こしており、小売個人や企業の間でこの新しいテクノロジーの波に乗ることへの大きな期待が市場に広がっています。しかし、この技術が市場で複数のユースケースを急速に担っている中で、特にオープンソースのLLMに関連するリスクについて、より詳細に注意を払い、使用に関連するリスクについてもっと詳細に注意を払う必要があります。有名な自動ソフトウェア供給チェーンセキュリティプラットフォームであるRezilionが最近行った研究では、この具体的な問題を調査し、その結果は私たちを驚かせます。彼らは次の条件に合致するすべてのプロジェクトを考慮しました： 8ヶ月以内に作成されたプロジェクト（この論文の発表時点での2022年11月から2023年6月まで） LLM、ChatGPT、Open-AI、GPT-3.5、またはGPT-4のトピックに関連するプロジェクト GitHubで少なくとも3,000のスターを持つプロジェクトこれらの条件により、主要なプロジェクトが研究の対象になることが保証されました。彼らは研究を説明するために、Open Source Security Foundation（OSSF）が作成したScorecardというフレームワークを使用しました。Scorecardは、オープンソースプロジェクトのセキュリティを評価し、改善することを目的としたSASTツールです。評価は、脆弱性の数、定期的なメンテナンスの頻度、バイナリファイルの有無など、リポジトリに関するさまざまな情報に基づいて行われます。これらのチェックの目的は、セキュリティのベストプラクティスと業界標準の遵守を確保することです。各チェックにはリスクレベルが関連付けられています。リスクレベルは、特定のベストプラクティスに準拠しないことに関連する推定リスクを表し、スコアに重みを加えます。現在、18のチェックは3つのテーマに分けることができます：包括的なセキュリティプラクティス、ソースコードのリスク評価、およびビルドプロセスのリスク評価。OpenSSF Scorecardは、各チェックに対して0から10の序数スコアとリスクレベルスコアを割り当てます。結果として、これらのほとんどのオープンソースのLLMとプロジェクトは、専門家が以下のように分類した重要なセキュリティ上の懸念事項に取り組んでいます： 1.信頼境界のリスク不適切なサンドボックス化、不正なコードの実行、SSRFの脆弱性、不十分なアクセス制御、さらにはプロンプトインジェクションなどのリスクは、信頼境界の一般的な概念に該当します。誰でも任意の悪意のあるnlpマスクコマンドを挿入することができ、それは複数のチャンネルを越えて伝播し、ソフトウェアチェーン全体に深刻な影響を与える可能性があります。人気のある例の1つはCVE-2023-29374 LangChainの脆弱性（3番目に人気のあるオープンソースgpt）です。 2. データ管理リスクデータ漏洩やトレーニングデータの改竄は、データ管理のリスクカテゴリに該当します。これらのリスクは、大規模言語モデルに限定されるものではなく、どんな機械学習システムにも関連しています。トレーニングデータの改竄は、攻撃者がLLMのトレーニングデータや微調整手順を意図的に操作して、モデルのセキュリティ、効果性、倫理的な振る舞いを損なう脆弱性、バックドア、バイアスを導入することを指します。この悪意のある行為は、トレーニングプロセス中に誤解を招く情報や有害な情報を注入することで、LLMの完全性と信頼性を危険にさらすことを目的としています。 3.…

Pixis AIとは、コードを書かずにAIソリューションを提供する新興のスタートアップです

AIモデルのトレーニングには膨大な情報が必要です。しかし、すべての情報が同じではありません。モデルをトレーニングするためのデータは、エラーがなく、適切にフォーマットされ、ラベルが付けられ、問題を反映している必要があります。これは難しく、時間のかかるプロセスです。計画どおりに機能しない場合、AIモデルのデバッグが困難になることもあります。これは、モデルが通常複雑であり、さまざまな要因が故障の原因となる可能性があるためです。また、モデルの作成に使用されるトレーニングデータも、ミスの原因となる可能性があります。人工知能の領域では常に新しい進歩があります。そのため、新しい動向についていくことは困難です。さらに、AIシステムのハードウェア要件は常に増え続けており、古いまたは性能の低いマシンでAIモデルを実行することは困難です。AIコンポーネントを使用してプログラムを作成する際には、さまざまな困難が生じる場合があります。現在、AI構造のコーディングに関連する困難を解消するためのさまざまなソリューション/製品が市場に存在しています。たとえば：ノーコードまたは低コード環境。これらのシステムのユーザーは、コードを一切触れずにAIモデルを構築することができます。一般的に、モデル作成やトレーニングプロセスを簡略化するためのグラフィカルユーザーインターフェースが付属しています。機械学習およびAIホスティングサービス。これらのプラットフォームを通じてクラウドベースのAIモデルやサービスが提供されます。人員や資金がない企業は、自社のAIモデルを作成および維持するためにこれらを活用することができます。人工知能の専門家。多くのAI専門家がAIに関連する問題に対処するために企業を支援しています。基礎を学ぶことから実践に移すことまで、AIのニーズに応じてサポートできます。 PixisのAIソリューションは、クロスプラットフォームのパフォーマンスと成長マーケティングにAIを活用した意思決定を可能にします。顧客は、目標を満たし超えるために、目的に特化した自己進化型ニューラルネットワークを使用したコードレスのAIインフラストラクチャを活用しています。この若い企業は、堅牢なコードレスのAIインフラストラクチャを実現するために、2022年に1億ドルのシリーズCの資金調達を成功裏に終えました。これにより、ブランドはマーケティングのあらゆる側面の拡大および意思決定の効率的な補完を実現することを目指しています。最後の資金調達以来、Pixisはインフラストラクチャに約120以上の新しいAIモデルを導入し、200の独自のAIモデルのベンチマーク達成に一歩近づいています。これらのAIモデルは、マーケターに対してコードを1行も書かずに堅牢なプラグアンドプレイのAI製品を提供します。また、Pixisの300人以上の分散チームは、顧客のマーケティングおよび需要創出の取り組みを最大限に活用するための非常に変革的なAI製品の開発に注力しています。 100を超えるPixisのグローバル顧客がそのAIサービスを利用しています。Pixis AIインフラストラクチャのユーザーは、少なくとも300時間の手作業の月間節約と、少なくとも10-15％の顧客獲得コストの削減を報告しています。このブランドは、1行のコードを書く必要なしに即座にAIを活性化することを顧客に約束しています。 PixisのパフォーマンスマーケティングのためのコードレスAIインフラストラクチャ：概要ターゲットAI PixisのターゲティングAIは、数十億のデータポイントでトレーニングされた最先端のニューラルネットワークを使用して、ブランドに最も関連性のあるコホートを提供し、時間の経過とともにさらに向上させます。ブランドは、コンバージョンのトレンド、行動パターン、エンゲージメントレベル、およびその他のコンテキストの洞察に基づいて導き出されたユーザーペルソナを活用して、ターゲティングパラメータと技法を微調整することができます。インフラストラクチャは、顧客関係管理（CRM）プラットフォーム、アトリビューションプラットフォーム、デザインツール、およびウェブ分析を簡単にサポートします。ターゲティングAIは、ユニークなクラスタリングアルゴリズムを使用して、非常に関連性の高いクロスプラットフォームのオーディエンスコホートを構築し、ターゲットオーディエンスの知識を活用して、マーケティング活動を創造性と最適化の両面で導きます。クリエイティブAI PixisのクリエイティブAIは、特許取得済みの生成AIモデルを使用して、関連性の高い視覚的および静的なアセットを作成することで、プラットフォーム全体でのエンゲージメントとコンバージョン率を向上させます。クリエイティブ努力の効果をフィードバックしやすくすることで、将来のキャンペーンの改善に向けて微調整することが容易になります。すべてのチャネルでのペルソナベースのクリエイティブアドバイスにより、エンゲージメントと売上を増加させます。フィードバックに基づいたクリエイティブの最適化を通じて、クリエイティブAIはコミュニケーションのコンテキストを常に向上させます。パフォーマンスAI 過去のキャンペーンデータ、季節パターン、アトリビューション、分析、およびリアルタイムのパフォーマンスデータからのコンテキスト学習を統合し、すべてのチャネルにわたるスマートな意思決定を実現するAIパワードマーケティングインフラストラクチャを構築します。ブランドは、入札とリソースを自動的に割り当てなおすことができ、また、すべてのチャネルでのマイクロトレンドを検出する多目的収束型AIモデルも含まれているインフラストラクチャを使用して、広告支出のリターンを最大化することを目指しています。ピーク時のトラフィックでAIトラックを実行し、広告費の支出と収益（ROAS）を分析し、将来のキャンペーンに最適な予算配分技術を予測します。予算編成と主要パフォーマンス指標の最適化の間のベストなバランスを見つけるために、ハイパーコンテクストUAL AIモデルを使用します。 Pixis AIの特長機能 ●…

自律生成AIとオートコンプリートの違いを愛するようになった方法

生成型AIは、ユニットテストにおいて開発者の最良のパートナーとなる可能性がありますが、強化学習ツールはコードのレビューなしに直ちに成功をもたらすことができます

今年学ぶ価値のある最高報酬の言語5選

キャリアアップと給与アップのために、最も注目されているプログラミング言語を学ぶことで、あなたのコーディングスキルを向上させましょう！

Programming

AWSとPower BIを使用して、米国のフライトを調査する

∘ 問題の説明 ∘ データ ∘ AWSアーキテクチャ ∘ AWS S3を使ったデータストレージ ∘ スキーマの設計 ∘ AWS Glueを使ったETL ∘ AWS Redshiftを使ったデータウェアハウジング ∘ インサイトの抽出...

2050年までに、ロボットはワールドカップの優勝者に勝利するか？

ロボカップの夢は、数世代のロボティストたちにインスピレーションを与えてきました

ゼロから大規模言語モデルを構築するための初心者ガイド

はじめに TwitterやLinkedInなどで、私は毎日多くの大規模言語モデル（LLMs）に関する投稿に出会います。これらの興味深いモデルに対してなぜこれほど多くの研究と開発が行われているのか、私は疑問に思ったこともあります。ChatGPTからBARD、Falconなど、無数のモデルの名前が飛び交い、その真の性質を解明したくなるのです。これらのモデルはどのように作成されるのでしょうか？大規模言語モデルを構築するにはどうすればよいのでしょうか？これらのモデルは、あなたが投げかけるほとんどの質問に答える能力を持つのはなぜでしょうか？これらの燃えるような疑問は私の心に長く残り、好奇心をかき立てています。この飽くなき好奇心は私の内に火をつけ、LLMsの領域に飛び込む原動力となっています。私たちがLLMsの最先端について議論する刺激的な旅に参加しましょう。一緒に、彼らの開発の現状を解明し、彼らの非凡な能力を理解し、彼らが言語処理の世界を革新した方法に光を当てましょう。学習目標 LLMsとその最新の状況について学ぶ。利用可能なさまざまなLLMsとこれらのLLMsをゼロからトレーニングするアプローチを理解する。 LLMsのトレーニングと評価におけるベストプラクティスを探究する。準備はいいですか？では、LLMsのマスタリングへの旅を始めましょう。大規模言語モデルの簡潔な歴史大規模言語モデルの歴史は1960年代にさかのぼります。1967年にMITの教授が、自然言語を理解するための最初のNLPプログラムであるElizaを作成しました。Elizaはパターンマッチングと置換技術を使用して人間と対話し理解することができます。その後、1970年にはMITチームによって、人間と対話し理解するための別のNLPプログラムであるSHRDLUが作成されました。 1988年には、テキストデータに存在するシーケンス情報を捉えるためにRNNアーキテクチャが導入されました。2000年代には、RNNを使用したNLPの研究が広範に行われました。RNNを使用した言語モデルは当時最先端のアーキテクチャでした。しかし、RNNは短い文にはうまく機能しましたが、長い文ではうまく機能しませんでした。そのため、2013年にはLSTMが導入されました。この時期には、LSTMベースのアプリケーションで大きな進歩がありました。同時に、アテンションメカニズムの研究も始まりました。 LSTMには2つの主要な懸念がありました。LSTMは長い文の問題をある程度解決しましたが、実際には非常に長い文とはうまく機能しませんでした。LSTMモデルのトレーニングは並列化することができませんでした。そのため、これらのモデルのトレーニングには長い時間がかかりました。 2017年には、NLPの研究において Attention Is All You Need という論文を通じてブレークスルーがありました。この論文はNLPの全体的な景色を変革しました。研究者たちはトランスフォーマーという新しいアーキテクチャを導入し、LSTMに関連する課題を克服しました。トランスフォーマーは、非常に多数のパラメータを含む最初のLLMであり、LLMsの最先端モデルとなりました。今日でも、LLMの開発はトランスフォーマーに影響を受けています。次の5年間、トランスフォーマーよりも優れたLLMの構築に焦点を当てた重要な研究が行われました。LLMsのサイズは時間とともに指数関数的に増加しました。実験は、LLMsのサイズとデータセットの増加がLLMsの知識の向上につながることを証明しました。そのため、BERT、GPTなどのLLMsや、GPT-2、GPT-3、GPT 3.5、XLNetなどのバリアントが導入され、パラメータとトレーニングデータセットのサイズが増加しました。 2022年には、NLPにおいて別のブレークスルーがありました。 ChatGPT は、あなたが望むことを何でも答えることができる対話最適化されたLLMです。数か月後、GoogleはChatGPTの競合製品としてBARDを紹介しました。…

7月号データサイエンティストのための気候リソース

多くの人にとって、夏の訪れは以前は単純な興奮の原因でした：学校が終わる、仕事のスケジュールは少し忙しくないことが多い、ビーチでののんびりした午後や...

小さな言語モデルでも高い性能を発揮できるのか？StableLMに会ってみてください：適切なトレーニングで高性能なテキストとコードを生成できるオープンソースの言語モデル

Stability AIは、Stable Diffusion画像生成AI技術で知られる人工知能のスタートアップ企業です。今日、Stability AIはStableLMという新しい無料かつオープンソースの言語モデルを発表しました。このモデルはアルファフェーズで3つの異なるパラメータサイズ（30億、70億、150億、650億）で提供されます。CC BY-SA-4.0ライセンスの規則により、開発者はStableLMの基本モデルを個人や商業プロジェクトで確認、利用、修正することができます。独自のAIに対するオープンかつ拡張可能で透明性の高い代替手段を提供する画期的なStable Diffusion画像モデルは、2022年にStability AIの努力によって一般に公開されました。Stability AIはStableLMモデルセットをリリースし、基本的なAIの能力を民主化するという使命をさらに推進しています。StableLMモデルは、テキストやコードの生成能力を持つさまざまなアプリケーションを活性化させます。これらのモデルは、小規模で効率的なモデルが優れたパフォーマンスを発揮する方法を示しています。チームの以前のEleutherAIという非営利研究ハブとのオープンソースの共同作業により、StableLMのリリースの基盤が整いました。Pileというオープンソースのデータセットを使用して、GPT-J、GPT-NeoX、およびPythiaスイートなど、いくつかの人気のある言語モデルをトレーニングしました。Cerebras-GPTやDolly-2は、これらの以前のモデルを拡張した多くの新しいオープンソースの言語モデルのうちの2つの例です。 StableLMを教えるために使用される実験用のデータセットは、The Pileをベースにしており、トークン数は1.5兆個で3倍の大きさです。1750億のパラメータを持つGPT-3に対して、StableLMはこのデータセットの豊富さにより、会話やコーディングのタスクにおいて予想外に優れたパフォーマンスを達成しています。データセットに関する情報は後日公開されます。彼らは、教室での使用に最適化された研究モデルのコレクションをリリースしました。これらの洗練されたモデルは、最近リリースされたオープンソースの会話エージェントのデータセット（Alpaca、GPT4All、Dolly、ShareGPT、HH）のデータを最初に使用します。StanfordのAlpacaライセンスに従い、これらのチューニングされたモデルは学術研究用に非営利のCC BY-NC-SA 4.0ライセンスで利用できます。 StableLMは、以下の機能を通じて、オープンでアプローチ可能で支援的なAI技術の開発を目指すチームのビジョンを描いています：透明性：研究者はパフォーマンスを確認し、解釈可能なアプローチを確立し、危険を特定し、セーフガードの作成を支援するために「中身を見る」ことができます。企業や政府機関は、個人情報を開示することなく、またAIの能力に対する権限を放棄することなく、これらのオープンソースモデルを自分たちのニーズに合わせて修正（または「調整」）することができます。アクセシビリティ：チームは一般の人々が自分たちのデバイスでモデルを利用できるようにエッジに構築しています。わずかな数の企業の専用サービスに依存するのではなく、開発者はこれらのモデルを使用して、より広範な公開可能なハードウェアと連携するアプリケーションを作成することができます。このようにして、AIの経済的な利益は、多くのユーザーとクリエイターの間で分散されます。提案されたモデルはオープンかつ詳細であり、研究者や学術関係者が解釈性と安全性の面で閉じたモデルの制約を超えることができます。支援的：これらのモデルは、顧客を置き換えるためではなく、顧客を支援するために作られています。チームは、超人的な知性を追求するのではなく、AIの特定のタスクを実行する能力を現実世界の文脈で向上させることに焦点を当てています。彼らは、一般の人々や企業がイノベーションを促進し、生産性を向上させ、経済の可能性を拡大するために、AIの潜在能力を活用するためのリソースを構築しています。チームは、ユーザーが受け取る応答の品質が異なる場合があり、不快な言葉や意見が含まれる場合があることを強調しています。これは、微調整や強化学習を行っていない事前学習された大規模言語モデルの場合に共通するものです。スケール、増加するデータ、コミュニティのフィードバック、最適化などが大幅な改善につながる要素です。

Learn more about Search Results 2022年 - Page 36