Search Results GitHub

大規模言語モデル（LLM）とは何ですか？LLMの応用と種類

コンピュータプログラムである大規模言語モデルは、テキストの解析や作成のための新しいオプションをソフトウェアに提供します。大規模言語モデルは、ペタバイト以上のテキストデータを使用してトレーニングされることが珍しくなく、そのサイズは数テラバイトになることもあります。モデルのパラメータは、以前のトレーニングデータから学習されたコンポーネントであり、テキスト生成などのタスクにおけるモデルの適性を確立します。音声認識、感情分析、テキスト要約、スペルチェック、トークンの分類など、自然言語処理（NLP）の活動は、言語モデルを基盤としています。言語モデルはテキストを分析し、ほとんどの自然言語処理のタスクで次のトークンの確率を予測することができます。ユニグラム、N-グラム、指数、およびニューラルネットワークは、言語モデルの有効な形式です。 LLMの応用以下のチャートは、大規模言語モデル（LLM）の現状を機能、製品、およびサポートソフトウェアの面でまとめたものです。画像の出典：https://cobusgreyling.medium.com/the-large-language-model-landscape-9da7ee17710b シェルコマンドの生成次世代ターミナルのWarpは、GPT-3を使用して自然言語を実行可能なシェル命令に変換します。GitHub Copilotのようなものですが、ターミナル向けです。経験豊富なプログラマでも、シェルコマンドの構文を説明する必要がある場合があります。正規表現の生成開発者にとって正規表現の生成は時間がかかりますが、Autoregex.xyzはGPT-3を活用してこのプロセスを自動化します。コピーライティングこのタスクに最も人気のあるモデルはGPT-3ですが、BigScienceのBLOOMやEleuther AIのGPT-Jなどのオープンソースの代替品もあります。Copy ai、Copysmith、Contenda、Cohere、Jasper aiなどのスタートアップ企業は、この分野でアプリを開発しており、ブログ投稿、販売コンテンツ、デジタル広告、ウェブサイトのコピーなどの執筆を素早く容易にします。分類テキストを予め定義されたカテゴリに分類することは、教師あり学習の例です。クラスタリングという教師なし学習技術を用いることで、意味が似ているテキストを事前定義されたクラスなしでまとめることができます。応答生成応答生成は、サンプルの対話を使用して対話のフローを生成し、機械学習のアプローチを採用するアイデアです。ユーザーに提示される次の議論がモデルによって決定され、ユーザーの過去の応答と最も可能性の高い将来の会話を考慮に入れます。これを予測対話と呼びます。テキストの生成 LLMの能力は、簡単な説明からテストを生成することで、「メタ能力」と見なされるかもしれません。ほとんどのLLMは生成の役割を果たします。フューショット学習データは、生成を大幅に向上させるだけでなく、データのキャスティングもデータの使用方法に影響を与えます。知識応答知識応答は、アプリケーションプログラミングインターフェース（API）のクエリや従来の知識ストアに頼ることなく、一般的なクロスドメインの問い合わせに対する応答を可能にする知識重視の自然言語処理（KI-NLP）の応用です。知識重視の自然言語処理はウェブ検索ではなく、意味検索をサポートする知識ベースです。…

Metaphy LabsのAIエバンジェリストに会いましょう

紹介常に変化するテックの風景の中で、魅力的な現象が浮かび上がってきました。それがメタバースです。この領域をリードするのは、ビジョナリーな共同創業者であるヴァルン・シャルマ氏です。彼のAIへの情熱が、仮想領域を再構築するための旅を推進しています。ヴァルンに会ってください。彼はメタバースとAIの力を利用して、非凡な人間の相互作用、創造性、起業家精神を実現しています。彼のビジョンは物理的な制約を超え、没入型の体験を構築し、デジタルのフロンティアを開拓することを推進しています。会話を始めましょう！ AV: メタフィラボの共同創業者兼最高メタバースオフィサーとしての道のりについて教えていただけますか？何があなたをこの道に進ませたのですか？ヴァルン氏 : メタフィラボの共同創業者兼最高メタバースオフィサーとしての私の道のりは、挑戦的で充実した経験でした。私は常に技術への情熱を持ち、それが世界を変える可能性を感じていました。アクセス可能な没入型の体験や仮想世界を作り出すアイデアは、私を魅了し、この道で私をインスパイアし続けています。さらに、人間を特別な存在にしているのは、言葉を超えてつながる能力です。しかし、技術は常に感情的なつながりの不足と結び付けられてきました。私たちはそれを変えたかったのです。私たちの独自の技術を通じて、感情的に優れた本当にパーソナルな体験を作り出しています。 AV: あなたの仕事で最も困難な側面は何ですか？それらをどのように克服していますか？ヴァルン氏 : 革新的なディープテック企業として、技術の最先端に立ち、イノベーションの先頭に立つことは、私が情熱をもって受け入れるスリリングな挑戦です。この新興のフィールドでは、認知度を高め、採用を促進することがハードルとなることもあります。しかし、クライアントに卓越した価値を提供することで、私たちはどんな障害も乗り越えることができます。データサイエンスを用いてビジネス問題を解決する AV: 過去に取り組んだ特に興味深いプロジェクトを共有していただけますか？データサイエンスをどのように活用してビジネス問題を解決しましたか？ヴァルン氏 : データサイエンスは常に革新と私のテックの旅の核となってきました。私はデータサイエンティストでありAIエバンジェリストとしてのキャリアをスタートしました。幸運なことに、複数の可能性を秘めた人生を変えるプロジェクトに取り組む機会を得ました。過去のプロジェクトでは、カスタムの機械学習アルゴリズムを活用してユーザーの行動を予測し、ソーシャルメディアプラットフォームのユーザーエクスペリエンスを向上させました。ユーザーデータと行動パターンを分析し、改善の余地がある領域を特定し、ターゲットを絞ったソリューションを実装しました。これにより、ユーザーのエンゲージメント、リテンション、収益の増加が大幅に実現しました。 AV: 仕事以外での趣味や興味がありますか？個人的な時間と仕事をどのようにバランスさせていますか？ヴァルン氏…

オリジナルのPDFのフォーマットを保持し、Amazon Textract、Amazon Translate、およびPDFBoxで翻訳されたドキュメントを表示します

様々な業界の企業は、大量のPDF文書を作成し、スキャンし、保存しています多くの場合、その内容はテキスト中心であり、別の言語で書かれているため、翻訳が必要ですこの問題に対処するためには、PDF内のコンテンツを自動的に抽出し、迅速かつ効率的に翻訳する自動化ソリューションが必要です多くの企業は多様な[…]

深層学習を用いた強力なレコメンデーションシステムの構築

顧客に適切なタイミングで適切な商品を提案することは、あらゆる業界において共通の課題です例えば、銀行業界では銀行員は常に顧客に高度に関連性のあるサービスを提案することを求めています...

マーケティング予算の最適化方法

マーケティングミックスモデルは、異なるマーケティングチャネルが売上に与える影響を理解するための強力なツールですマーケターはマーケティングミックスモデルを構築することにより、各要素の貢献度を定量化することができます

ChatGPT CLI コマンドラインインターフェースをChatGPTに変換する

コマンドプロンプトでGPTモデルを使用するための簡単な方法

Artificial Intelligence

SalesforceはXGen-7Bを導入：1.5Tトークンのために8Kシーケンス長でトレーニングされた新しい7B LLMを紹介します

最近の人工知能の技術的なブレークスルーにより、Large Language Models（LLMs）はますます一般的になっています。過去数年間、研究者たちは、これらのモデルを膨大な量のデータでトレーニングして、複雑な言語関連のタスクを解決するための急速な進歩を遂げてきました。これには、複雑な言語パターンの理解、連続した回答の生成などが含まれます。特に研究者や開発者の関心を引いている研究の1つは、LLMsの長文コンテンツの取り扱いにおける応用です。これらのタスクの例は、テキストの要約やコードの生成などの比較的単純なタスクから、タンパク質の構造予測や情報検索などのより複雑な問題の記述まで様々です。長いテキストのシーケンスには、段落、表、画像などさまざまな形式の情報が含まれているため、LLMsはこれらの要素を処理し理解するためにトレーニングされなければなりません。さらに、長距離の構造的依存関係を効果的に考慮することで、LLMsはテキストの異なる部分間の関連性を特定し、最も関連性の高い情報を抽出することができます。したがって、より広範な知識に触れることで、LLMsはユーザーのクエリにより正確で文脈に即した回答を提供することができます。しかし、数多くの潜在的なユースケースにもかかわらず、MetaのLLaMAからMosaicMLのMPT LLMモデルに至るまで、ほとんどのオープンソースのLLMsは、最大2Kトークンのシーケンスでトレーニングされています。この制限は、より長いシーケンスのモデリングにおいて大きな課題を提起します。さらに、モデルのスケーリングに関する以前の研究は、固定された計算予算が与えられた場合、トークン数が多いほど小さなモデルの方が大きなモデルよりも優れたパフォーマンスを発揮することを示しています。したがって、現在の進歩と課題に着想を受けて、Salesforce ResearchはXGen-7Bを導入し、1.5兆トークンの8Kシーケンス長でトレーニングされた一連の7B LLMsにおいて画期的な成果を上げました。このモデルシリーズには、4Kシーケンス長に対応するXGen-7B-4K-Base、8Kシーケンス長に対応するXGen-7B-8K-Base、および公開用の教育データでファインチューニングされたXGen-7B-8k-Instが含まれています（研究目的のみで公開されています）。これらのLLMsの注目すべき特徴は、XGenがMPT、Falcon、LLaMAなどといった同様のサイズの最先端のLLMsと比較して、標準のNLPベンチマークで同等または優れた結果を達成することです。この研究で使用されたXGen-7bモデルは、Salesforceの独自のライブラリJaxFormerを使用してトレーニングされました。このライブラリは、TPU-v4ハードウェアに最適化されたデータとモデルの並列処理を利用した、効率的なLLMのトレーニングを可能にします。トレーニングプロセスはLLaMAのガイドラインに従い、さらに2つの追加の調査を行いました。最初の調査は「損失スパイク」の理解に焦点を当てました。これは、トレーニング中に損失が突然一時的に増加する現象であり、明確な原因がない状態です。これらのスパイクの原因はまだ不明ですが、研究者は「順次回路の並列化」、「swish-GLUの使用」、「RMS-Normの使用」などがトレーニングの不安定性に寄与する可能性があると特定しました。2つ目の調査はシーケンス長に関連しています。自己注意の二次の計算量のため、より長いシーケンスでのトレーニングは計算コストが著しく増加するため、段階的なトレーニングアプローチが採用されました。トレーニングは最初にシーケンス長2kの800Bトークンから始まり、次にシーケンス長4kの400Bトークン、最後にシーケンス長8kの300Bトークンを対象としました。 XGen-7b 8kモデルの長い文脈の理解能力を評価するために、研究者たちは3つの主要なタスクで評価を行いました。それらのタスクは、長い対話生成、テキストの要約、および質問応答です。研究者は、対象のタスクの難しさに基づいて、インストラクションに調整されたモデルを使用しました。長い対話生成に関しては、AMIミーティングの要約、ForeverDreaming、およびTVMegaSiteの脚本の要約の3つのタスクを評価に使用しました。すべての指標において、XGen-7B-instモデルは他のいくつかのインストラクションに調整されたモデルと比較して最高のスコアを達成し、優れたパフォーマンスを示しました。長文の質問応答に関しては、研究者は物理学、工学、歴史、エンターテイメントなどさまざまなトピックをカバーするウィキペディアのドキュメントを基にChatGPTを使用して質問を生成しました。質問と元の文書の関連性、構成、および関連性に基づいて、256トークンのLLM生成された回答をGPT-4で評価しました。このシナリオでは、2kトークンに制限されたベースラインモデルに比べて、XGen-7B-8k-Instモデルのパフォーマンスが優れていることが示されました。テキストの要約に関しては、研究者は会議の会話と政府の報告書という2つの異なるドメインのデータセットを使用してXGen-7bモデルを評価しました。その結果、XGen-7bモデルはこれらのタスクで他のベースラインモデルを大幅に上回り、テキストの要約でも優れたパフォーマンスを発揮することが示されました。評価により、XGen-7bモデルは、長い文脈を理解する能力に優れており、長い対話生成、質問応答、テキスト要約など、さまざまなタスクで優れた性能を発揮しました。その性能は、他の指示に調整されたモデルやベースラインモデルを上回り、広範なテキスト文脈での理解力と連続した応答生成能力を示しています。ただし、その効果的さにもかかわらず、XGenモデルには制約があることが研究者によって認識されており、バイアスが免除されず、有害な応答を生成する可能性があります。これは、他の多くのAIモデルと共有する特徴です。Salesforce Researchはまた、コードをオープンソース化して、コミュニティが研究内容を探求できるようにしています。 SF BlogとGithub Linkをチェックしてください。最新のAI研究ニュース、素晴らしいAIプロジェクトなどを共有している25k+ ML SubReddit、Discord Channel、Email Newsletterにもぜひ参加してください。上記の記事に関する質問や見落としがある場合は、お気軽に[email protected]までメールでお問い合わせください。

データサイエンスをより速く学ぶために、ChatGPTの使い方もしも既に上級者であっても

ChatGPTのようなAIツールを使用して、データサイエンスを簡単に学ぶための初心者向けガイド

Contextual AIは、VQAv2においてFlamingoを9%上回る（56->65%）ビジョン補完言語モデルのためのAIフレームワークLENSを導入しました

大規模言語モデル（LLM）は、最近の数年間で自然言語理解を変革し、ゼロショットおよびフューショットの環境での特に意味理解、クエリ解決、およびテキスト生成の能力を示しています。図1（a）に示すように、ビジョンに関わるタスクでLLMを使用するためのいくつかの手法が提案されています。光学エンコーダを使用して各画像を連続埋め込みの系列として表現し、LLMが理解できるようにする方法もあります。別の手法では、コントラスト学習でトレーニングされた固定ビジョンエンコーダを使用し、凍結されたLLMに追加の層を追加してゼロから学習します。別の手法では、凍結された視覚エンコーダ（コントラスト学習で事前トレーニングされたもの）と凍結されたLLMを整列させるために、軽量トランスフォーマをトレーニングすることを推奨しています。上記の研究では進歩していますが、追加の事前トレーニング段階の計算コストを正当化するのは依然として困難です。また、既存のLLMと視覚および言語のモダリティを同期させるために、テキスト、写真、動画などの大規模なデータベースが必要です。Flamingoでは、視覚特徴を追加するために、事前トレーニングされたLLMに新しいクロスアテンション層を追加します。図1：視覚と言語のモダリティを調整するための手法の比較マルチモーダルプリトレーニングには2つのオプションがあります：（a）対応またはWebデータセットを利用する方法；および（b）LENSは、追加のマルチモーダルデータセットの要件がない、市販のLLMと組み合わせて使用できるプリトレーニングフリーの手法です。LENSと異なり、従来の手法では視覚タスクを達成するために大規模なマルチモーダルデータセットでの共同アライメントプリトレーニングが必要です。マルチモーダルプリトレーニング段階では、驚くべき20億の画像テキストペアと4300万のウェブサイトが必要であり、事前にトレーニングされた画像エンコーダと凍結されたLLMを使用しても最大15日かかることがあります。代わりに、さまざまな「ビジョンモジュール」を使用して、彼らはビジュアル入力から情報を抽出し、詳細なテキスト表現（タグ、属性、アクション、関係など）を生成し、それをLLMに直接フィードして追加のマルチモーダルプリトレーニングの必要性を回避することができます（図1（b）参照）。Contextual AIとスタンフォード大学の研究者は、LENS（Large Language Models ENnhanced to See）というモジュラーな戦略を紹介し、LLMを「推論モジュール」として使用し、個別の「ビジョンモジュール」で機能する方法を提案しています。彼らはまず、コントラストモデルや画像キャプションモデルなどの事前トレーニング済みビジョンモジュールを使用してLENS手法で豊富なテキスト情報を抽出します。そのテキストは次にLLMに送られ、オブジェクト認識、ビジョン、言語（V&L）を含むタスクを実行することができます。LENSは、追加のマルチモーダルプリトレーニングステージやデータの必要性をなくすことで、モダリティ間のギャップを無償で埋めることができます。また、この統合により、コンピュータビジョンと自然言語処理の最新の進歩を即座に活用することができ、両分野の利点を最大限に引き出すことができます。彼らは以下の貢献を提供しています： • LENSは、言語モデルのfew-shot、インコンテキスト学習能力を使用して、コンピュータビジョンの課題を処理するモジュラーな方法を提供します。 • LENSにより、追加のトレーニングやデータなしで、どの市販のLLMでも視覚情報を認識することができます。 • 凍結されたLLMを使用してオブジェクト認識およびビジュアル推論タスクを処理するために、ビジョンと言語のアライメントやマルチモーダルデータの追加は必要ありません。実験結果は、彼らの手法が、KosmosやFlamingoなどのエンドツーエンド共同プリトレーニングモデルと競合または優れたゼロショットパフォーマンスを達成することを示しています。彼らの論文の一部の実装はGitHubで利用できます。

データアナリストからデータサイエンティストへのキャリアチェンジの方法は？

人々は常にデータを扱っており、データアナリストは専門知識を身につけた後、よりチャレンジングな役割を求めています。データサイエンティストは、最も収益性の高いキャリアオプションの1つとされています。スキルセットの拡大が必要ですが、いくつかの教育プラットフォームが変化に有益な洞察を提供しています。多くのデータアナリストが成功して転身していますし、あなたも次の転身者になることができます！以下のステップは、データサイエンティストとしてのキャリアをスタートさせる際に、企業の成長に貢献し、専門知識を増やすのに役立ちます：スキルギャップの評価データサイエンティストの役割に必要な基本的なスキルと知識データサイエンティストはデータを実験する必要があるため、新しいアイデアや研究を開発するマインドセットが重要です。過去の実験のミスを分析する能力も同様に重要です。これに加えて、以下のような技術スキルと知識が求められます：技術スキル： PythonやRなどのプログラミング言語やデータ言語線形回帰やロジスティック回帰、ランダムフォレスト、決定木、SVM、KNNなどの機械学習アルゴリズム SAP HANA、MySQL、Microsoft SQL Server、Oracle Databaseなどのリレーショナルデータベース Natural Language Processing（NLP）、Optical Character Recognition（OCR）、Neural networks、computer vision、deep learningなどの特殊なスキル RShiny、ggplot、Plotly、Matplotlitなどのデータ可視化能力 Hadoop、MapReduce、Sparkなどの分散コンピューティング分析スキル：…

Learn more about Search Results GitHub - Page 126