Search Results Loom

「A.I.が住宅法案を書いた批評家はそれがインテリジェントでないと言っています」

ニューヨーク州の議員は、人工知能プログラムを使用して、ニューヨーク州の法律の抜け穴を特定しましたしかし、その結果となる法案の潜在的な影響は、最善の場合でも不明瞭です

もう1つの大規模言語モデル！IGELに会いましょう：指示に調整されたドイツ語LLMファミリー

IGELはテキストのための指示に調整されたドイツの大規模言語モデルです。 IGELバージョン001（Instruct-igel-001）は、既存のオープンソースモデルとドイツ語に翻訳された指示データセットの組み合わせからドイツ語の指示に調整されたモデルを構築することが可能かどうかを判断するために使用するための基本的なコンセプトの証明です。 IGELの最初のバージョンは、Malte Ostendorffによってドイツ語にローカライズされたBigScience BLOOMに基づいています。 IGELは、感情分析、言語翻訳、質問応答など、自然言語理解に関連するさまざまなタスクを高い精度と信頼性で実行するように設計されています。チームは、LLMsがドイツ語の指示ベースのモデリングタスクをどれだけうまく実行するかを実験したかった。これを達成するために、予め学習されたカスタマイズされたBLOOMモデル（6B）を使用し、翻訳された指示に基づいたデータセットを用いてファインチューニングしました。データセットを構築するために、英語の指示をドイツ語に自動翻訳する手法が使用されました。この戦略により翻訳エラーが発生する可能性が高くなりましたが、彼らの目標は、モデルが依然として指示的な応答を生成することを学ぶことができるかどうかを判断することでした。 Instruct-igel-001には、Hugging Face Transformersで使用するために結合されたウェイトを持つLoRAに調整されたBLOOM-CLP Deutsch（6.4Bパラメータ）が含まれています。instruct-igel-001が単純な翻訳された指示データセットでトレーニングされる前に、データのクリーニング、フィルタリング、および後処理にはほとんど注意が払われません。チームは、幻覚、有害性、およびステレオタイプ化がinstruct-igel-001にあると述べており、これらはすべて言語モデルに共通する問題です。彼らは、チャットモデルを開発し、会話インターフェースを作成することで、データの品質を伝統的な要求と応答の方法を超えて向上させる予定です。

「Hugging Faceにおけるオープンソースのテキスト生成とLLMエコシステム」

テキスト生成と対話技術は古くから存在しています。これらの技術に取り組む上での以前の課題は、推論パラメータと識別的なバイアスを通じてテキストの一貫性と多様性を制御することでした。より一貫性のある出力は創造性が低く、元のトレーニングデータに近く、人間らしさに欠けるものでした。最近の開発により、これらの課題が克服され、使いやすいUIにより、誰もがこれらのモデルを試すことができるようになりました。ChatGPTのようなサービスは、最近GPT-4のような強力なモデルや、LLaMAのようなオープンソースの代替品が一般化するきっかけとなりました。私たちはこれらの技術が長い間存在し、ますます日常の製品に統合されていくと考えています。この投稿は以下のセクションに分かれています：テキスト生成の概要ライセンス Hugging FaceエコシステムのLLMサービス用ツールパラメータ効率の良いファインチューニング（PEFT）テキスト生成の概要テキスト生成モデルは、不完全なテキストを完成させるための目的で訓練されるか、与えられた指示や質問に応じてテキストを生成するために訓練されます。不完全なテキストを完成させるモデルは因果関係言語モデルと呼ばれ、有名な例としてOpenAIのGPT-3やMeta AIのLLaMAがあります。次に進む前に知っておく必要がある概念はファインチューニングです。これは非常に大きなモデルを取り、このベースモデルに含まれる知識を別のユースケース（下流タスクと呼ばれます）に転送するプロセスです。これらのタスクは指示の形で提供されることがあります。モデルのサイズが大きくなると、事前トレーニングデータに存在しない指示にも一般化できるようになりますが、ファインチューニング中に学習されたものです。因果関係言語モデルは、人間のフィードバックに基づいた強化学習（RLHF）と呼ばれるプロセスを使って適応されます。この最適化は、テキストの自然さと一貫性に関して行われますが、回答の妥当性に関しては行われません。RLHFの仕組みの詳細については、このブログ投稿の範囲外ですが、こちらでより詳しい情報を見つけることができます。例えば、GPT-3は因果関係言語のベースモデルですが、ChatGPTのバックエンドのモデル（GPTシリーズのモデルのUI）は、会話や指示から成るプロンプトでRLHFを用いてファインチューニングされます。これらのモデル間には重要な違いがあります。 Hugging Face Hubでは、因果関係言語モデルと指示にファインチューニングされた因果関係言語モデルの両方を見つけることができます（このブログ投稿で後でリンクを提供します）。LLaMAは最初のオープンソースLLMの1つであり、クローズドソースのモデルと同等以上の性能を発揮しました。Togetherに率いられた研究グループがLLaMAのデータセットの再現であるRed Pajamaを作成し、LLMおよび指示にファインチューニングされたモデルを訓練しました。詳細についてはこちらをご覧ください。また、Hugging Face Hubでモデルのチェックポイントを見つけることができます。このブログ投稿が書かれた時点では、オープンソースのライセンスを持つ最大の因果関係言語モデルは、MosaicMLのMPT-30B、SalesforceのXGen、TII UAEのFalconの3つです。テキスト生成モデルの2番目のタイプは、一般的にテキスト対テキスト生成モデルと呼ばれます。これらのモデルは、質問と回答または指示と応答などのテキストのペアで訓練されます。最も人気のあるものはT5とBARTです（ただし、現時点では最先端ではありません）。Googleは最近、FLAN-T5シリーズのモデルをリリースしました。FLANは指示にファインチューニングするために開発された最新の技術であり、FLAN-T5はFLANを使用してファインチューニングされたT5です。現時点では、FLAN-T5シリーズのモデルが最先端であり、オープンソースでHugging Face Hubで利用可能です。入力と出力の形式は似ているかもしれませんが、これらは指示にファインチューニングされた因果関係言語モデルとは異なります。以下は、これらのモデルがどのように機能するかのイラストです。より多様なオープンソースのテキスト生成モデルを持つことで、企業はデータをプライベートに保ち、ドメインに応じてモデルを適応させ、有料のクローズドAPIに頼る代わりに推論のコストを削減することができます。Hugging…

ハギングフェイスTGIを使用した大規模言語モデルの展開

大型言語モデル（LLM）は、ほぼ毎週新しいものがリリースされることで人気が高まり続けていますこれらのモデルの数が増えるにつれ、ホストする方法の選択肢も増えています私の…

AIによる生産性向上生成AIが様々な産業において効率の新たな時代を開く

2022年11月22日、ほとんど仮想的な瞬間が訪れ、それは地球上のほぼすべての産業の基盤を揺るがしました。その日、OpenAIは史上最も高度な人工知能チャットボットであるChatGPTをリリースしました。これにより、消費者の質問に答えるための生成型AIアプリケーションから科学的なブレークスルーを追求する研究者の作業を加速するまで、ビジネスがより効率的になるための需要が生まれました。以前はAIに手を出していた企業も、最新のアプリケーションを採用・展開するために急ぎます。アルゴリズムが新しいテキスト、画像、音声、アニメーション、3Dモデル、さらにはコンピュータコードを生成することができる生成型AIは、人々が働く・遊ぶ方法を変革しています。大規模な言語モデル（LLM）を用いてクエリを処理することにより、この技術は情報の検索や編集などの手作業に費やす時間を劇的に短縮することができます。その賭けは大きいです。PwCによると、AIは2030年までに世界経済に1兆5千億ドル以上をもたらす可能性があります。そして、AIの導入の影響はインターネット、モバイルブロードバンド、スマートフォンの発明以上に大きいかもしれません。生成型AIを推進するエンジンは、高速計算です。これは、科学、分析、エンジニアリング、消費者およびエンタープライズのユースケース全般にわたり、GPU、DPU、ネットワーキング、およびCPUを使用してアプリケーションを高速化します。早期の採用企業は、薬剤探索、金融サービス、小売、通信、エネルギー、高等教育、公共部門など、さまざまな業界で、高速計算と生成型AIを組み合わせてビジネスのオペレーション、サービス提供、生産性の向上を実現しています。インフォグラフィックを表示するにはクリックしてください：次世代のAI変革を生み出す薬剤探索のための生成型AI 今日、放射線科医はAIを使用して医療画像の異常を検出し、医師は電子健康記録をスキャンして患者の洞察を明らかにし、研究者は新しい薬剤の発見を加速するためにそれを使用しています。従来の薬剤探索は、5000以上の化学物質の合成を必要とし、平均的な成功率はわずか10%です。そして、ほとんどの新薬候補が市場に出るまでに10年以上かかります。研究者は、生成型AIモデルを使用してタンパク質のアミノ酸配列を読み取り、ターゲットタンパク質の構造を秒単位で正確に予測することができます。これには数週間または数か月かかることがあります。 NVIDIAのBioNeMoモデルを使用して、バイオテクノロジーの世界的リーダーであるアムジェンは、分子スクリーニングと最適化のためのモデルのカスタマイズにかかる時間を3か月からわずか数週間に短縮しました。このタイプのトレーニング可能な基礎モデルにより、科学者は特定の疾患の研究のためのバリアントを作成し、希少な状態の治療法を開発することができます。タンパク質構造の予測や大規模な実世界および合成データセットでのアルゴリズムの安全なトレーニングなど、生成型AIと高速計算は、疾病の拡散を緩和し、個別の医療治療を可能にし、患者の生存率を向上させるための新たな研究領域を開拓しています。金融サービスのための生成型AI NVIDIAの最新の調査によると、金融サービス業界での主要なAIの活用事例は、カスタマーサービスとディープアナリティクスです。ここでは、自然言語処理とLLMが使用され、顧客の問い合わせにより良い対応をするためや投資の洞察を明らかにするために使用されています。別の一般的な応用は、パーソナライズされた銀行体験、マーケティング最適化、投資ガイダンスを提供する推薦システムです。先進的なAIアプリケーションは、この業界が不正行為をより防止し、ポートフォリオ計画やリスク管理からコンプライアンスや自動化まで、銀行業務のあらゆる側面を変革する可能性があります。ビジネスに関連する情報の80%は構造化されていない形式、主にテキスト形式ですが、これは生成型AIの主要な対象となります。Bloomberg Newsは、金融および投資コミュニティに関連するニュースを1日に5,000本も発行しています。これらの記事は、タイムリーな投資の決定をするために使用できる膨大な非構造化市場データの宝庫です。 NVIDIA、ドイツ銀行、ブルームバーグなどは、ドメイン固有のデータや独自のデータをトレーニングおよび微調整するために訓練されたLLMを作成して、金融アプリケーションに使用しています。金融トランスフォーマー、または「FinFormers」は、非構造化の金融データの文脈を学び、意味を理解することができます。これらはQ&Aチャットボットのパワーを供給し、金融テキストを要約・翻訳し、取引先リスクの早期警告サインを提供し、データを迅速に取得し、データ品質の問題を特定することができます。これらの生成型AIツールは、プロプライエタリデータをモデルトレーニングおよび微調整に統合し、バイアスを防ぐためのデータキュレーションを統合し、会話を金融に特化させるためのガードレールを使用するフレームワークに依存しています。フィンテックスタートアップや大手国際銀行がLLMと生成型AIの使用を拡大し、内部および外部の利害関係者に対して洗練されたバーチャルアシスタントを提供し、ハイパーカスタマー向けのコンテンツを作成し、マニュアル作業を削減するために文書要約を自動化し、テラバイトの公共および非公開データを分析して投資の洞察を生成することを期待してください。小売業における生成AI…

「AIは政治をより簡単、安価かつ危険にする」

「有権者はすでにAIによって作成された選挙キャンペーン資料を目にしている可能性がありますが、それに気づいていないかもしれません」

「知識グラフの力を利用する：構造化データでLLMを豊かにする」

近年、大規模な言語モデル（LLM）が広まってきていますおそらく最も有名なLLMはChatGPTで、それはOpenAIによって2022年11月にリリースされましたChatGPTはアイデアを生成し、提供することができます...

Googleのアナリティクスとデータサイエンスの領域を旅していく

イントロダクション Googleでアナリティクスとデータサイエンスの分野で優れた成果を挙げるプロフェッショナル、リシャブ・ディンドラに会いましょう。リシャブはデータを効果的に活用するための広範な専門知識と情熱を持っています。彼は先進技術を活用してイノベーションを推進し、価値ある洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしく、アナリティクスとデータサイエンスの分野を変革しました。彼の成果と貢献を探求して、Googleの成功を新たな高みに押し上げましょう。リシャブから学びましょう！ AV: Googleでデータサイエンティストになるまでの経歴を教えていただけますか？今の立場に至るためにどのようなステップを踏みましたか？リシャブ氏: 私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートし、それ以来データスペースで働いてきました。そのため、SQLやPythonなどの言語、データモデリング、プレゼンテーションスキル、およびTableauなどのツールの学習は、この旅の最初の必要なステップです。そして、数学と理論に深く入り込んでプロジェクトを行う人もいますが、私は実際にやってみてから概念を理解する方が最も効果的だと感じています。私にとって役立ったいくつかの重要なステップは次のとおりです： Analytics Vidhyaなどのプラットフォームでの素晴らしいコースを受講する Data Scienceのスキルを活用できる役割での機会を見つける自分の情熱のあるテーマでプロジェクトを行うビジネスとの緊密な連携とビジネスの理解自分の知識を他の人と共有することで概念をより良く理解するネットワーキングと他の人から学ぶこと Google Cloudの技術のスキルを獲得するデータサイエンティストを目指すためのスキル AV: 成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように磨きましたか？ ****リシャブ氏: 成功したデータサイエンティストとして、私はデータサイエンティストを目指す人にとって最も重要なスキルは次のとおりだと考えています：テクニカルスキル:…

「Googleのアナリティクスとデータサイエンスの領域を旅する」

紹介 Googleでアナリティクスとデータサイエンスの分野で優れたプロフェッショナルとして活躍するリシャブ・ディングラに会いましょう。リシャブはデータを効果的に活用するための幅広い専門知識と情熱を持っています。彼は先進技術を活用して革新を起こし、貴重な洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしいものであり、アナリティクスとデータサイエンスの分野を変革してきました。彼の功績と貢献を探ってみましょう。それがGoogleの成功を新たな高みに導いたものです。リシャブから学ぼう！ AV：Googleでデータサイエンティストになるまでの道のりを共有していただけますか？今の地位に至るまでにどのようなステップを踏みましたか？リシャブ氏：私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートさせ、それ以来データの分野で働いてきました。ですので、SQL、Python、データモデリング、プレゼンテーションスキル、そしてTableauのようなツールなど、最初に必要なステップはこれらの言語やスキルを学ぶことです。そしてその後、数学や理論の学習に深く入り込んでプロジェクトを行う人もいますが、私は実践して理解するという方法が最も効果的だと感じます。私が取ったいくつかの重要なステップは以下です： Analytics Vidhyaのようなプラットフォームでの素晴らしいコースを受講すること自分の役割でデータサイエンスのスキルを活かせる機会を見つけること情熱を持ってプロジェクトに取り組むことビジネスとの緊密な連携を図り、ビジネスについて学ぶこと自分の知識を他の人と共有することで、概念をより良く理解することネットワーキングを通じて他の人から学ぶこと Google Cloudの技術を習得することデータサイエンティストを目指す人のためのスキル AV：成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように開発しましたか？リシャブ氏：成功したデータサイエンティストとして、私は次のスキルがデータサイエンティストを目指す人にとって最も重要だと考えています：技術的スキル：これには強固な数学、統計学、プログラミングの基礎が含まれます。データサイエンティストはデータを収集、クリーニング、分析、可視化する能力が必要です。また、機械学習やディープラーニングの技術にも精通している必要があります。問題解決スキル：データサイエンティストはデータを用いて問題を特定し、解決する能力が必要です。彼らは批判的かつ創造的に考え、新しい革新的な解決策を提案する必要があります。コミュニケーションスキル：データサイエンティストは技術的、非技術的な双方のオーディエンスに対して自分の発見を伝えることができる必要があります。複雑な概念を明確かつ簡潔に説明する能力が求められます。チームワークスキル：データサイエンティストはしばしば他のデータサイエンティスト、エンジニア、ビジネスプロフェッショナルと共同でプロジェクトに取り組みます。彼らは効果的に協力し、共通の目標に向かって働く必要があります。私はこれらのスキルをコースを受講したり、個人プロジェクトに取り組んだり、他のデータサイエンティストとネットワーキングを行ったり、彼らの経験から学んだりすることで開発しました。データサイエンティストを目指す人は避けるべき間違い…

「アメリカ軍がジェネレーティブAIを試す」

アメリカ国防総省は、軍事利用のためのデータ統合とデジタルプラットフォームの開発を目指して、5つの大規模言語モデルのテストを行っています

Learn more about Search Results Loom - Page 12