Search Results BLOOM

Googleのアナリティクスとデータサイエンスの領域を旅していく

イントロダクション Googleでアナリティクスとデータサイエンスの分野で優れた成果を挙げるプロフェッショナル、リシャブ・ディンドラに会いましょう。リシャブはデータを効果的に活用するための広範な専門知識と情熱を持っています。彼は先進技術を活用してイノベーションを推進し、価値ある洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしく、アナリティクスとデータサイエンスの分野を変革しました。彼の成果と貢献を探求して、Googleの成功を新たな高みに押し上げましょう。リシャブから学びましょう！ AV: Googleでデータサイエンティストになるまでの経歴を教えていただけますか？今の立場に至るためにどのようなステップを踏みましたか？リシャブ氏: 私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートし、それ以来データスペースで働いてきました。そのため、SQLやPythonなどの言語、データモデリング、プレゼンテーションスキル、およびTableauなどのツールの学習は、この旅の最初の必要なステップです。そして、数学と理論に深く入り込んでプロジェクトを行う人もいますが、私は実際にやってみてから概念を理解する方が最も効果的だと感じています。私にとって役立ったいくつかの重要なステップは次のとおりです： Analytics Vidhyaなどのプラットフォームでの素晴らしいコースを受講する Data Scienceのスキルを活用できる役割での機会を見つける自分の情熱のあるテーマでプロジェクトを行うビジネスとの緊密な連携とビジネスの理解自分の知識を他の人と共有することで概念をより良く理解するネットワーキングと他の人から学ぶこと Google Cloudの技術のスキルを獲得するデータサイエンティストを目指すためのスキル AV: 成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように磨きましたか？ ****リシャブ氏: 成功したデータサイエンティストとして、私はデータサイエンティストを目指す人にとって最も重要なスキルは次のとおりだと考えています：テクニカルスキル:…

「Googleのアナリティクスとデータサイエンスの領域を旅する」

紹介 Googleでアナリティクスとデータサイエンスの分野で優れたプロフェッショナルとして活躍するリシャブ・ディングラに会いましょう。リシャブはデータを効果的に活用するための幅広い専門知識と情熱を持っています。彼は先進技術を活用して革新を起こし、貴重な洞察を抽出し、データに基づく意思決定を革新しています。リシャブのGoogleでのキャリアは素晴らしいものであり、アナリティクスとデータサイエンスの分野を変革してきました。彼の功績と貢献を探ってみましょう。それがGoogleの成功を新たな高みに導いたものです。リシャブから学ぼう！ AV：Googleでデータサイエンティストになるまでの道のりを共有していただけますか？今の地位に至るまでにどのようなステップを踏みましたか？リシャブ氏：私は2011年にThorogood AssociatesでBIコンサルタントとしてキャリアをスタートさせ、それ以来データの分野で働いてきました。ですので、SQL、Python、データモデリング、プレゼンテーションスキル、そしてTableauのようなツールなど、最初に必要なステップはこれらの言語やスキルを学ぶことです。そしてその後、数学や理論の学習に深く入り込んでプロジェクトを行う人もいますが、私は実践して理解するという方法が最も効果的だと感じます。私が取ったいくつかの重要なステップは以下です： Analytics Vidhyaのようなプラットフォームでの素晴らしいコースを受講すること自分の役割でデータサイエンスのスキルを活かせる機会を見つけること情熱を持ってプロジェクトに取り組むことビジネスとの緊密な連携を図り、ビジネスについて学ぶこと自分の知識を他の人と共有することで、概念をより良く理解することネットワーキングを通じて他の人から学ぶこと Google Cloudの技術を習得することデータサイエンティストを目指す人のためのスキル AV：成功したデータサイエンティストとして、データサイエンティストを目指す人にとって最も重要なスキルは何ですか？これらのスキルをどのように開発しましたか？リシャブ氏：成功したデータサイエンティストとして、私は次のスキルがデータサイエンティストを目指す人にとって最も重要だと考えています：技術的スキル：これには強固な数学、統計学、プログラミングの基礎が含まれます。データサイエンティストはデータを収集、クリーニング、分析、可視化する能力が必要です。また、機械学習やディープラーニングの技術にも精通している必要があります。問題解決スキル：データサイエンティストはデータを用いて問題を特定し、解決する能力が必要です。彼らは批判的かつ創造的に考え、新しい革新的な解決策を提案する必要があります。コミュニケーションスキル：データサイエンティストは技術的、非技術的な双方のオーディエンスに対して自分の発見を伝えることができる必要があります。複雑な概念を明確かつ簡潔に説明する能力が求められます。チームワークスキル：データサイエンティストはしばしば他のデータサイエンティスト、エンジニア、ビジネスプロフェッショナルと共同でプロジェクトに取り組みます。彼らは効果的に協力し、共通の目標に向かって働く必要があります。私はこれらのスキルをコースを受講したり、個人プロジェクトに取り組んだり、他のデータサイエンティストとネットワーキングを行ったり、彼らの経験から学んだりすることで開発しました。データサイエンティストを目指す人は避けるべき間違い…

「アメリカ軍がジェネレーティブAIを試す」

アメリカ国防総省は、軍事利用のためのデータ統合とデジタルプラットフォームの開発を目指して、5つの大規模言語モデルのテストを行っています

AIはデータ専門家の役割にどのような影響を与えるのか？

編集者の注：Alanさんは、6月14日から15日に開催されるODSC Europeのスピーカーです彼の講演「AI時代のデータコミュニケーション」をぜひチェックしてください！2023年のAIとLLMsの潜在的な影響について書くことは、トラブルを招くことを意味しています予測は、黙示録的なものから...

Europe 2023

「ODSC Europe 2023の写真とハイライト」

ODSC Europe 2023から数週間が経ちましたが、最高のノートで去ることができました週はデータサイエンスのトップトピック、AIのイノベーションに関する魅力的なセッションで満ち、しばらく会っていなかった笑顔の顔もありました以下はODSCのハイライトです...

Europe 2023

7月20日に開催される無料の生成AIサミットで見逃せないセッションが発表されました

私たちの初のジェネレーティブAIサミットは、あと2週間で開催されます私たちは、多様な専門家、学者、業界リーダーなどを一堂に集め、この画期的な技術について議論することを心待ちにしていますサミット中に参加できるいくつかのセッションをご覧ください最近の進展について...

Generative AI Summit

機械学習インサイトディレクター【パート3：ファイナンスエディション】

もしMLソリューションをより速く構築したい場合は、hf.co/supportを今すぐご覧ください！ 👋 MLインサイトシリーズディレクター、ファイナンスエディションへようこそ！以前のエディションを見逃した場合は、以下で見つけることができます： Machine Learning Insightsディレクター[パート1] Machine Learning Insightsディレクター[パート2：SaaSエディション] ファイナンスの機械学習ディレクターは、レガシーシステムの航海、解釈可能なモデルの展開、および顧客の信頼の維持といった独自の課題に直面しています。また、政府の監督が多く、高度に規制されています。これらの課題には、効果的に導くために深い業界知識と技術的な専門知識が必要です。以下のアメリカン・バンク、カナダ王立銀行、ムーディーズ・アナリティクス、および元ブルームバーグAIの研究科学者からの専門家は、機械学習×ファイナンスセクター内のユニークな知見を提供しています。ギリシャのナショナルジュニアテニスチャンピオン、100以上の特許を取得した出版者、世界最古のポロクラブ（カルカッタポロクラブ）で定期的にプレーしていたサイクルポロプレーヤーなど、彼らはすべて金融MLの専門家に転身しました。 🚀 トップな金融MLマーベリックからの洞察をご紹介します：免責事項：すべての意見は個人のものであり、過去または現在の雇用主からのものではありません。イオアニス・バカギアニス – RBCの機械学習マーケティングサイエンスディレクターバックグラウンド：スケーラブルな、本番用の最先端の機械学習ソリューションを提供する経験豊富な情熱的な機械学習エキスパート。イオアニスはまた、Bak Up Podcastのホストでもあり、AIを通じて世界に影響を与えることを目指しています。おもしろい事実：イオアニスはギリシャのナショナルジュニアテニスチャンピオンでした。🏆 RBC：世界的な組織は、キャピタルマーケット、銀行および金融において革新的かつ信頼できるパートナーとしてRBCキャピタルマーケットを見ています。 1. 機械学習が金融にどのようなポジティブな影響をもたらしましたか？…

transformers、accelerate、bitsandbytesを使用した大規模トランスフォーマーの8ビット行列乗算へのやさしい入門

導入言語モデルはますます大きくなっています。この執筆時点では、PaLMは540Bのパラメータを持ち、OPT、GPT-3、およびBLOOMは約176Bのパラメータを持ち、さらに大きなモデルに向かっています。以下は、いくつかの最近の言語モデルのサイズを示した図です。したがって、これらのモデルは簡単にアクセス可能なデバイス上で実行するのが難しいです。例えば、BLOOM-176Bで推論を行うためには、8つの80GBのA100 GPU（各約15,000ドル）が必要です。BLOOM-176Bを微調整するには、これらのGPUが72台必要です！PaLMのようなさらに大きなモデルでは、さらに多くのリソースが必要です。これらの巨大なモデルは多くのGPUで実行する必要があるため、モデルの性能を維持しながらこれらの要件を削減する方法を見つける必要があります。モデルサイズを縮小するためのさまざまな技術が開発されており、量子化や蒸留などの技術があります。 BLOOM-176Bのトレーニングを完了した後、HuggingFaceとBigScienceでは、この大きなモデルをより少ないGPUで簡単に実行できるようにする方法を探していました。BigScienceコミュニティを通じて、大規模モデルの予測パフォーマンスを低下させずに大規模モデルのメモリフットプリントを2倍に減らすInt8推論の研究について知らされました。すぐにこの研究に協力し始め、Hugging Faceのtransformersに完全に統合することで終了しました。このブログ記事では、Hugging FaceモデルのLLM.int8()統合を提供し、詳細を以下で説明します。研究についてもっと読みたい場合は、論文「LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale」を読んでください。この記事では、この量子化技術の高レベルの概要を提供し、transformersライブラリへの統合の難しさを概説し、このパートナーシップの長期的な目標を立てます。ここでは、なぜ大きなモデルが多くのメモリを使用するのか、BLOOMが350GBになる理由について、少しずつ基本的な前提を説明します。機械学習で使用される一般的なデータ型まず、機械学習の文脈では「精度」とも呼ばれる異なる浮動小数点データ型の基本的な理解から始めます。モデルのサイズは、そのパラメータの数とその精度によって決まります。一般的には、float32、float16、またはbfloat16のいずれかのデータ型が使用されます（以下の画像は、https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format/から引用されています）。 Float32（FP32）は、標準化されたIEEE 32ビット浮動小数点表現を表します。このデータ型では、幅広い浮動小数点数を表現することが可能です。FP32では、8ビットが「指数」に、23ビットが「仮数」に、1ビットが数値の符号に予約されています。さらに、ほとんどのハードウェアはFP32の操作と命令をサポートしています。浮動小数点16ビット（FP16）のデータ型では、5ビットが指数に、10ビットが仮数に予約されています。これにより、FP16数の表現可能な範囲はFP32よりもはるかに低くなります。これにより、FP16数はオーバーフロー（非常に大きな数を表現しようとする）やアンダーフロー（非常に小さな数を表現する）のリスクにさらされます。例えば、10k…

OpenRAIL オープンで責任あるAIライセンスフレームワークに向けて

オープン&レスポンシブAIライセンス（「OpenRAIL」）は、後者の責任ある使用を求めながら、AIアーティファクトのオープンアクセス、使用、配布を可能にするAI特有のライセンスです。 OpenRAILライセンスは、現在のオープンソフトウェアライセンスがコードに対して、およびクリエイティブコモンズが一般コンテンツに対して行っていることと同様に、オープンで責任あるMLに対する広範なコミュニティライセンスツールです。機械学習と他のAI関連分野の進歩は、情報通信技術（ICT）セクターにおけるオープンソース文化の普及の一部によって、過去数年間で著しく発展してきました。これは、MLの研究開発ダイナミクスに浸透しています。イノベーションのための核としてのオープンさの利点にもかかわらず、（まだそうではない）最近の機械学習モデルの開発と使用に関する倫理的および社会経済的懸念に関連する出来事は明確なメッセージを広めています。オープンさだけでは十分ではありません。しかし、問題は、企業のプライベートAI開発プロセスの不透明性の下で問題が持続しているため、閉じたシステムも答えではありません。オープンソースライセンスはすべてに適合しません MLモデルのアクセス、開発、使用は、オープンソースライセンスのスキームに非常に影響を受けています。たとえば、ML開発者は、公式のオープンソースライセンスやその他のオープンソースソフトウェアまたはコンテンツライセンス（Creative Commonsなど）を添付して重みを利用可能にすると、非公式に「モデルのオープンソース化」と呼ぶことがあります。これは次の疑問を投げかけます：なぜ彼らはそれをやるのですか？MLアーティファクトとソースコードは本当に似ているのでしょうか？技術的な観点から十分に共有できるほど共有していますか（たとえば、Apache 2.0など）。ほとんどの現在のモデル開発者はそう考えているようですが、公開されたモデルの大部分はオープンソースライセンスを持っています（例：Apache 2.0）。たとえば、Hugging Face Model HubやMuñoz Ferrandis & Duque Lizarralde（2022）を参照してください。しかし、経験的な証拠は、オープンソース化と/またはフリーソフトウェアダイナミクスへの厳格なアプローチと、MLアーティファクトのリリースにおけるFreedom 0への公理的な信念が、MLモデルの使用における社会倫理的な歪みを生み出していることを示しています（Widder et al. (2022)参照）。より簡単に言えば、オープンソースライセンスは、モデルがソフトウェア/ソースコードとは異なるアーティファクトであることを考慮に入れず、MLモデルの責任ある使用を可能にするには適応されていないため、適応されていません。モデルのドキュメンテーション、透明性、倫理的な使用に専念した特定の特別なプラクティスが既に存在し、日々改善されています（例：モデルカード、評価ベンチマーク）。なぜ、MLモデルに関するオープンライセンスのプラクティスも、MLモデルから生じる特定の能力と課題に適応されていないのでしょうか？同様の懸念は、商業および政府のMLライセンスプラクティスでも浮上しています。Bowe & Martin（2022）の言葉によれば、「Anduril…

Megatron-LMを使用して言語モデルをトレーニングする方法

PyTorchで大規模な言語モデルをトレーニングするには、単純なトレーニングループだけでは不十分です。通常、複数のデバイスに分散しており、安定した効率的なトレーニングのための多くの最適化技術があります。Hugging Face 🤗 Accelerateライブラリは、トレーニングループに非常に簡単に統合できるように、GPUとTPUを跨いで分散トレーニングをサポートするために作成されました。🤗 TransformersもTrainer APIを介して分散トレーニングをサポートしており、トレーニングループの実装を必要とせずにPyTorchでの完全なトレーニングを提供します。大規模なトランスフォーマーモデルを事前トレーニングするための研究者の間でのもう一つの人気ツールはMegatron-LMです。これはNVIDIAのApplied Deep Learning Researchチームによって開発された強力なフレームワークです。🤗 AccelerateとTrainerとは異なり、Megatron-LMの使用は直感的ではなく、初心者には少し抵抗があるかもしれません。しかし、これはGPU上でのトレーニングに最適化されており、いくつかの高速化を提供することができます。このブログ記事では、Megatron-LMを使用してNVIDIAのGPU上で言語モデルをトレーニングし、それをtransformersと一緒に使用する方法を学びます。このフレームワークでGPT2モデルをトレーニングするためのさまざまなステップを紹介します。これには以下が含まれます。環境のセットアップデータの前処理トレーニングモデルの🤗 Transformersへの変換なぜMegatron-LMを選ぶのか？トレーニングの詳細に入る前に、他のフレームワークよりもこのフレームワークが効率的である理由を理解しましょう。このセクションは、Megatron-DeepSpeedでのBLOOMトレーニングについての素晴らしいブログから着想を得ています。詳細については参照してください。このブログ記事はMegatron-LMへの優しい入門を提供することを目的としています。データローダー Megatron-LMには、データがトークン化され、トレーニング前にシャッフルされる効率的なデータローダーが付属しています。また、データは番号付きのシーケンスに分割され、それらは計算が必要な場合にのみ計算されるようにインデックスで保存されます。インデックスを作成するために、エポック数はトレーニングパラメータに基づいて計算され、順序が作成され、その後シャッフルされます。これは通常の場合とは異なり、データセット全体を繰り返し処理してから2番目のエポックのために繰り返すというものです。これにより、学習曲線が滑らかになり、トレーニング中の時間が節約されます。組み込みCUDAカーネル GPU上で計算を実行する場合、必要なデータはメモリから取得され、計算が実行され、結果がメモリに保存されます。簡単に言えば、組み込みカーネルのアイデアは、通常はPyTorchによって別々に実行される類似の操作を、単一のハードウェア操作に統合することです。そのため、複数の個別の計算で行われるメモリ移動の回数を減らします。以下の図は、カーネルフュージョンのアイデアを示しています。これは、詳細について説明しているこの論文からインスピレーションを受けています。 f、g、hが1つのカーネルで結合された場合、fとgの中間結果x’とy’はGPUレジスタに保存され、hによって即座に使用されます。しかし、フュージョンがない場合、x’とy’はメモリにコピーされ、hによって読み込まれる必要があります。したがって、カーネルフュージョンは計算に著しいスピードアップをもたらします。Megatron-LMはまた、PyTorchの実装よりも高速なApexのFused…

Learn more about Search Results BLOOM - Page 12