Search Results 2022年

「ChatGPTは旧聞です：ここにはあなたの仕事を変革する8つのAIツールがあります」

2022年11月30日、OpenAIはChatGPTをリリースしましたChatGPTは自然言語を理解し、コードを書き、論理と推論に基づいて質問に答えることができるAIチャットボットです様々な分野の人々から…

生成AIにおける5つの倫理的考慮事項

現在のAIブームよりも前から、データサイエンティストたちは常に倫理的な懸念と考慮を心に抱いていました現在、創造的なAIの成長が一般の想像力に広がるにつれて、AIに関連するさまざまな問題が浮かび上がり、これらの懸念はさらに増大していますAIが成長し続ける一方で、そこには...

🤗 AI Research Residency Programの発表

🤗研究リジデンシープログラムは、機械学習研究のキャリアをスタートまたは進めるための9か月間の機会です🚀。リジデントの目標は、影響力のあるAI研究者に成長することを支援することです。リジデントは、私たちのScienceチームの研究者たちと共に働きます。一緒に、研究問題を選び、それを解決するための新しい機械学習技術をオープンで協力的な方法で開発します。最終的には、あなたの研究成果を発表し、広い範囲の人々に知ってもらえるようにすることを目指しています。あらゆるバックグラウンドの応募者を歓迎します！理想的には、研究経験があり、私たちの使命である責任ある機械学習を民主化することに興味を持っています。私たちの分野の進歩は、既存の格差を不均衡に拡大する可能性があります。これは、社会の中で最も弱者とされる人々、特に有色人種、労働者階級の出身者、女性、LGBTQ+の人々にとって不利な影響を与える可能性があります。これらのコミュニティは、私たちの研究コミュニティの取り組みの中心に置かれるべきです。したがって、これらのアイデンティティを反映する個人の経験を持つ人々からの提案を強く奨励します。明確でポジティブな社会的影響を示すAIに関連する応募も歓迎します。申し込み方法あなたの仕事の焦点が機械学習技術の開発になるため、応募書類にはプログラミングスキルや微分積分や線形代数などの必修科目の証拠、またはプログラミングと数学の能力を示すオープンソースプロジェクトへのリンクが必要です。さらに重要なのは、あなたの応募書類がAIを通じてポジティブな変化をもたらすことに興味を持つことです。これは、特にあなたにとって興味深いトピックから派生するものであり、機械学習がどのように貢献できるかを具体的に捉えた提案です。MLツールが必要な場所を理解し、データを収集し、結果を展開するまでのすべてのプロセスを考えることは、あなたのプロジェクトをより影響力のあるものにするのに役立ちます。私たちは多様性、公平性、包括性を重視する文化を築くために積極的に取り組んでいます。私たちは、尊重され、サポートされる職場を意図的に構築しています。あなたが誰であるか、どこから来たのかに関係なく、これが優れた会社やコミュニティを築くための基盤であると信じています。Hugging Faceはチャンス均等の雇用主であり、人種、宗教、肌の色、国籍、性別、性的指向、年齢、結婚状況、退役軍人の地位、または障害の地位に基づいて差別しません。ここで応募を提出してください。よくある質問プログラムを兼業できますか？いいえ。リジデンシーはフルタイムのポジションとしてのみ提供されます。数年間学校を卒業していますが、応募できますか？はい。さまざまなバックグラウンドからの応募を検討します。リジデンシー中に大学の学生として在籍したり、他の雇用主で働いたりすることはできますか？いいえ、リジデンシーは他の義務と同時には完了できません。リジデンシー中に福利厚生を受けることはできますか？はい、リジデントはほとんどの福利厚生を受ける資格があります（場所による）。このリジデンシーのために引っ越す必要がありますか？絶対に必要ありません！私たちは分散型チームであり、現在の場所から作業することを歓迎します。締め切りはありますか？ 2022年4月3日に応募締め切りです！

Habana LabsとHugging Faceが提携し、Transformerモデルのトレーニングを加速化する

2022年4月12日、カリフォルニア州サンタクララとサンフランシスコ深層学習によって駆動されるトランスフォーマーモデルは、自然言語処理、コンピュータビジョン、音声など、さまざまな機械学習タスクで最先端のパフォーマンスを発揮します。しかし、大規模なトレーニングは多くの計算能力を必要とするため、全体のプロセスが不必要に長く、複雑で、高コストになることがあります。今日、高効率な専用のディープラーニングプロセッサを提供するパイオニアであるHabana® Labsと、トランスフォーマーモデルの開発元であるHugging Faceは、優れた品質のトランスフォーマーモデルのトレーニングをより簡単かつ迅速にするために協力しています。HabanaのSynapseAIソフトウェアスイートとHugging Face Optimumオープンソースライブラリの統合により、データサイエンティストや機械学習エンジニアはわずか数行のコードでHabanaプロセッサ上でトランスフォーマーモデルのトレーニングジョブを加速し、生産性を向上させながらトレーニングコストを削減することができます。 AmazonのEC2 DL1インスタンスとSupermicroのX12 Gaudi AI Training Serverを駆動するHabana Gaudiトレーニングソリューションは、同等のトレーニングソリューションに比べて最大40%低い価格/パフォーマンスを提供し、より少ない費用でより多くのトレーニングを実現します。Gaudiプロセッサごとに10の100ギガビットイーサネットポートを統合することにより、システムのスケーリングを容易かつ費用効果的に1から数千のGaudiに拡張することができます。HabanaのSynapseAI®は、Gaudiのパフォーマンスと使いやすさに最適化され、TensorFlowとPyTorchのフレームワークをサポートし、コンピュータビジョンと自然言語処理のアプリケーションに特化しています。 GitHubで60,000以上のスター、30,000以上のモデル、毎月数百万の訪問数を誇るHugging Faceは、オープンソースソフトウェアの歴史で最も急成長しているプロジェクトの一つであり、機械学習コミュニティの頼れる場所です。 Hugging Faceのハードウェアパートナープログラムにより、Gaudiの高度なディープラーニングハードウェアと究極のトランスフォーマーツールセットが提供されます。このパートナーシップにより、Habana Gaudiトレーニングトランスフォーマーモデルライブラリの急速な拡大が可能となり、自然言語処理、コンピュータビジョン、音声など、さまざまな顧客のユースケースにGaudiの効率性と使いやすさをもたらします。「Gaudiトレーニングプラットフォームの効率性、使いやすさ、スケーラビリティの恩恵を受けるトランスフォーマーモデルの需要の増大に対応するために、Hugging Faceとその多くのオープンソース開発者とパートナーシップを結ぶことを楽しみにしています」とHabana Labsのソフトウェア製品マネージメント責任者であるSree Ganesanは述べています。「Habana…

教育のためのHugging Faceをご紹介します 🤗

機械学習がソフトウェア開発の圧倒的な割合を占めること、非技術的な人々がますますAIシステムに触れることを考えると、AIの主な課題の1つは従業員のスキルを適応・向上させることです。また、AIの倫理的および重要な問題を積極的に考慮するために教育スタッフをサポートする必要があります。 Hugging Faceは機械学習を民主化するオープンソース企業として、世界中のあらゆるバックグラウンドの人々に教育を提供することが重要だと考えています。私たちは2022年3月にMLデモクラタイゼーションツアーを開始し、Hugging Faceの専門家が16カ国の1000人以上の学生に対して実践的な機械学習クラスを教えました。新しい目標は、「2023年末までに500万人に機械学習を教える」ことです。このブログ記事では、教育に関する目標達成方法の概要を提供します。 🤗 すべての人のための教育 🗣️ 私たちの目標は、機械学習の可能性と限界を誰にでも理解してもらうことです。これによって、これらの技術の応用が社会全体にとって正味の利益につながる方向へ進化すると信じています。私たちの既存の取り組みの一部の例：私たちはMLモデルのさまざまな使い方（要約、テキスト生成、物体検出など）を非常にわかりやすく説明しています。モデルページのウィジェットを通じて、誰でも直接ブラウザでモデルを試すことができるようにしています。そのため、それを行うための技術的なスキルの必要性を低下させています（例）。システムで特定された有害なバイアスについてドキュメント化し、警告しています（GPT-2など）。誰でも1クリックでMLの潜在能力を理解できるオープンソースのMLアプリを作成するためのツールを提供しています。 🤗 初心者向けの教育 🗣️ 私たちは、オンラインコース、実践的なワークショップ、その他の革新的な技術を提供することで、機械学習エンジニアになるためのハードルを下げたいと考えています。私たちは自然言語処理（NLP）やその他のドメインについての無料コースを提供しています（近日中に）。これらのコースでは、Hugging Faceエコシステムの無料ツールやライブラリを使用して学ぶことができます。このコースの最終目標は、（ほぼ）どんな機械学習の問題にもTransformerを適用する方法を学ぶことです！私たちはDeep Reinforcement Learningについての無料コースを提供しています。このコースでは、理論と実践でDeep…

学生アンバサダープログラムの応募受付が開始されました！

オープンソースの企業であり、機械学習の民主化を目指すHugging Faceは、世界中のさまざまなバックグラウンドを持つ人々にオープンソースの機械学習を教えることが不可欠だと考えています。 2023年までに500万人に機械学習を教えることを目指しています。あなたは機械学習を勉強していますか、または既にコミュニティで機械学習を普及させていますか？ Hugging Faceと一緒に機械学習の民主化の取り組みに参加し、キャンパスコミュニティにHugging Faceを使用したMLモデルの構築方法を紹介したいですか？もしもそうであれば、私たちはあなたの取り組みをサポートするために、初の学生アンバサダープログラムを立ち上げます 🤗 🥳 以下のことをしたい場合は、学生アンバサダープログラムは素晴らしい機会です。仲間をサポートして彼らの機械学習の道を手助けする無料でオープンソースの技術を学び使う繁栄するエコシステムに貢献するコミュニティの価値観を共有しながらコミュニティを育てることに熱心である学生アンバサダープログラムはあなたにとって絶好の機会です。応募期限は2022年6月13日までです！プログラムへの参加のメリットは何ですか？ 🤩 選ばれたアンバサダーは以下のリソースとサポートを受けることができます： 🎎 コラボレーションできる仲間のネットワーク。 🧑🏻‍💻 Hugging Faceチームからのワークショップとサポート！…

ハギングフェイスフェローシッププログラムの発表

フェローシップは、さまざまなバックグラウンドを持つ優れた人々のネットワークであり、機械学習のオープンソースエコシステムに貢献しています🚀。このプログラムの目標は、主要な貢献者に力を与え、彼らの影響力をスケールさせると同時に、他の人々にも貢献を促すことです。フェローシップの仕組み 🙌🏻 これはHugging Faceが貢献者の素晴らしい仕事をサポートしています！フェローであることは、すべての人にとって異なる方法で機能します。重要な質問は次のとおりです： ❓ 貢献者がより大きな影響を持つためには何が必要ですか？ Hugging Faceは彼らが常にやりたかったプロジェクトを実現できるようにどのようにサポートできますか？あらゆるバックグラウンドのフェローを歓迎します！機械学習の進歩は草の根の貢献に依存しています。それぞれの人には、さまざまな方法でこの分野を民主化するために使用できる独自のスキルと知識があります。それぞれのフェローは異なる方法で影響を与え、それは完璧です🌈。 Hugging Faceは彼らが最も必要とする方法で創造し、共有し続けることをサポートします。フェローシップに参加することの利点は何ですか？ 🤩 利点は個々の興味に基づきます。Hugging Faceがフェローをサポートする例をいくつか紹介します： 💾 コンピューティングとリソース 🎁 マーチャンダイズと資産。 ✨ Hugging Faceからの公式な認知。フェローになるには…

研究ライフサイクルの中心に倫理的な原則を置く

倫理規定 – マルチモーダルプロジェクト倫理規定の目的機械学習の研究や応用は「データプライバシーの問題、アルゴリズムのバイアス、自動化のリスク、悪意のある利用」（NeurIPS 2021倫理ガイドライン）を引き起こす可能性があることがよく文献化されています。この短い文書の目的は、私たち（Hugging Faceのマルチモーダル学習グループ）が追求しているプロジェクトに対して採用する倫理原則を明確化することです。プロジェクトの初めにこれらの倫理原則を定義することで、それらを機械学習のライフサイクルの中核に位置づけます。プロジェクトで行っている意思決定、システムのどの側面に取り組んでいるか、チームへの連絡方法について透明性を持ち、プロセスの早い段階でフィードバックを受けることで、意味のある変更を行い、目標とする目標と取り込むべき価値観を意識した選択についての議論を行いたいと考えています。この文書は、Hugging Faceのマルチモーダル学習グループ（機械学習研究者とエンジニアで構成される）による議論の結果であり、倫理の実施、データガバナンス、個人のプライバシーに関する複数の専門家の貢献を受けています。この倫理規定の制約この文書は進行中の作業であり、2022年5月の反省の状態を反映しています。現時点では「倫理的なAI」についての合意や公式の定義は存在せず、私たちの考えも時間とともに変わる可能性が非常に高いです。更新がある場合は、GitHubを通じて変更を直接反映し、変更の理由と更新履歴を提供します。この文書は倫理的なAIのベストプラクティスについての真実の情報源とすることを意図していません。私たちは、不完全ではあるが、研究の影響、予見される潜在的な害、およびこれらの害を緩和するために取ることができる戦略について考えることが、機械学習コミュニティにとって正しい方向に進むと信じています。プロジェクト全体を通じて、この文書で説明されている価値観をどのように実施しているか、およびプロジェクトの文脈で観察される利点と制約を文書化します。コンテンツポリシー最先端のマルチモーダルシステムを研究することで、私たちはこのプロジェクトの一環として目指す技術の悪用をいくつか予測しています。以下は、最終的に防止したい使用例に関するガイドラインを提供しています：暴力、嫌がらせ、いじめ、害、憎悪、差別など、人に害を及ぼす性質のコンテンツや活動の宣伝。性別、人種、年齢、能力の状態、LGBTQA+の指向、宗教、教育、社会経済的地位、その他の敏感なカテゴリ（性差別/女性嫌悪、カースト制度、人種差別、障害差別、トランスフォビア、同性愛嫌悪）に基づく特定のアイデンティティのサブポピュレーションに対する偏見。規制、プライバシー、著作権、人権、文化的権利、基本的権利、法律、およびその他の文書の侵害。個人を特定できる情報の生成。責任を持たずに虚偽の情報を生成し、他の人を傷つける目的で行うこと。医療、法律、金融、移民などの高リスク領域でのモデルの無謀な使用 – これらは基本的に人々の生活を損なう可能性があります。プロジェクトの価値観透明性を持つ：私たちは意図、データの情報源、ツール、および意思決定について透明性を持ちます。透明性を持つことで、私たちはコミュニティに自分たちの作業の弱点を公開し、責任を持ち、説明責任を果たすことができます。オープンで再現可能な作業を共有する：オープン性にはプロセスと結果の2つの側面があります。データ、ツール、実験条件の正確な説明を共有することは、良い研究の実践だと考えています。ツールやモデルのチェックポイントを含む研究資源は、すべての人に差別なく（宗教、民族、性的指向、性別、政治的指向、年齢、能力など）、対象範囲内で使用できるようにアクセスできるようにする必要があります。私たちは、研究が機械学習研究コミュニティ以外の観客にも簡単に説明できるようにすることをアクセシビリティと定義しています。…

注釈付き拡散モデル

このブログ記事では、Denoising Diffusion Probabilistic Models（DDPM、拡散モデル、スコアベースの生成モデル、または単にオートエンコーダーとも呼ばれる）について詳しく見ていきます。これらのモデルは、(非)条件付きの画像/音声/ビデオの生成において、驚くべき結果が得られています。具体的な例としては、OpenAIのGLIDEやDALL-E 2、University of HeidelbergのLatent Diffusion、Google BrainのImageGenなどがあります。この記事では、（Hoら、2020）による元のDDPMの論文を取り上げ、Phil Wangの実装をベースにPyTorchでステップバイステップで実装します。なお、このアイデアは実際には（Sohl-Dicksteinら、2015）で既に導入されていました。ただし、改善が行われるまでには（Stanford大学のSongら、2019）を経て、Google BrainのHoら、2020）が独自にアプローチを改良しました。拡散モデルにはいくつかの視点がありますので、ここでは離散時間（潜在変数モデル）の視点を採用していますが、他の視点もチェックしてください。さあ、始めましょう！ from IPython.display import Image Image(filename='assets/78_annotated-diffusion/ddpm_paper.png') まず必要なライブラリをインストールしてインポートします（PyTorchがインストールされていることを前提としています）。 !pip install -q -U…

BLOOMトレーニングの技術背後

近年、ますます大規模な言語モデルの訓練が一般的になってきました。これらのモデルがさらなる研究のために公開されていない問題は頻繁に議論されますが、そのようなモデルを訓練するための技術やエンジニアリングについての隠された知識は滅多に注目されません。本記事では、1760億パラメータの言語モデルBLOOMを例に、そのようなモデルの訓練の裏側にあるハードウェアとソフトウェアの技術とエンジニアリングについて、いくつかの光を当てることを目指しています。しかし、まず、この素晴らしい1760億パラメータモデルの訓練を可能にするために貢献してくれた企業や主要な人物やグループに感謝したいと思います。その後、ハードウェアのセットアップと主要な技術的な構成要素について説明します。以下はプロジェクトの要約です：人々このプロジェクトは、Hugging Faceの共同創設者でありCSOのThomas Wolf氏が考案しました。彼は巨大な企業と競争し、単なる夢だったものを実現し、最終的な結果をすべての人にアクセス可能にすることで、最も多くの人々にとっては夢であったものを実現しました。この記事では、モデルの訓練のエンジニアリング側に特化しています。BLOOMの背後にある技術の最も重要な部分は、私たちにコーディングと訓練の助けを提供してくれた専門家の人々と企業です。感謝すべき6つの主要なグループがあります： HuggingFaceのBigScienceチームは、数人の専任の従業員を捧げ、訓練を始めから終わりまで行うための方法を見つけるために、Jean Zayの計算機を超えるすべてのインフラストラクチャを提供しました。 MicrosoftのDeepSpeedチームは、DeepSpeedを開発し、後にMegatron-LMと統合しました。彼らの開発者たちはプロジェクトのニーズに多くの時間を費やし、訓練前後に素晴らしい実践的なアドバイスを提供しました。 NVIDIAのMegatron-LMチームは、Megatron-LMを開発し、私たちの多くの質問に親切に答えてくれ、一流の実践的なアドバイスを提供しました。ジャン・ゼイのスーパーコンピュータを管理しているIDRIS / GENCIチームは、計算リソースをプロジェクトに寄付し、優れたシステム管理のサポートを提供しました。 PyTorchチームは、このプロジェクトのために基礎となる非常に強力なフレームワークを作成し、訓練の準備中に私たちをサポートし、複数のバグを修正し、PyTorchコンポーネントの使いやすさを向上させました。 BigScience Engineeringワーキンググループのボランティアプロジェクトのエンジニアリング側に貢献してくれたすべての素晴らしい人々を全て挙げることは非常に困難なので、Hugging Face以外のいくつかの主要な人物を挙げます。彼らはこのプロジェクトのエンジニアリングの基盤となりました。 Olatunji Ruwase、Deepak…

Learn more about Search Results 2022年 - Page 33