Search Results Databricks

「ODSC Europe 2023のトップバーチャルセッションをこちらでご覧ください」

「ODSC Europeで最高の時間を過ごしました参加された皆さんも、現地またはオンラインで参加された皆さんも、同じように楽しんでいただけたことを願っています！参加できなかった方々のために、仮想会議のハイライトをいくつか共有したいと思います以下には、多くのハイライトの中からほんの一部をご紹介しています...」

Europe 2023

「ODSC Europe 2023の写真とハイライト」

ODSC Europe 2023から数週間が経ちましたが、最高のノートで去ることができました週はデータサイエンスのトップトピック、AIのイノベーションに関する魅力的なセッションで満ち、しばらく会っていなかった笑顔の顔もありました以下はODSCのハイライトです...

Europe 2023

2021年版のState of AIレポートが先週発表されました。そして、Kaggle State of Machine Learning and Data Science Surveyも同様です。これらのレポートには学びや議論の余地がたくさんありますが、いくつかのポイントが私の注意を引きました。「AIはますます国家の電力網やパンデミック中の自動スーパーマーケットの倉庫計算など、ミッションクリティカルなインフラに適用されています。しかし、成熟度が急速に成長する展開の巨大さに追いついているかどうかについては疑問があります。」機械学習を活用したアプリケーションがITのあらゆる分野に広がっていることは否定できません。しかし、それは企業や組織にとってどういう意味を持つのでしょうか？どのように堅牢な機械学習ワークフローを構築すれば良いのでしょうか？私たちは皆、100人のデータサイエンティストを採用すべきなのでしょうか？それとも100人のDevOpsエンジニアを採用すべきなのでしょうか？「トランスフォーマーは、自然言語処理だけでなく、音声、コンピュータビジョン、さらにはタンパク質の構造予測など、機械学習の一般的なアーキテクチャとして登場しています。」古参の人々は、ITには銀の弾丸はないということを痛感してきました。それでも、トランスフォーマーのアーキテクチャは、さまざまな機械学習タスクにおいて非常に効率的です。しかし、機械学習の革新の猛烈なペースにどうやってついていけば良いのでしょうか？これらの最先端モデルを活用するためには、本当に専門的なスキルが必要なのでしょうか？それとももっと短い道でビジネス価値を創出する方法があるのでしょうか？さて、私の考えはこうです。マス向け機械学習！機械学習はどこにでもあります、少なくともそうしようとしています。数年前、Forbesは「ソフトウェアが世界を食べた、今度はAIがソフトウェアを食べる」と書きましたが、これは実際にはどういう意味なのでしょうか？もし、それが機械学習モデルが何千行もの化石化した旧式のコードを置き換えるべきだという意味なら、私は全面賛成です。邪悪なビジネスルールよ、死ね！では、機械学習が実際にソフトウェアエンジニアリングを置き換えるということでしょうか？現在、AIが生成したコードについて幻想が広がっており、バグやパフォーマンスの問題を見つけるなど、いくつかの技術は確かに興味深いものです。しかし、開発者を廃止することは考えるべきではありませんし、むしろ多くの開発者を力強くサポートするために取り組むべきです。そうすれば、機械学習はただの別の退屈なITのワークロードになるでしょう（退屈なテクノロジーは素晴らしいです）。言い換えれば、私たちが本当に必要としているのは、ソフトウェアが機械学習を食べることなのです！今回も変わらない私は長年にわたり、ソフトウェアエンジニアリングの10年以上前のベストプラクティスがデータサイエンスや機械学習にも適用されると主張してきました。バージョン管理、再利用性、テスト可能性、自動化、デプロイメント、モニタリング、パフォーマンス、最適化などです。しばらくは孤独だったのですが、予想外にGoogleの連携がありました：「機械学習は、あなたが偉大な機械学習の専門家ではなく、偉大なエンジニアとして機械学習を行うべきです。」- 『機械学習のルール』、Google また、車輪を再発明する必要はありません。DevOpsの運動はこれらの問題を10年以上前に解決しました。今や、データサイエンスと機械学習コミュニティは、これらの実証済みのツールとプロセスを遅延なく採用し、適応させるべきです。これが唯一の方法であり、本番環境で堅牢でスケーラブルかつ繰り返し可能な機械学習システムを構築することができます。もしMLOpsと呼ぶことが助けになるのなら、それも構いません：別のバズワードについて議論するつもりはありません。…

BERTopicとHugging Face Hubの統合をご紹介します

私たちは、BERTopic Pythonライブラリの重要なアップデートを発表して大変喜んでいます。これにより、トピックモデリングの愛好家や実践者のためのワークフローがさらに効率化され、機能が拡張されました。BERTopicは、Hugging Face Hubへのトレーニング済みトピックモデルの直接プッシュとプルをサポートするようになりました。この新しい統合により、BERTopicのパワーを生かして製品の使用例でのトピックモデリングが簡単に行えるようになりました。トピックモデリングとは何ですか？トピックモデリングは、ドキュメントのグループ内に隠れたテーマや「トピック」を明らかにするのに役立つメソッドです。ドキュメント内の単語を分析することで、これらの潜在的なトピックを明らかにするパターンや関連性を見つけることができます。たとえば、機械学習に関するドキュメントは、「勾配」や「埋め込み」といった単語を使用する可能性が高く、パンの焼き方に関するドキュメントとは異なります。各ドキュメントは通常、異なる比率で複数のトピックをカバーしています。単語の統計を調べることで、これらのトピックを表す関連する単語のクラスタを特定することができます。これにより、ドキュメントの分析と、それぞれのドキュメント内のトピックのバランスを決定することができます。より最近では、トピックモデリングの新しいアプローチでは、単語の使用ではなく、Transformerベースのモデルなど、より豊かな表現を使用するようになりました。 BERTopicとは何ですか？ BERTopicは、さまざまな埋め込み技術とc-TF-IDFを使用して、トピックモデリングのプロセスを簡素化し、重要な単語をトピックの説明に保持しながら、密なクラスタを作成する最新のPythonライブラリです。 BERTopicライブラリの概要 BERTopicは初心者でも簡単に始めることができますが、ガイド付き、教師付き、半教師付き、およびマニュアルトピックモデリングなど、トピックモデリングのさまざまな高度なアプローチをサポートしています。最近では、BERTopicはマルチモーダルトピックモデルもサポートしています。BERTopicには、視覚化ツールの豊富なセットもあります。 BERTopicは、テキストコレクション内の重要なトピックを明らかにするための強力なツールを提供し、貴重な洞察を得ることができます。BERTopicを使用すると、顧客のレビューを分析したり、研究論文を探索したり、ニュース記事をカテゴリ分けしたりすることが容易になります。テキストデータから意味のある情報を抽出したいと考えている人にとって、これは必須のツールです。 Hugging Face Hubを使用したBERTopicモデルの管理最新の統合により、BERTopicのユーザーはトレーニング済みのトピックモデルをHugging Face Hubにシームレスにプッシュおよびプルすることができます。この統合により、異なる環境でのBERTopicモデルの展開と管理が簡素化されるという重要なマイルストーンが達成されました。 BERTopicモデルのトレーニングとハブへのプッシュは、数行で行うことができます from bertopic import BERTopic topic_model…

MLモデルのトレーニングパイプラインの構築方法

手を挙げてください、もしもあなたがごちゃ混ぜのスクリプトをほどくのに時間を無駄にしたことがあるか、またはそう難解なバグを修正しようとしている間に幽霊を追いかけているような気持ちになったことがあるかそしてその間にモデルの訓練が永遠にかかっているという状況も経験したことがあるかもしれません私たちは皆、そんな経験をしたことがあるはずですよね？でも今、別のシナリオを思い浮かべてくださいきれいなコード効率的なワークフロー効率的なモデルの訓練信じられないほど素晴らしい光景ですよね…

ML Model Development

2023年のMLOpsの景色：トップのツールとプラットフォーム

2023年のMLOpsの領域に深く入り込むと、多くのツールやプラットフォームが存在し、モデルの開発、展開、監視の方法を形作っています総合的な概要を提供するため、この記事ではMLOpsおよびFMOps（またはLLMOps）エコシステムの主要なプレーヤーについて探求します...

電車利用者のためのリアルタイム混雑予測

オランダ鉄道を利用する旅行者は、オランダの鉄道機関のアプリを使用して旅程を計画することができます旅程を計画する際、その列車の混雑具合の予測がアプリ上で表示されます...

Amazon SageMakerを使用してSaaSプラットフォームを統合し、MLパワードアプリケーションを実現します

Amazon SageMakerは、データの受け入れ、変換、バイアスの測定、モデルのトレーニング、展開、および本番環境でのモデルの管理といった幅広い機能を備えたエンドツーエンドの機械学習（ML）プラットフォームですAmazon SageMaker Data Wrangler、Amazon SageMaker Studio、Amazon SageMaker Canvas、Amazon SageMaker Model Registry、Amazon SageMaker Feature Store、Amazon SageMakerなど、Amazon SageMakerは、最高クラスのコンピューティングとサービスを提供しています

企業がOpenAIのChatGPTに類似した自社の大規模言語モデルを構築する方法

最近の数年間で、言語モデルは大きな注目を集め、自然言語処理、コンテンツ生成、仮想アシスタントなど、さまざまな分野を革新しました最も注目されているのは、

生成AI：世界はどこに向かっているのか？

はじめにテクノロジーの絶え間ない進化の世界で、AI製品の開発と展開が急速に拡大していることを目撃しています。過去6か月間、大手のテック企業や野心的なスタートアップ企業が人工知能の分野で大きな進展を遂げてきました。マイクロソフトやOpenAIなどの企業が注目を集めている一方で、彼らは氷山の一角に過ぎないことを認識することが重要です。急速に成長しているエンタープライズAI産業で競争力を維持するために、事業は常に革新し、新たな可能性を探求しています。そのような戦略の一つは、他社との協力や非組織的な成長です。業界内の他の企業の専門知識とリソースを活用することで、事業は顧客向けに優れた製品やサービスを開発することができます。さらに、これらのパートナーシップは新たな市場や以前にアクセスできなかった機会を開くものです。合併、買収、そしてパートナーシップは、新しい技術、人材、顧客基盤へのアクセスを提供し、事業が提供するオファリングを拡大し、収益の多様化を図ることを可能にします。私の観点から見ると、現在のAIの進化サイクルは3つの異なるフェーズに分けることができます。それぞれが成長と進歩を推進しています。あらゆる技術の成長フェーズあらゆる技術は成長の初期段階、成熟期、時代遅れの3つのフェーズを経ます。出現：このフェーズでは、新しい技術が出現し注目を集めます。始まりは少数の先駆的な個人や組織が概念の探求と開発を行うことから始まることが多いです。このフェーズでは、応用が限定的で広範な認識や採用がないことがあります。主な焦点は研究、実験、概念の証明にあります。成長と拡大：技術が実力を示し、その可能性を証明すると、成長と拡大のフェーズに入ります。開発により、機能性、効率性、使いやすさが向上します。公共および私的セクターからの投資の増加が進歩を推進する重要な役割を果たします。このフェーズでは、技術がより広範に受け入れられ、多くの企業が市場に参入し、消費者が採用し始めます。革新と競争が活気づき、急速な進展と改善が生まれます。このフェーズはまた、協力や戦略的パートナーシップを引き起こします。成熟と統合：成熟フェーズでは、技術は業界や社会の確立された一部となります。成長率が安定し、進歩が革命的ではなく漸進的になるポイントに達します。技術は人々の生活や既存のシステムに深く統合されています。このフェーズでは優勝者が出始めます。標準化、最適化、相互運用性はこのフェーズで重要な焦点となります。重要なブレークスルーはまだ発生するかもしれませんが、初期のステージと比べると頻度は低くなります。では、技術としての生成AIが進化のどの段階にあるのか見ていきましょう。これらのフェーズを1つずつ探っていきましょう。詳細はこちら: 生成AI: 定義、ツール、モデル、利点などフェーズ1: 出現 – 新たなAIの時代の幕開け最近、AIは前例のない出現のフェーズを経験しています。また、重要な製品の導入と新たな時代の幕開けを特徴としています。特に、GPT-3（Generative Pre-trained Transformer 3）の導入は、この変革を促進する上で重要な役割を果たしています。その結果、ベンチャーキャピタルの投資がAIの景気づけに注ぎ込まれ、数多くのスタートアップ企業が資金調達を行い、画期的なAI製品を開発するためにAI競争に参加しています。フェーズ1は進行中のプロセスであり、少なくともさらなる6-12か月間は続くと予想されています。この初期フェーズでは、業界の革新者がチャンスを掴み、前進することが予想されます。OpenAIとマイクロソフトの協力が注目すべき例です。彼らの成功は、裏方で技術を磨くための膨大な努力と熱意に帰することができます。これらの組織は、この変革期にAIが提供する可能性を受け入れる者に待ち受ける潜在的な報酬の見本です。フェーズ1で達成された重要なマイルストーンについて詳しく知るには、次の注目すべき発表を参照してください。これらのマイルストーンは、この分野で行われた画期的な進展を証明し、AI革命の勢いが止まることのない未来が訪れる舞台を設定しています。…

Learn more about Search Results Databricks - Page 10