Search Results GitHub

「データエンジニアリングをマスターするための5つの無料コース」

データエンジニアは、データを活用した会社において、データのワークフロー全体に必要なインフラとツールを準備・管理する必要があります

Data Engineering

「Amazon SageMaker ClarifyとMLOpsサービスを使用して、LLM評価をスケールで運用化する」

ここ数年、大規模言語モデル（LLM）は類稀なる能力を持ち、テキストの理解、生成、操作が可能な優れたツールとして注目されてきましたその潜在能力は、会話エージェントからコンテンツ生成、情報検索まで広範囲にわたり、あらゆる産業を革新する可能性を秘めていますしかし、この潜在能力を生かす一方で、責任ある利用と...

「Amazon SageMakerスマートシフティングを使用して、ディープラーニングモデルのトレーニングを最大35％高速化」

今日の急速に進化する人工知能の風景において、ディープラーニングモデルは革新の最前線に位置しており、コンピュータビジョン（CV）、自然言語処理（NLP）、および推薦システムなどの応用分野で使用されていますしかし、これらのモデルの学習や微調整に伴うコストの上昇は、企業にとって課題となっていますこのコストは主に[…]によって引き起こされています

Amazon SageMakerノートブックのジョブをスケジュールし、APIを使用してマルチステップノートブックのワークフローを管理します

Amazon SageMaker Studioは、データサイエンティストが対話的に構築、トレーニング、展開するための完全に管理されたソリューションを提供しますAmazon SageMakerのノートブックジョブを使用すると、データサイエンティストはSageMaker Studioで数回クリックするだけで、ノートブックを必要に応じて実行するか、スケジュールに従って実行することができますこの発表により、ノートブックをジョブとしてプログラムで実行することができます[...]

リアルタイムなSlackボットを生成的AIで構築する

「Apache NiFi、LLM、Foundation Models、およびストリーミングを使用して、クールなSlackbotを構築する方法を学びましょうモデルの選択肢と統合についても取り上げます」

「PDFドキュメントを使用したオブジェクト検出のためのカスタムDetectron2モデルの訓練と展開（パート1：訓練）」

「私は半年ほど、PDF文書を機械読み取り可能にすることで、少なくともセクションを特定するテキストである見出し/タイトルが読み取れるようにするビジネスケースを解決しようと取り組んできました」

意図しない漏洩から敏感なデータを保護するための8つのツール

今日のデジタルな広大でつながった世界では、私たちが作成、保存、共有するデータの量は膨大ですデータの保護においては、長い道のりを歩んできましたが、しばしば見落とされるプライベートデータがソースコードに漏洩するという、ひっそりとしたが深刻な問題がありますこの地味だけど深刻な問題は、、、

注釈の習得：LabelImgとのシームレスなDetectron統合

イントロダクションコンピュータビジョンの大局において、画像のラベリングや写真の注釈付けは困難でありました。私たちの調査は、LabelImgとDetectronのチームワークに深く入り込んでおり、正確な注釈付けと効率的なモデル構築を組み合わせた強力なデュオです。簡単で正確なLabelImgは、注意深い注釈付けでリーダーシップを発揮し、明確なオブジェクト検出のための堅固な基盤を築きます。 LabelImgを試行し、境界ボックスの描画についてのスキルを向上させると、Detectronにシームレスに移行します。この堅牢なフレームワークは、マークされたデータを整理し、高度なモデルのトレーニングに役立ちます。LabelImgとDetectronは、初心者からエキスパートまで、誰にでも簡単にオブジェクト検出を可能にします。マークされた各画像が視覚情報のフルパワーを解き放つのをお手伝いいたします。学習目標 LabelImgの使い方を学ぶ。環境のセットアップとLabelImgのインストール。 LabelImgの理解と機能。 VOCまたはPascalデータをCOCO形式に変換してオブジェクト検出する。この記事はData Science Blogathonの一環として発表されました。フローチャート環境のセットアップ 1. 仮想環境の作成： conda create -p ./venv python=3.8 -y このコマンドはPythonバージョン3.8を使用して、「venv」という名前の仮想環境を作成します。 2. 仮想環境のアクティブ化：…

タイムシリーズの異常値のデマイスティファイ：2/4

「私たちは、外れ値で密集した時系列データである#rovella関連のツイートから始め、平均と…という2つの基本的な情報だけを使用して、非常に直接的な方法でそれらを特定しました」

「OpenAIモデルに対するオープンソースの代替手段の探索」

序文 AIの領域では、11月はドラマチックな展開がありました。GPTストアやGPT-4-turboのローンチ、そしてOpenAIの騒動まで、まさに忙しい一ヶ月でした。しかし、ここで重要な問題が浮かび上がります：クローズドモデルとその背後にいる人々はどれだけ信頼できるのでしょうか？自分が実際に運用しているモデルが内部の企業ドラマに巻き込まれて動作停止するのは快適な体験とは言えません。これはオープンソースモデルでは起こらない問題です。展開するモデルには完全な管理権限があります。データとモデルの両方に対して主権を持っています。しかし、OSモデルをGPTと置き換えることは可能でしょうか？幸いなことに、既に多くのオープンソースモデルが、GPT-3.5モデル以上の性能を発揮しています。本記事では、オープンソースのLLM（Large Language Models）およびLMM（Large Multi-modal Models）の最高の代替品をいくつか紹介します。学習目標オープンソースの大規模言語モデルについての議論。最新のオープンソース言語モデルとマルチモーダルモデルについての探求。大規模言語モデルを量子化するための簡易な導入。 LLMをローカルおよびクラウド上で実行するためのツールやサービスについて学ぶ。この記事は、データサイエンスブログマラソンの一環として公開されました。オープンソースモデルとは何ですかモデルがオープンソースと呼ばれるのは、モデルの重みとアーキテクチャが自由に利用できる状態にあるからです。これらの重みは、例えばMeta’s Llamaのような大規模言語モデルの事前訓練パラメータです。これらは通常、ファインチューニングされていないベースモデルやバニラモデルです。誰でもこれらのモデルを使用し、カスタムデータでファインチューニングして下流のアクションを実行することができます。しかし、それらはオープンなのでしょうか？データはどうなっているのでしょうか？多くの研究所は、著作権に関する懸念やデータの機密性の問題などの理由から、ベースモデルの訓練データを公開しません。これはまた、モデルのライセンスに関する部分にも関連しています。すべてのオープンソースモデルは、他のオープンソースソフトウェアと同様のライセンスが付属しています。Llama-1などの多くのベースモデルは非商用ライセンスとなっており、これらのモデルを利用して収益を上げることはできません。しかし、Mistral7BやZephyr7Bなどのモデルは、Apache-2.0やMITライセンスが付属しており、どこでも問題なく使用することができます。オープンソースの代替品 Llamaのローンチ以来、オープンソースの領域ではOpenAIモデルに追いつこうとする競争が繰り広げられています。そしてその結果は今までにないものでした。GPT-3.5のローンチからわずか1年で、より少ないパラメータでGPT-3.5と同等またはそれ以上のパフォーマンスを発揮するモデルが登場しました。しかし、GPT-4は依然として理性や数学からコード生成までの一般的なタスクには最も優れたモデルです。オープンソースモデルのイノベーションと資金調達のペースを見ると、GPT-4のパフォーマンスに近づくモデルが間もなく登場するでしょう。とりあえず、これらのモデルの素晴らしいオープンソースの代替品について話しましょう。 Meta’s Llama 2 Metaは今年7月にLlama-2という彼らの最高のモデルをリリースし、その印象的な能力により一瞬で人気を集めました。MetaはLlama-7b、Llama-13b、Llama-34b、Llama-70bの4つの異なるパラメータサイズのLlama-2モデルをリリースしました。これらのモデルは、それぞれのカテゴリにおいて他のオープンモデルを上回る性能を発揮しました。しかし、現在ではmistral-7bやZephyr-7bのような複数のモデルが、多くのベンチマークで小さなLlamaモデルを上回る性能を発揮しています。Llama-2 70bはまだそのカテゴリーで最高のモデルの一つであり、要約や機械翻訳などのタスクにおいてGPT-4の代替モデルとして価値があります。 Llama-2はGPT-3.5よりも多くのベンチマークで優れたパフォーマンスを発揮し、GPT-4に迫ることもできました。以下のグラフは、AnyscaleによるLlamaとGPTモデルのパフォーマンス比較です。…

Learn more about Search Results GitHub - Page 16