Search Results リポジトリ

APIワールド2023：API、AI、および秘密のセキュリティを結集する

「API World 2023は、ベストプラクティスの洞察を共有し、すべての資産を考慮すること、そしてAPI駆動型の世界におけるAIとAPIセキュリティの重要性についてでした」

ピザの味を最大限に引き出すために

多くの人々はピザが好きで、辛いものやヴィーガン、ベジタリアン、ペスカタリアン、肉食、マキャヴェリアン、あるいはシンプルなチーズ好きなど、さまざまな好みがあります考えてみてください...

データサイエンスプロジェクトにおけるGitHubのトップ5の代替案

「このブログでは、GitHubが提供する以上の大規模データセット、モデル、ワークフロー、およびコラボレーションの専門的な機能を持つデータサイエンティスト向けに設計された5つのプラットフォームについて議論しています」

Data science

「Amazon SageMaker ClarifyとMLOpsサービスを使用して、LLM評価をスケールで運用化する」

ここ数年、大規模言語モデル（LLM）は類稀なる能力を持ち、テキストの理解、生成、操作が可能な優れたツールとして注目されてきましたその潜在能力は、会話エージェントからコンテンツ生成、情報検索まで広範囲にわたり、あらゆる産業を革新する可能性を秘めていますしかし、この潜在能力を生かす一方で、責任ある利用と...

リアルタイムなSlackボットを生成的AIで構築する

「Apache NiFi、LLM、Foundation Models、およびストリーミングを使用して、クールなSlackbotを構築する方法を学びましょうモデルの選択肢と統合についても取り上げます」

「PDFドキュメントを使用したオブジェクト検出のためのカスタムDetectron2モデルの訓練と展開（パート1：訓練）」

「私は半年ほど、PDF文書を機械読み取り可能にすることで、少なくともセクションを特定するテキストである見出し/タイトルが読み取れるようにするビジネスケースを解決しようと取り組んできました」

「検索強化生成の力：BaseとRAG LLMs with Llama2の比較」

「ランチェーンとHugging Faceの統合を使用したカスタムユースケースのための事前トレーニング済みLLMの詳細解説とRAGアプローチによるテーラリング」

意図しない漏洩から敏感なデータを保護するための8つのツール

今日のデジタルな広大でつながった世界では、私たちが作成、保存、共有するデータの量は膨大ですデータの保護においては、長い道のりを歩んできましたが、しばしば見落とされるプライベートデータがソースコードに漏洩するという、ひっそりとしたが深刻な問題がありますこの地味だけど深刻な問題は、、、

「OpenAIモデルに対するオープンソースの代替手段の探索」

序文 AIの領域では、11月はドラマチックな展開がありました。GPTストアやGPT-4-turboのローンチ、そしてOpenAIの騒動まで、まさに忙しい一ヶ月でした。しかし、ここで重要な問題が浮かび上がります：クローズドモデルとその背後にいる人々はどれだけ信頼できるのでしょうか？自分が実際に運用しているモデルが内部の企業ドラマに巻き込まれて動作停止するのは快適な体験とは言えません。これはオープンソースモデルでは起こらない問題です。展開するモデルには完全な管理権限があります。データとモデルの両方に対して主権を持っています。しかし、OSモデルをGPTと置き換えることは可能でしょうか？幸いなことに、既に多くのオープンソースモデルが、GPT-3.5モデル以上の性能を発揮しています。本記事では、オープンソースのLLM（Large Language Models）およびLMM（Large Multi-modal Models）の最高の代替品をいくつか紹介します。学習目標オープンソースの大規模言語モデルについての議論。最新のオープンソース言語モデルとマルチモーダルモデルについての探求。大規模言語モデルを量子化するための簡易な導入。 LLMをローカルおよびクラウド上で実行するためのツールやサービスについて学ぶ。この記事は、データサイエンスブログマラソンの一環として公開されました。オープンソースモデルとは何ですかモデルがオープンソースと呼ばれるのは、モデルの重みとアーキテクチャが自由に利用できる状態にあるからです。これらの重みは、例えばMeta’s Llamaのような大規模言語モデルの事前訓練パラメータです。これらは通常、ファインチューニングされていないベースモデルやバニラモデルです。誰でもこれらのモデルを使用し、カスタムデータでファインチューニングして下流のアクションを実行することができます。しかし、それらはオープンなのでしょうか？データはどうなっているのでしょうか？多くの研究所は、著作権に関する懸念やデータの機密性の問題などの理由から、ベースモデルの訓練データを公開しません。これはまた、モデルのライセンスに関する部分にも関連しています。すべてのオープンソースモデルは、他のオープンソースソフトウェアと同様のライセンスが付属しています。Llama-1などの多くのベースモデルは非商用ライセンスとなっており、これらのモデルを利用して収益を上げることはできません。しかし、Mistral7BやZephyr7Bなどのモデルは、Apache-2.0やMITライセンスが付属しており、どこでも問題なく使用することができます。オープンソースの代替品 Llamaのローンチ以来、オープンソースの領域ではOpenAIモデルに追いつこうとする競争が繰り広げられています。そしてその結果は今までにないものでした。GPT-3.5のローンチからわずか1年で、より少ないパラメータでGPT-3.5と同等またはそれ以上のパフォーマンスを発揮するモデルが登場しました。しかし、GPT-4は依然として理性や数学からコード生成までの一般的なタスクには最も優れたモデルです。オープンソースモデルのイノベーションと資金調達のペースを見ると、GPT-4のパフォーマンスに近づくモデルが間もなく登場するでしょう。とりあえず、これらのモデルの素晴らしいオープンソースの代替品について話しましょう。 Meta’s Llama 2 Metaは今年7月にLlama-2という彼らの最高のモデルをリリースし、その印象的な能力により一瞬で人気を集めました。MetaはLlama-7b、Llama-13b、Llama-34b、Llama-70bの4つの異なるパラメータサイズのLlama-2モデルをリリースしました。これらのモデルは、それぞれのカテゴリにおいて他のオープンモデルを上回る性能を発揮しました。しかし、現在ではmistral-7bやZephyr-7bのような複数のモデルが、多くのベンチマークで小さなLlamaモデルを上回る性能を発揮しています。Llama-2 70bはまだそのカテゴリーで最高のモデルの一つであり、要約や機械翻訳などのタスクにおいてGPT-4の代替モデルとして価値があります。 Llama-2はGPT-3.5よりも多くのベンチマークで優れたパフォーマンスを発揮し、GPT-4に迫ることもできました。以下のグラフは、AnyscaleによるLlamaとGPTモデルのパフォーマンス比較です。…

「Bingチャットは、最新のリアルタイムな知識を提供する点でChatGPTを上回るのか？検索補完強化ジェネレーション（RAG）によるご紹介」

近年、大規模言語モデル（LLM）の開発により、人工知能（AI）と機械学習の分野において革新的な変化がもたらされました。これらのモデルは大衆やAIコミュニティから重要な注目を集め、自然言語処理、生成、理解において驚異的な進歩を遂げています。よく知られたChatGPTというLLMの最良の例は、OpenAIのGPTアーキテクチャに基づいており、人間がAIパワードの技術と対話する方法を変えました。 LLMは、テキスト生成、質問応答、テキスト要約、言語翻訳などのタスクにおいて優れた能力を示していますが、それでも独自の欠点があります。これらのモデルは、時に正確でない情報や時代遅れの情報として出力することがあります。さらに、適切なソースの引用がない場合、LLMによって生成された出力の信頼性を検証することが困難になることがあります。 Retrieval Augmented Generation（RAG）とは何ですか？ Retrieval Augmented Generation（RAG）という手法は、上記の制限に対処しています。RAGは、外部知識ベースから事実を収集し、大規模言語モデルが正確かつ最新の情報にアクセスできるようにする人工知能ベースのフレームワークです。外部知識の取り込みにより、RAGはLLMを変革することができました。RAGは従来のLLMの制限を解消し、外部検索と生成手法をスムーズに組み合わせることにより、より信頼性のある、文脈に敏感な、知識のあるAIによるコミュニケーション環境を保証します。 RAGの利点応答の品質向上 – Retrieval Augmented Generationは、不一致のあるLLM生成の応答問題に焦点を当て、より正確で信頼性のあるデータを保証します。最新の情報の取得 – RAGは外部情報を内部表現に統合することで、LLMが最新かつ信頼性のある事実にアクセスできるようにします。これにより、回答が最新の知識に基づいており、モデルの正確性と関連性が向上します。透明性 – RAGの実装により、ユーザーはLLMベースのQ&Aシステムにおけるモデルのソースを取得できます。ユーザーに文の整合性を検証する機能を提供することで、LLMは透明性を促進し、提供するデータへの信頼性を高めます。情報の欠落と幻覚の減少 – RAGは、LLMを独立かつ検証可能な事実に基づいて構築することにより、モデルが機密情報を漏洩したり、誤った結果を生成する可能性を低減します。より信頼性のある外部知識ベースに依存することで、LLMが情報を誤解する可能性を減らします。…

Learn more about Search Results リポジトリ - Page 10