Search Results リリース

T5 テキストからテキストへのトランスフォーマー（パート2）

BERT [5] の提案により、自然言語処理（NLP）のための転移学習手法の普及がもたらされましたインターネット上での未ラベル化されたテキストの広範な利用可能性により、私たちは...

ドキュメント指向エージェント：ベクトルデータベース、LLMs、Langchain、FastAPI、およびDockerとの旅

ChromaDB、Langchain、およびChatGPTを活用した大規模ドキュメントデータベースからの強化された応答と引用されたソース

2023年のトップDNSプライバシーツール

オンラインの世界は以前にも増して膨大なデータを利用できるようになった一方で、サイバー犯罪者が攻撃を行うのも容易になっています。ウェブを閲覧している際には、不注意なクリック一つでマルウェアをダウンロードしたり、フィッシング詐欺の被害に遭うことがあります。サイバー犯罪から身を守るため、企業はDNS保護ソリューションにますます頼るようになっています。ネットワーク向けのDNSセキュリティツールとしての私たちのトップピックは以下の通りです。 CleanBrowsing CleanBrowsingは、ユーザーのブラウザーに結果を返す前にインターネットのクエリをフィルタリングし、防止するDNSリゾルバです。URLからIPアドレスのマッピングのデータベースを保持する代わりに、DNSリゾルバはリモートのDNSサーバーからこの情報を要求します。CleanBrowsingシステムは、要求されたURLのクイックスキャンを実行して、それが正当であり、トロイの木馬やその他のマルウェアのダウンローダーを含んでいないことを確認します。要求されたページが有効な場合、DNSリゾルバはページのIPアドレスで応答します。 Vercara UltraDNS ウェブサイトのダウンタイムから保護する場合、Vercara UltraDNSは素晴らしい選択肢です。Vercaraの近くに拠点を持つ企業は、Vercara UltraDNSの高いスループット、低遅延、およびインスタントキャッシュホストを利用することができます。会社のウェブサイトが攻撃を受けやすい場合、Vercara UltraDNSの利用を検討してください。また、何らかの理由でサイトのDNSエントリが壊れる可能性もあります。DNSエントリが誤ったIPアドレスを与えると、誰もあなたのサイトを見ることができません。このサービスは、6つの大陸に広がる29のノードが存在するため、技術的および地理的な災害の影響から保護されています。アプリケーション自体には、DDoS攻撃を防止するためのローカルミチゲーション機能が備わっています。 Comodo Dragon Secure Internet Gateway Comodo Dragon Secure Internet Gatewayのバックボーンを形成するのはDNSサービスであり、エッジサービスを提供しています。プラットフォームの機能を利用するには、ネットワークのインターネットゲートウェイのデフォルトのDNSサーバー設定を変更する必要があります。サービスを安全に利用するためには、リモートワーカーは個人のコンピューターのDNSサーバー設定を変更する必要があります。iOSおよびAndroidモバイルデバイスの保護も、このシステムの使用目的の一つです。このクラウドベースのサービスは、インターネット上のコンテンツをフィルタリングします。特定のウェブサイトへのアクセスをユーザーからブロックし、ビジネス用のコンテンツコントロールを含みます。ホワイトリストとブラックリストも、このツールが提供する追加の機能です。 Cloudflare Cloudflareは、第一級の代替DNSサービスです。すべてのドメインを1か所から制御することができます。Cloudflareの平均DNSルックアップ速度は11msであり、このサービスの人気の大きな要因です。CloudflareがセカンダリDNSプロバイダーとして設定されている場合、プライマリDNSプロバイダーが更新されるたびにそのレコードをすぐに更新します。Cloudflareには自動フェイルオーバーと負荷分散の機能が組み込まれており、最大限の安全性が確保されています。故障や停止時にも、これらの機能によりDNSは正常に機能し続けます。 Palo Alto…

ゼロから大規模言語モデルを構築するための初心者ガイド

はじめに TwitterやLinkedInなどで、私は毎日多くの大規模言語モデル（LLMs）に関する投稿に出会います。これらの興味深いモデルに対してなぜこれほど多くの研究と開発が行われているのか、私は疑問に思ったこともあります。ChatGPTからBARD、Falconなど、無数のモデルの名前が飛び交い、その真の性質を解明したくなるのです。これらのモデルはどのように作成されるのでしょうか？大規模言語モデルを構築するにはどうすればよいのでしょうか？これらのモデルは、あなたが投げかけるほとんどの質問に答える能力を持つのはなぜでしょうか？これらの燃えるような疑問は私の心に長く残り、好奇心をかき立てています。この飽くなき好奇心は私の内に火をつけ、LLMsの領域に飛び込む原動力となっています。私たちがLLMsの最先端について議論する刺激的な旅に参加しましょう。一緒に、彼らの開発の現状を解明し、彼らの非凡な能力を理解し、彼らが言語処理の世界を革新した方法に光を当てましょう。学習目標 LLMsとその最新の状況について学ぶ。利用可能なさまざまなLLMsとこれらのLLMsをゼロからトレーニングするアプローチを理解する。 LLMsのトレーニングと評価におけるベストプラクティスを探究する。準備はいいですか？では、LLMsのマスタリングへの旅を始めましょう。大規模言語モデルの簡潔な歴史大規模言語モデルの歴史は1960年代にさかのぼります。1967年にMITの教授が、自然言語を理解するための最初のNLPプログラムであるElizaを作成しました。Elizaはパターンマッチングと置換技術を使用して人間と対話し理解することができます。その後、1970年にはMITチームによって、人間と対話し理解するための別のNLPプログラムであるSHRDLUが作成されました。 1988年には、テキストデータに存在するシーケンス情報を捉えるためにRNNアーキテクチャが導入されました。2000年代には、RNNを使用したNLPの研究が広範に行われました。RNNを使用した言語モデルは当時最先端のアーキテクチャでした。しかし、RNNは短い文にはうまく機能しましたが、長い文ではうまく機能しませんでした。そのため、2013年にはLSTMが導入されました。この時期には、LSTMベースのアプリケーションで大きな進歩がありました。同時に、アテンションメカニズムの研究も始まりました。 LSTMには2つの主要な懸念がありました。LSTMは長い文の問題をある程度解決しましたが、実際には非常に長い文とはうまく機能しませんでした。LSTMモデルのトレーニングは並列化することができませんでした。そのため、これらのモデルのトレーニングには長い時間がかかりました。 2017年には、NLPの研究において Attention Is All You Need という論文を通じてブレークスルーがありました。この論文はNLPの全体的な景色を変革しました。研究者たちはトランスフォーマーという新しいアーキテクチャを導入し、LSTMに関連する課題を克服しました。トランスフォーマーは、非常に多数のパラメータを含む最初のLLMであり、LLMsの最先端モデルとなりました。今日でも、LLMの開発はトランスフォーマーに影響を受けています。次の5年間、トランスフォーマーよりも優れたLLMの構築に焦点を当てた重要な研究が行われました。LLMsのサイズは時間とともに指数関数的に増加しました。実験は、LLMsのサイズとデータセットの増加がLLMsの知識の向上につながることを証明しました。そのため、BERT、GPTなどのLLMsや、GPT-2、GPT-3、GPT 3.5、XLNetなどのバリアントが導入され、パラメータとトレーニングデータセットのサイズが増加しました。 2022年には、NLPにおいて別のブレークスルーがありました。 ChatGPT は、あなたが望むことを何でも答えることができる対話最適化されたLLMです。数か月後、GoogleはChatGPTの競合製品としてBARDを紹介しました。…

ベクトルデータベースについてのすべて – その重要性、ベクトル埋め込み、および大規模言語モデル（LLM）向けのトップベクトルデータベース

大型言語モデルは近年、著しい成長と進化を遂げています。人工知能の分野は、これらのモデルの新たなリリースごとにブームを巻き起こしています。教育や金融、医療やメディアなど、LLMはほぼすべての領域に貢献しています。GPT、BERT、PaLM、LLaMaなどの有名なLLMは、人間を模倣することでAI産業を革新しています。OpenAIによって開発されたGPTアーキテクチャに基づく有名なチャットボットChatGPTは、正確で創造的なコンテンツの生成、質問への回答、大量のテキスト段落の要約、言語翻訳など、人間を模倣しています。ベクトルデータベースとは何ですか？ AIと機械学習の分野で急速に人気を集めている新しい独特なタイプのデータベースがベクトルデータベースです。従来のリレーショナルデータベース（最初は行と列で表形式のデータを格納するために設計されたもの）や、JSONドキュメントでデータを格納する最近のNoSQLデータベース（例：MongoDB）とは異なる性質を持つためです。ベクトルデータベースは、ベクトル埋め込みのみを格納および検索するために設計された特殊なデータベースです。大型言語モデルと新しいアプリケーションは、ベクトル埋め込みとベクトルデータベースに依存しています。これらのデータベースは、ベクトルデータの効果的な格納と操作のために作られた専用のデータベースです。ベクトルデータは、点、線、およびポリゴンを使用して空間内のオブジェクトを記述するために使用され、コンピュータグラフィックス、機械学習、地理情報システムなど、さまざまな産業で頻繁に使用されています。ベクトルデータベースは、ベクトル埋め込みに基づいており、これはAIシステムがデータを解釈し、長期的なメモリを保持するのに役立つ意味情報を持つデータの一種です。これらの埋め込みは、MLプロセスの一環として生成されたトレーニングデータの縮小バージョンです。これらは機械学習の推論フェーズで新しいデータを実行するために使用されるフィルタとして機能します。ベクトルデータベースでは、データの幾何学的な特性を使用して組織化および格納します。各アイテムは、空間内の座標とその特性を与える他のプロパティによって識別されます。たとえば、ベクトルデータベースは、GISアプリケーションで町、高速道路、川などの地理的な特徴の詳細を記録するために使用される可能性があります。ベクトルデータベースの利点空間インデックス：ベクトルデータベースは、Rツリーやクアッドツリーなどの空間インデックス技術を使用して、近接や制約などの地理的な関係に基づいてデータの検索を可能にします。これにより、ベクトルデータベースは他のデータベースよりも優れた性能を持つことができます。多次元インデックス：ベクトルデータベースは、空間インデックスに加えて、追加のベクトルデータの特性に対してインデックスをサポートすることができます。これにより、非空間属性に基づいた効果的な検索とフィルタリングが可能となります。幾何学的な操作：ベクトルデータベースには、交差、バッファリング、距離計算などの幾何学的な操作のための組み込みサポートが頻繁にあります。これは、空間分析、ルーティング、マップの可視化などのタスクに重要です。地理情報システム（GIS）との統合：ベクトルデータベースは、効率的な空間データの処理と分析によく使用され、GISソフトウェアやツールと組み合わせて使用されます。 LLMの構築に最適なベクトルデータベース大型言語モデルの場合、ベクトルデータベースは、LLMのトレーニングから得られるベクトル埋め込みの格納に主に使用されています。 Pinecone – Pineconeは、優れたパフォーマンス、スケーラビリティ、複雑なデータの処理能力を備えた強力なベクトルデータベースです。ベクトルへの即時アクセスとリアルタイムの更新が必要なアプリケーションに最適であり、迅速かつ効率的なデータの検索に優れています。 DataStax – DataStaxのAstraDBは、アプリケーション開発を加速するためのベクトルデータベースです。AstraDBはCassandra操作との統合、およびAppCloudDBとの連携により、アプリの構築を簡素化し、効率的なデータの取得を自動的にさまざまなクラウドインフラストラクチャ上でスケーリングすることができます。 MongoDB – MongoDBのAtlas Vector Search機能は、生成的AIと意味検索の統合における重要な進歩です。ベクトル検索機能の統合により、MongoDBはデータ分析、推奨システム、自然言語処理などの作業を開発者が行えるようにします。Atlas…

Pythonプロジェクトのセットアップ：パートV

経験豊富な開発者であろうと、🐍 Pythonを始めたばかりであろうと、堅牢で保守性の高いプロジェクトの構築方法を知ることは重要ですこのチュートリアルでは、...のプロセスを案内します

Gitタグ：それらは何であり、どのように使用するのか

Gitにおいて、タグはリポジトリの歴史の特定のポイントをマークする方法です通常は、バージョン、リリース、または重要なプロジェクトのアップデートなど、重要なマイルストーンやリリースにラベルを付けるために使用されます...

小さな言語モデルでも高い性能を発揮できるのか？StableLMに会ってみてください：適切なトレーニングで高性能なテキストとコードを生成できるオープンソースの言語モデル

Stability AIは、Stable Diffusion画像生成AI技術で知られる人工知能のスタートアップ企業です。今日、Stability AIはStableLMという新しい無料かつオープンソースの言語モデルを発表しました。このモデルはアルファフェーズで3つの異なるパラメータサイズ（30億、70億、150億、650億）で提供されます。CC BY-SA-4.0ライセンスの規則により、開発者はStableLMの基本モデルを個人や商業プロジェクトで確認、利用、修正することができます。独自のAIに対するオープンかつ拡張可能で透明性の高い代替手段を提供する画期的なStable Diffusion画像モデルは、2022年にStability AIの努力によって一般に公開されました。Stability AIはStableLMモデルセットをリリースし、基本的なAIの能力を民主化するという使命をさらに推進しています。StableLMモデルは、テキストやコードの生成能力を持つさまざまなアプリケーションを活性化させます。これらのモデルは、小規模で効率的なモデルが優れたパフォーマンスを発揮する方法を示しています。チームの以前のEleutherAIという非営利研究ハブとのオープンソースの共同作業により、StableLMのリリースの基盤が整いました。Pileというオープンソースのデータセットを使用して、GPT-J、GPT-NeoX、およびPythiaスイートなど、いくつかの人気のある言語モデルをトレーニングしました。Cerebras-GPTやDolly-2は、これらの以前のモデルを拡張した多くの新しいオープンソースの言語モデルのうちの2つの例です。 StableLMを教えるために使用される実験用のデータセットは、The Pileをベースにしており、トークン数は1.5兆個で3倍の大きさです。1750億のパラメータを持つGPT-3に対して、StableLMはこのデータセットの豊富さにより、会話やコーディングのタスクにおいて予想外に優れたパフォーマンスを達成しています。データセットに関する情報は後日公開されます。彼らは、教室での使用に最適化された研究モデルのコレクションをリリースしました。これらの洗練されたモデルは、最近リリースされたオープンソースの会話エージェントのデータセット（Alpaca、GPT4All、Dolly、ShareGPT、HH）のデータを最初に使用します。StanfordのAlpacaライセンスに従い、これらのチューニングされたモデルは学術研究用に非営利のCC BY-NC-SA 4.0ライセンスで利用できます。 StableLMは、以下の機能を通じて、オープンでアプローチ可能で支援的なAI技術の開発を目指すチームのビジョンを描いています：透明性：研究者はパフォーマンスを確認し、解釈可能なアプローチを確立し、危険を特定し、セーフガードの作成を支援するために「中身を見る」ことができます。企業や政府機関は、個人情報を開示することなく、またAIの能力に対する権限を放棄することなく、これらのオープンソースモデルを自分たちのニーズに合わせて修正（または「調整」）することができます。アクセシビリティ：チームは一般の人々が自分たちのデバイスでモデルを利用できるようにエッジに構築しています。わずかな数の企業の専用サービスに依存するのではなく、開発者はこれらのモデルを使用して、より広範な公開可能なハードウェアと連携するアプリケーションを作成することができます。このようにして、AIの経済的な利益は、多くのユーザーとクリエイターの間で分散されます。提案されたモデルはオープンかつ詳細であり、研究者や学術関係者が解釈性と安全性の面で閉じたモデルの制約を超えることができます。支援的：これらのモデルは、顧客を置き換えるためではなく、顧客を支援するために作られています。チームは、超人的な知性を追求するのではなく、AIの特定のタスクを実行する能力を現実世界の文脈で向上させることに焦点を当てています。彼らは、一般の人々や企業がイノベーションを促進し、生産性を向上させ、経済の可能性を拡大するために、AIの潜在能力を活用するためのリソースを構築しています。チームは、ユーザーが受け取る応答の品質が異なる場合があり、不快な言葉や意見が含まれる場合があることを強調しています。これは、微調整や強化学習を行っていない事前学習された大規模言語モデルの場合に共通するものです。スケール、増加するデータ、コミュニティのフィードバック、最適化などが大幅な改善につながる要素です。

人工知能の未来を形作る：進歩と革新のための迅速なエンジニアリングの重要性

ChatGPTはリリース当日から話題になっています。革新的なチャットボットを既に100万人以上のユーザーが利用しています。ChatGPTは、異なる質問に対応し、広範なトピックに関する情報を生成するためにOpenAIによってトレーニングされた大規模な言語モデル（LLM）です。複数の言語を翻訳したり、ユーザー固有のユニークで創造的なコンテンツを生成したり、長いテキスト段落を要約したりすることができます。LLMは膨大なテキストデータでトレーニングされ、人間のような意味のあるテキストを生成します。さらに、ソフトウェアコードを生成する能力も持っています。大規模な言語モデルの主な利点の1つは、迅速に良質なテキストを便利かつ大規模に生成できることです。プロンプトエンジニアリングとは何ですか？ GPT-3に関して具体的に話すと、それは人間の思考と会話に達した最も近いモデルです。どのGPT-3アプリケーションを開発する場合も、適切なトレーニングプロンプトとそのデザイン、コンテンツが重要です。プロンプトは大規模な言語モデルに供給されるテキストです。プロンプトエンジニアリングは、モデルから満足のいく応答を得るためのプロンプトの設計に関わります。データ内のパターンやトレンドをモデルが見つけるために、適切なコンテキストの良質なトレーニングプロンプトをモデルに提供することに焦点を当てています。プロンプトエンジニアリングは、機械に好ましい結果をもたらす可能性のある入力を指示する概念です。要するに、モデルに何を行う必要があるかを伝えることを含みます。例えば、テキストからテキストへのチャットGPTモデルに提供されたテキストの要約を作成するように頼む場合や、テキストから画像へのDALL-Eモデルに特定の画像を生成するように頼む場合などがあります。そのために、タスクはプロンプトベースのデータセットに変換され、そのデータに基づいてモデルが学習し、パターンを理解します。プロンプトの例は何ですか？プロンプトは、単語や大きな文の連なり、またはコードブロックなど、何でもあります。それはまるで学生に任意のトピックの記事を書くように指示することのようです。DALLE-2などのモデルでは、プロンプトエンジニアリングはAIモデルに必要な応答をプロンプトとして説明することを含みます。プロンプトは、単純な文（例：「ラザニアのレシピ」）や質問（例：「アメリカ合衆国の最初の大統領は誰ですか？」）から、複雑な要求（例：「データサイエンスの面接が明日あるため、私のためにカスタマイズされた質問のリストを生成してください」）まで、プロンプトとして文脈を提供することによって異なります。プロンプトエンジニアリングがAIの良い未来にとってなぜ重要なのか。精度の向上：プロンプトエンジニアリングにより、AIシステムの訓練が多様で代表的なデータセットに基づいていることが確認されるため、より正確なAIシステムが実現できます。これにより、トレーニングデータではうまく機能するがテストデータでは機能しない過適合などの問題を回避できます。偶発的な結果の回避：不適切なプロンプトで訓練されたAIシステムは、偶発的な結果をもたらす可能性があります。例えば、猫の画像を識別するのに長けたAIシステムが、すべての白黒写真を猫と分類することで、精度の低い結果をもたらすことがあります。責任あるAIの促進：プロンプトエンジニアリングにより、AIシステムが人間の価値観や倫理的原則に沿った結論を出すことができます。AIのトレーニングに使用されるプロンプトを注意深く設計することにより、システムは偏見のないものであり、有害なものになりません。応用自然言語処理：NLPでは、プロンプトエンジニアリングによって、AIシステムが人間の言語を理解し、適切に応答するためのプロンプトが作成されます。例えば、プロンプトを設計して、AIシステムが皮肉、皮肉ではない表現を区別することを学ぶようにすることができます。画像認識：プロンプトエンジニアリングは、画像認識において、AIシステムがさまざまな画像データに基づいて訓練されていることを確認するために使用できます。これにより、AIシステムのオブジェクトや人物の分類の精度と一貫性が向上します。チャットボットにおける感情分析：プロンプトエンジニアリングは、チャットボットが感情を理解するのに役立つプロンプトを設計します。例えば、チャットボットがポジティブな応答、ネガティブな応答、中立的な応答を区別するのに役立ちます。医療：医療診断や治療などのAIシステムは、医療データを理解し、正確な診断を行うためのプロンプトで訓練されます。人工知能（AI）は近年、進歩を遂げ、私たちの生活、仕事、技術との対話のあり方を変えてきました。AIが社会にポジティブな影響を続けるためには、プロンプトエンジニアリングの重要性を理解する必要があります。これは、AIシステムが安全で信頼性のあるシステムを構築するために設計されたプロンプトで訓練されていることを確認することによって達成できます。

TensorFlowの学習率の変更方法

TensorFlowで学習率を変更するには、使用している最適化アルゴリズムに応じてさまざまなテクニックを利用することができます

Learn more about Search Results リリース - Page 95