Search Results AI

「Tiktokenを使用して、OpenAI APIのコストを簡単に見積もることができます」

「tiktokenを使用してテキスト内のトークンをトークン化し、トークンの数を計算してOpenAI APIのコストを算出する方法」

「LG AI Researchが提案するQASA：新しいAIベンチマークデータセットと計算アプローチ」

人間は推論が得意であり、これが他の生物との違いです。推論には連想思考と論理的思考が含まれます。推論の一つの単純な方法は、何、いつ、どこ、なぜなどの質問をすることです。この推論によって、新たな発見や革新的なアイデアへと導かれることがあります。さて、自分自身が自分自身の科学論文を書く際に行き詰まり、適切な好奇心のある質問をすることに困難を感じたと想像してください。科学論文や専門記事の量が増加しているため、従来のプロセスは時間がかかるため実現不可能となっています。科学論文を読むことで質問が生まれ、テストや深い質問が含まれることがありますが、これらはフルスタックの推論を必要とします。このような自然な高度な質問に答えるために、LGの研究者は科学論文に対する質問応答（QASA）アプローチを提案しています。これはフルスタックの認知推論を含んでいます。研究者は、読者と著者が抽象的な部分だけでなく、科学論文全体を読みながら質問をするための3つのステップの手法を設計しました。最初は、読者が高度な表面的な質問、テスト、深い質問をすることを許可することです。次に、これらの質問と回答は、専門の読者が行った質問と比較されます。最後に、読者と著者は収集された質問に対して多面的な長文回答を提案するよう招待されます。研究者によると、QASAにはAI/ML論文に関する1798の質問応答ペアが含まれています。平均して、各論文には15.1から29の質問があり、39.4%が深い推論レベルの質問です。彼らのQASAアプローチには、段落から関連情報を抽出するための連想的選択、各抽出段落から根拠のみを把握するための根拠生成、および根拠を包括的な回答に関連付けるための体系的な構成が含まれています。現実的な質問を確保するために、質問者は自分の選んだ論文を選び、深い読書と呼ばれるすべてのセクションを読むか、スキム読書と呼ばれる特定のセクションを読むかを選択し、回答を含まない質問を準備することが許されています。回答者も、質問者が取り組んだ論文から関連する回答を提供するために論文を選ぶことができます。回答者は、選択した段落から自己生成された根拠に基づいて包括的な文章として回答するようにガイドされます。研究者は、評価者が同じ質問に対して2つの回答を比較するペアワイズ評価手法を実施しました。評価者には、QASAスキームからの回答とInstructGPTからの回答の2つを提供しました。フルスタックのQAからの回答は、InstructGPTからの回答よりもより完全で根拠がある傾向があります。 QASAアプローチは、事前学習された言語モデル（LM）を使用して各サブタスクをモデリングします。公開および合成データは、科学論文と原稿におけるフルスタックの認知推論を提供するためのテストベッドとして機能することができます。これにより、有用な情報を手動で読み取り、再ランキングする労力が軽減されます。

Uncategorized

「Surfer SEO レビュー：最高のAI SEO ツール？（2023年7月）」

究極のSurfer SEOのレビューを手に入れ、このツールがあなたのオーガニックトラフィックを急上昇させる方法を学びましょうSurfer SEOのパワーを発見してください！

『SDXL 1.0の内部：Stability AI 新しいテキストから画像へのスーパーモデル』

「Stability AIは、安定したDiffusionモデルのリリースにより、テキストから画像への革新の中心にありました最近の数ヶ月間、研究における大きな進展が見られました...」

「10ベストAI WhatsAppツール」

デジタルコミュニケーションの時代において、人工知能（AI）はゲームチェンジャーとなっています特にWhatsAppのAIツールは、コミュニケーションの方法を変革し、自動応答や顧客サービスの提供、さらにはカジュアルな会話にも参加するチャットボットなどの機能を提供していますここでは、いくつかのトップAI WhatsAppツールを紹介します

best of

「LangChainとOpenAI APIを使用した生成型AIアプリケーションの構築」

イントロダクション生成AIは、現在の技術の最先端をリードしています。画像生成、テキスト生成、要約、質疑応答ボットなど、生成AIアプリケーションが急速に拡大しています。OpenAIが最近大規模な言語モデルの波を牽引したことで、多くのスタートアップがLLMを使用した革新的なアプリケーションの開発を可能にするツールやフレームワークを開発しました。そのようなツールの一つがLangChainです。LangChainは、LLMによるアプリケーションの構築を可能にする柔軟性と信頼性を備えたフレームワークです。LangChainは、世界中のAI開発者が生成AIアプリケーションを構築するための定番ツールとなっています。LangChainは、外部データソースと市場で利用可能な多くのLLMとの統合も可能にします。また、LLMを利用したアプリケーションは、後で取得するデータを格納するためのベクトルストレージデータベースが必要です。この記事では、OpenAI APIとChromaDBを使用してアプリケーションパイプラインを構築することで、LangChainとその機能について学びます。学習目標： LangChainの基礎を学んで生成AIパイプラインを構築する方法を学ぶオープンソースモデルやChromadbなどのベクトルストレージデータベースを使用したテキスト埋め込み LangChainを使用してOpenAI APIを統合し、LLMをアプリケーションに組み込む方法を学ぶこの記事は、データサイエンスブログマラソンの一環として公開されました。 LangChainの概要 LangChainは、最近大規模言語モデルアプリケーションのための人気のあるフレームワークになりました。LangChainは、LLM、外部データソース、プロンプト、およびユーザーインターフェースとの対話を提供する洗練されたフレームワークを提供しています。 LangChainの価値提案 LangChainの主な価値提案は次のとおりです：コンポーネント：これらは言語モデルで作業するために必要な抽象化です。コンポーネントはモジュール化されており、多くのLLMの使用例に簡単に適用できます。既製のチェーン：特定のタスク（要約、Q&Aなど）を達成するためのさまざまなコンポーネントとモジュールの構造化された組み立てです。プロジェクトの詳細 LangChainはオープンソースプロジェクトであり、ローンチ以来、54K＋のGithubスターを集めています。これは、プロジェクトの人気と受け入れられ方を示しています。プロジェクトのreadmeファイルでは、次のようにフレームワークを説明しています：大規模言語モデル（LLM）は、以前は開発者ができなかったアプリケーションを作成するための変革的な技術として現れつつあります。ただし、これらのLLMを単独で使用するだけでは、本当に強力なアプリを作成するには不十分なことがしばしばあります。真のパワーは、他の計算ソースや知識と組み合わせるときに発揮されます。出典：プロジェクトリポジトリ明らかに、フレームワークの目的を定義し、ユーザーの知識を活用したアプリケーションの開発を支援することを目指しています。 LangChainコンポーネント（出典：ByteByteGo） LangChainには、LLMアプリケーションを構築するための6つの主要なコンポーネントがあります：モデルI/O、データ接続、チェーン、メモリ、エージェント、およびコールバック。このフレームワークは、OpenAI、Huggingface Transformers、Pineconeやchromadbなどのベクトルストアなど、多くのツールとの統合も可能にします。…

AI ポリシー @🤗 EU AI Act におけるオープンな機械学習の考慮事項

機械学習の皆様と同様に、Hugging FaceでもEU AI Actに注目しています。これは画期的な法律であり、民主的な要素がAI技術開発との相互作用をどのように形成するかを世界中に広めるものです。また、社会のさまざまな要素を代表する組織との広範な協議と作業の結果でもあります。私たちはコミュニティ主導の企業として、このプロセスに特に敏感に取り組んでいます。このポジションペーパーでは、Creative Commons、Eleuther AI、GitHub、LAION、Open Futureとの連携により、オープンなML開発の必要性が法律の目標をサポートする方法についての私たちの経験を共有し、逆に、規制がオープンでモジュラーで協力的なML開発のニーズをより適切に考慮するための具体的な方法を示すことを目指しています。 Hugging Faceは、開発者コミュニティのおかげで今日の地位にあります。そのため、オープンな開発がもたらす効果を直接目にしてきました。より堅牢なイノベーションをサポートし、より多様でコンテキストに応じたユースケースを可能にする場所です。開発者は革新的な新しい技術を簡単に共有し、自分のニーズに合わせてMLコンポーネントを組み合わせ、スタック全体について完全な可視性を持って信頼性のある作業ができます。また、技術の透明性がより責任ある取り組みと包括性をサポートする上での必要な役割にも痛感しており、MLアーティファクトの文書化とアクセシビリティの改善、教育活動、大規模な多学科のコラボレーションのホスティングなどを通じてこれを促進してきました。そのため、EU AI Actが最終段階に向かうにつれて、MLシステムのオープンかつオープンソースな開発の特定のニーズと強みを考慮することが、その長期的な目標をサポートする上で重要になると考えています。共同署名したパートナー組織と共に、以下の5つの推奨事項を提案します： AIコンポーネントを明確に定義することオープンソースのAIコンポーネントの共同開発とパブリックリポジトリでの公開は、開発者をAI Actの要件の対象としないことを明確にすること（パーラメントの文章のRecitals 12a-cとArticle 2(5e)を基に改善すること） AIオフィスの調整と包括的なガバナンスをオープンソースエコシステムと連携させること（パーラメントの文章を基に改善すること）研究開発の例外が実用的かつ効果的であることを確保すること。現実世界の条件での限定的なテストを許可し、理事会の取り組みの一部とパーラメントのArticle 2(5d)の改訂版を組み合わせること「基礎モデル」に対して比例の要件を設定すること。異なる使用方法と開発モダリティを明確に区別し、オープンソースアプローチを含めること。パーラメントのArticle 28bを適用することこれらについての詳細と文脈は、こちらの全文をご覧ください！

生成AI倫理’ (Seisei AI Rinri)

生成型人工知能（AI）に関する大騒ぎがある中で、この変革的な技術を責任を持って実装する方法について、未解決の問題が増えていますこの…

「Chroma DBガイド | 生成AI LLMのためのベクトルストア」

イントロダクション GPTやPaLMなどの生成型の大規模言語モデルは、大量のデータで訓練されます。これらのモデルはデータセットからそのままのテキストを取得するのではなく、コンピュータはテキストを理解することができないため、数値のみを理解できます。埋め込みは、テキストを数値形式で表現したものです。大規模言語モデルへの情報の出入りは、すべてこれらの埋め込みを介して行われます。これらの埋め込みに直接アクセスすることは時間がかかります。そのため、効率的なストレージと埋め込みの取得のために特別に設計されたベクトルデータベースと呼ばれるものが存在します。このガイドでは、広く使用されているオープンソースのベクトルストア/データベースであるChroma DBに焦点を当てます。学習目標 ChromaDBと埋め込みモデルを使用した埋め込みの生成 Chromaベクトルストア内でのコレクションの作成ドキュメント、画像、および埋め込みのコレクションへの保存データの削除と更新、コレクションの名前変更などのコレクション操作の実行最後に、関連情報を抽出するためのクエリの実行この記事はData Science Blogathonの一部として公開されました。埋め込みの短い紹介埋め込みまたはベクトル埋め込みは、データ（テキスト、画像、音声、ビデオなど）を数値形式で表現する方法です。正確には、n次元空間（数値ベクトル）内の数値の形式でデータを表現する方法です。この方法により、埋め込みを使用して似たデータをクラスタ化することができます。これらの入力を受け取り、ベクトルに変換するモデルが存在します。その一つの例はWord2Vecです。Googleが開発した人気のある埋め込みモデルで、単語をベクトルに変換します（ベクトルはn次元の点です）。すべての大規模言語モデルは、それぞれの埋め込みモデルを持ち、それらのLLMのための埋め込みを作成します。これらの埋め込みは何に使用されるのですか？単語をベクトルに変換することの利点は、それらを比較できることです。コンピュータは単語をそのまま比較することはできませんが、数値の形式で与えれば、つまりベクトル埋め込みとして与えれば比較できます。似たような埋め込みを持つ単語のクラスタを作成することができます。たとえば、”King”、”Queen”、”Prince”、”Princess”という単語は他の単語と関連しているため、同じクラスタに表示されます。このように、埋め込みを使用することで、与えられた単語に類似した単語を取得することができます。これを文に組み込むこともできます。文を入力し、提供されたデータから関連する文を取得します。これはセマンティックサーチ、文の類似性、異常検出、チャットボットなど、さまざまなユースケースの基盤です。PDFやドキュメントからの質問応答を実行するために構築したチャットボットでは、この埋め込みの概念を利用しています。すべての生成型の大規模言語モデルは、与えられたクエリに類似した内容を取得するためにこのアプローチを使用します。ベクトルストアとその必要性先述のように、埋め込みは数値形式で表現されたデータの表現です。通常、非構造化データをn次元空間で表現します。では、これらをどこに保存するのでしょうか？伝統的なRDMS（リレーショナルデータベース管理システム）では、これらのベクトル埋め込みを保存することはできません。ここでベクトルストア/ベクトルデータベースが登場します。ベクトルデータベースは、ベクトル埋め込みを効率的に保存および取得するために設計されています。さまざまなベクトルストアが存在し、それらはサポートする埋め込みモデルや類似ベクトルを取得するために使用する検索アルゴリズムの種類によって異なります。なぜそれが必要なのでしょうか？それは、必要なデータへの高速なアクセスを提供するためです。PDFに基づいたチャットボットを考えてみましょう。ユーザーがクエリを入力すると、まずはPDFから関連コンテンツを取得し、この情報をチャットボットにフィードする必要があります。そして、チャットボットはこのクエリに関連する情報を取得し、ユーザーに適切な回答を提供するためにこの情報を使用します。では、ユーザーのクエリに関連するPDFから関連コンテンツをどのように取得するのでしょうか？答えは簡単な類似度検索です。データがベクトル埋め込みで表現されると、データの異なる部分間で類似性を見つけ、特定の埋め込みに類似したデータを抽出することができます。クエリはまず埋め込みモデルによって埋め込みに変換され、その後ベクトルストアはこのベクトル埋め込みを受け取り、データベース内に保存されている他の埋め込みとの類似性検索（検索アルゴリズムを介して）を実行し、関連するデータをすべて取得します。これらの関連するベクトル埋め込みは、最終的な回答を生成するチャットボットで使用される大規模言語モデルに渡されます。 Chroma DBとは何ですか？ Chromaは、Chromaという会社が提供するベクトルストア/ベクトルDBです。Chroma…

2023年にフォローすべきAI YouTuberトップ15選

人工知能は現在、さまざまな分野で指数関数的な成長を遂げています。その拡大により、この領域は学び、マスターするための数々の機会を持つ志望者にとって、多くの可能性を提供しています。その中で、いくつかのAI愛好家が登場し、それぞれの専門分野で優れた成績を収め、教えることへの情熱によって駆り立てられています。彼らは他の学習者の旅をより簡単にすることを目指しています。はい、YouTuberはYouTubeで無料で情報提供するための教育コンテンツを作成しています。ここでは、人工知能、深層学習、および機械学習に関する高く評価されたさまざまなビデオを持つ15人のAI YouTuberを紹介します。 3Blue1Brown 登録日: 2015年3月4日登録者数: 5.33M ビデオ数: 132 ウェブサイト: https://www.3blue1brown.com リンク: https://www.YouTube.com/@3blue1brown Grant Sandersonは、このチャンネルを所有するAI YouTuberです。彼はアニメーションを使用して複雑な数学や機械学習のコンセプトを説明しています。彼の最も人気のあるビデオはフーリエ級数についてです。対象領域にはデータサイエンス、機械学習、数学が含まれます。このチャンネルは最高の機械学習YouTubeチャンネルの一つとされています。 Joma Tech 登録日: 2016年9月1日登録者数: 2.21M ビデオ数: 111…

Learn more about Search Results AI - Page 12