Learn more about Search Results analyticsvidhya - Page 13

ゼロから大規模言語モデルを構築するための初心者ガイド

はじめに TwitterやLinkedInなどで、私は毎日多くの大規模言語モデル（LLMs）に関する投稿に出会います。これらの興味深いモデルに対してなぜこれほど多くの研究と開発が行われているのか、私は疑問に思ったこともあります。ChatGPTからBARD、Falconなど、無数のモデルの名前が飛び交い、その真の性質を解明したくなるのです。これらのモデルはどのように作成されるのでしょうか？大規模言語モデルを構築するにはどうすればよいのでしょうか？これらのモデルは、あなたが投げかけるほとんどの質問に答える能力を持つのはなぜでしょうか？これらの燃えるような疑問は私の心に長く残り、好奇心をかき立てています。この飽くなき好奇心は私の内に火をつけ、LLMsの領域に飛び込む原動力となっています。 私たちがLLMsの最先端について議論する刺激的な旅に参加しましょう。一緒に、彼らの開発の現状を解明し、彼らの非凡な能力を理解し、彼らが言語処理の世界を革新した方法に光を当てましょう。 学習目標 LLMsとその最新の状況について学ぶ。 利用可能なさまざまなLLMsとこれらのLLMsをゼロからトレーニングするアプローチを理解する。 LLMsのトレーニングと評価におけるベストプラクティスを探究する。 準備はいいですか？では、LLMsのマスタリングへの旅を始めましょう。 大規模言語モデルの簡潔な歴史 大規模言語モデルの歴史は1960年代にさかのぼります。1967年にMITの教授が、自然言語を理解するための最初のNLPプログラムであるElizaを作成しました。Elizaはパターンマッチングと置換技術を使用して人間と対話し理解することができます。その後、1970年にはMITチームによって、人間と対話し理解するための別のNLPプログラムであるSHRDLUが作成されました。 1988年には、テキストデータに存在するシーケンス情報を捉えるためにRNNアーキテクチャが導入されました。2000年代には、RNNを使用したNLPの研究が広範に行われました。RNNを使用した言語モデルは当時最先端のアーキテクチャでした。しかし、RNNは短い文にはうまく機能しましたが、長い文ではうまく機能しませんでした。そのため、2013年にはLSTMが導入されました。この時期には、LSTMベースのアプリケーションで大きな進歩がありました。同時に、アテンションメカニズムの研究も始まりました。 LSTMには2つの主要な懸念がありました。LSTMは長い文の問題をある程度解決しましたが、実際には非常に長い文とはうまく機能しませんでした。LSTMモデルのトレーニングは並列化することができませんでした。そのため、これらのモデルのトレーニングには長い時間がかかりました。 2017年には、NLPの研究において Attention Is All You Need という論文を通じてブレークスルーがありました。この論文はNLPの全体的な景色を変革しました。研究者たちはトランスフォーマーという新しいアーキテクチャを導入し、LSTMに関連する課題を克服しました。トランスフォーマーは、非常に多数のパラメータを含む最初のLLMであり、LLMsの最先端モデルとなりました。今日でも、LLMの開発はトランスフォーマーに影響を受けています。 次の5年間、トランスフォーマーよりも優れたLLMの構築に焦点を当てた重要な研究が行われました。LLMsのサイズは時間とともに指数関数的に増加しました。実験は、LLMsのサイズとデータセットの増加がLLMsの知識の向上につながることを証明しました。そのため、BERT、GPTなどのLLMsや、GPT-2、GPT-3、GPT 3.5、XLNetなどのバリアントが導入され、パラメータとトレーニングデータセットのサイズが増加しました。 2022年には、NLPにおいて別のブレークスルーがありました。 ChatGPT は、あなたが望むことを何でも答えることができる対話最適化されたLLMです。数か月後、GoogleはChatGPTの競合製品としてBARDを紹介しました。…

AIが詐欺師をだます：ロボコールに対する巧妙な戦い

アメリカのFCC（連邦通信委員会）がロボコールに対する取り締まりを強化しようとしているにもかかわらず、ロボコールは未だにしつこい迷惑行為として続いており、人をだますことを狙っている無防備で弱い人々に付け込んでいます。しかし、1人の起業家が独自の方法で反撃する方法を見つけました。ジョリー・ロジャー・テレフォン・カンパニーの仕掛け人であるロジャー・アンダーソン氏にお会いしましょう。彼は人工知能（AI）を利用して詐欺師を騙す方法を開発しました。この記事では、アンダーソン氏の独創的な解決策が、ChatGPTと音声クローナーを搭載したボットを利用してテレマーケティングの詐欺師を出し抜く方法について探求します。彼らの時間を無駄にし、最終的には彼らに金銭的な損失を与える方法です。 ロボコールに立ち向かう ロボコールは、アメリカ全土の消費者に依然として問題を引き起こしており、1つの電話番号当たり月平均14回のコールがあります。これらの多くは、未熟な人々や高齢者を狙った詐欺です。FCCの取り組みにもかかわらず、ロボコールは革新的な解決策を求める持続的な問題です。 ロジャー・アンダーソンとジョリー・ロジャー・テレフォン・カンパニー ジョリー・ロジャー・テレフォン・カンパニーのオーナーであるロジャー・アンダーソン氏は、ロボコールに対抗するための非常に斬新なアプローチを考案しました。アンダーソン氏の会社はAI技術を活用して、テレマーケティングの詐欺師を線上で引き留め、彼らの時間とリソースを無駄にします。ただし、アンダーソン氏の動機は個人の娯楽にとどまりません。彼は一般の人々にリーズナブルな料金で自分のシステムを利用する機会を提供しています。 詳しくはこちら：コールセンターのサポート業務におけるNLPの応用 簡単なセットアップとエンドレスなエンターテイメント ジョリー・ロジャー・テレフォン・カンパニーのシステムの設定は非常に簡単です。ユーザーは年間25ドルのプランに申し込み、アカウントに関連付けられた一意の番号に通話転送をアクティベートする必要があります。そこから、ユーザーはボットにロボコールを処理させるか、通話をマージしてAIによる会話の面白さをこっそりと聞くことができます。 多様なボットの人格 ジョリー・ロジャー・テレフォン・カンパニーのシステムのハイライトの1つは、利用可能な多様なボットの人格です。例えば、「ホワイティ」ホワイトビアードは、しばしば不満を言ったり気を散らしたりする高齢の不機嫌な人物です。また、Salty Sallyは、騒々しい子供たちを抱える忙しい専業主婦の役割を果たします。これら多様な人物像により、詐欺師とのやり取りがさらに面白くなります。 ボットはどのようにやり取りするのですか？ 一般的な認識とは異なり、詐欺師とはChatGPTが直接対話しているわけではありません。代わりに、ジョリー・ロジャー・システムは詐欺師の発言を分析し、その内容に関連する事前にプログラムされた応答を選択します。声は人間のように聞こえるかもしれませんが、フレーズは繰り返されることがあり、自然ではないことがあり、時には幻想を破ることもあります。それでも、ボットは最大15分間詐欺師を引きつけ、他の潜在的な被害者を狙うことを防ぎます。 詐欺師の正体を暴く – ホワイティ・ホワイトビアードの出会い 広く共有されたYouTubeの動画では、ジョリー・ロジャーが、ホワイティ・ホワイトビアードとDish Networkの代表をなりすましている詐欺師との会話を明らかにしました。なりすまし犯はTVサービスについて話そうとしますが、ホワイティは農場の仕事に夢中で興味を示しません。会話が進むにつれて、ホワイティは仕事に集中し、なりすまし犯はTV番組の話題に固執します。ホワイティは、詐欺師がロボットや録音かもしれないと疑い、電話の相手の正体を疑います。結果として、ホワイティのユーモラスな気晴らしは、詐欺師が個人情報や請求情報を収集するのを防ぎ、他の人々を詐欺の被害から守る可能性があります。 詐欺師をだます先駆者たち ジョリー・ロジャー・テレフォン・カンパニーは、革新的なアプローチで大きな注目を集めていますが、これはこの戦略を採用した最初の企業ではありません。2008年から活動しているチャットボット「Lenny」もロボコーラーをいら立たせています。ただし、Lennyは人間のオペレータに連絡するためにキープレスが必要であることを認識することができません。これは現在の詐欺師が頻繁に利用する戦術です。一方、ジョリー・ロジャーのボットは自動ダイヤラーの発言を検出し、適切なキーを自動的に「押す」ことができます。これにより、通話が早期に切断されるのを防ぎます。 私たちの言葉 ロボコールは続くかもしれませんが、ロジャー・アンダーソンと彼のジョリー・ロジャー・テレフォン・カンパニーの創意工夫により、反撃する方法があります。詐欺師たちは、AIで動作するボットと巧妙な声の人格を利用して、挫折させられ、出し抜かれています。簡単なセットアッププロセスと無限のエンターテイメントで、個人はロボコール詐欺師の捕食的な戦術から自分自身を守ることができます。今こそ、AIを利用して詐欺師を騙す番です。

Metaphy LabsのAIエバンジェリストに会いましょう

紹介 常に変化するテックの風景の中で、魅力的な現象が浮かび上がってきました。それがメタバースです。この領域をリードするのは、ビジョナリーな共同創業者であるヴァルン・シャルマ氏です。彼のAIへの情熱が、仮想領域を再構築するための旅を推進しています。ヴァルンに会ってください。彼はメタバースとAIの力を利用して、非凡な人間の相互作用、創造性、起業家精神を実現しています。彼のビジョンは物理的な制約を超え、没入型の体験を構築し、デジタルのフロンティアを開拓することを推進しています。 会話を始めましょう！ AV: メタフィラボの共同創業者兼最高メタバースオフィサーとしての道のりについて教えていただけますか？何があなたをこの道に進ませたのですか？ ヴァルン氏 : メタフィラボの共同創業者兼最高メタバースオフィサーとしての私の道のりは、挑戦的で充実した経験でした。私は常に技術への情熱を持ち、それが世界を変える可能性を感じていました。アクセス可能な没入型の体験や仮想世界を作り出すアイデアは、私を魅了し、この道で私をインスパイアし続けています。 さらに、人間を特別な存在にしているのは、言葉を超えてつながる能力です。しかし、技術は常に感情的なつながりの不足と結び付けられてきました。私たちはそれを変えたかったのです。私たちの独自の技術を通じて、感情的に優れた本当にパーソナルな体験を作り出しています。 AV: あなたの仕事で最も困難な側面は何ですか？それらをどのように克服していますか？ ヴァルン氏 : 革新的なディープテック企業として、技術の最先端に立ち、イノベーションの先頭に立つことは、私が情熱をもって受け入れるスリリングな挑戦です。この新興のフィールドでは、認知度を高め、採用を促進することがハードルとなることもあります。しかし、クライアントに卓越した価値を提供することで、私たちはどんな障害も乗り越えることができます。 データサイエンスを用いてビジネス問題を解決する AV: 過去に取り組んだ特に興味深いプロジェクトを共有していただけますか？データサイエンスをどのように活用してビジネス問題を解決しましたか？ ヴァルン氏 : データサイエンスは常に革新と私のテックの旅の核となってきました。私はデータサイエンティストでありAIエバンジェリストとしてのキャリアをスタートしました。幸運なことに、複数の可能性を秘めた人生を変えるプロジェクトに取り組む機会を得ました。 過去のプロジェクトでは、カスタムの機械学習アルゴリズムを活用してユーザーの行動を予測し、ソーシャルメディアプラットフォームのユーザーエクスペリエンスを向上させました。ユーザーデータと行動パターンを分析し、改善の余地がある領域を特定し、ターゲットを絞ったソリューションを実装しました。これにより、ユーザーのエンゲージメント、リテンション、収益の増加が大幅に実現しました。 AV: 仕事以外での趣味や興味がありますか？個人的な時間と仕事をどのようにバランスさせていますか？ ヴァルン氏…

レストランの革命：飲食業界におけるAIの力

レストラン業界は、人工知能（AI）の力を活用して、業務の効率化、顧客体験の向上、COVID-19パンデミックによる課題への適応を進めています。自動化技術が最前線にあり、過去のマクドナルドの仕事は効率と革新の新時代に置き換わるかもしれません。AIが飲食サービス業界と世界中のレストランを変革している驚くべき方法について探ってみましょう。食品の調理から顧客との対話まで、すべてが革新されています。 ロボットによる繰り返し作業の自動化 ロボットはもはやSFの幻想ではありません。絵のような街、イタリアのラパッロでは、ウェイターロボットが優雅に料理を提供し、技術と美食の融合を示しています。ロボットとAIを活用することで、レストランは食品の配達やキッチンの運営などの繰り返し作業を最適化することができます。これらのロボットは、チップを作ったりフライバスケットを空にしたりするのに長けており、手作業を減らし、効率を向上させます。 また読む: Zomatoが画期的な人工知能を始める 顧客との対話の効率化 パンデミックにより人手不足が発生し、非接触体験への需要が増加したことで、AIを活用した顧客との対話が普及しています。レストランは今やAIを利用してドライブスルーや電話注文などのプロセスを自動化しています。この自動化により、注文の正確性が向上し、人手不足を緩和することができます。AIを導入することで、レストランは運営能力を向上させ、顧客にとってシームレスで個別化された体験を提供できます。 メニューの個別化とアップセルにおけるAIの役割 マクドナルドの象徴的なゴールデンアーチもAI技術を取り入れています。マクドナルドは2019年からAIと機械学習への投資を始め、注文プロセスを革新しました。店内のタッチスクリーンキオスクを利用して、顧客は便利に注文をすることができます。さらに、ドライブスルーのデジタルメニューボードは、時間帯、天候、レストランの混雑具合に応じてダイナミックに調整されます。AIのアルゴリズムは補完的なアイテムを提案し、アップセルのプロセスを自動化し、食事の体験を向上させます。 デリバリーロボットによる人手不足の解消 レストラン業界の持続的な人手不足は、自律型のデリバリーロボットの台頭を促しました。これらのロボットヘルパーは短距離の配達を行い、人手不足による圧力を軽減します。大学キャンパスや都市部は、これらのデリバリーロボットの主要な導入地です。いくつかの施設では、導入後の売上の増加が報告されています。Grubhubが大学キャンパスでロボットを使用したり、Uber Eatsが歩道でデリバリーロボットのテストを行ったりするなど、自律型のデリバリーの可能性は広がっています。 また読む: 機械学習の視点からのロボティクスと自動化 バーチャルアシスタントと電話注文 電話での注文もAIによるアップグレードを受けています。有名なレストランチェーン、ウィングストップは、電話注文を受けるためのバーチャルアシスタントのパイロットを行っています。この技術は人間のような対話を再現し、顧客の好みに基づいて推奨をカスタマイズします。バーチャルアシスタントを活用することで、ウィングストップは待ち時間を短縮し、従業員が料理と接客に集中できるようにします。伝統的な注文体験を希望する顧客には引き続き人間のサポートも提供されます。 私たちの意見 AIの統合により、飲食サービス業界は効率の向上、顧客体験の向上、運用の最適化を推進しています。ロボットウェイターから個別化されたメニューの推奨まで、AI技術は食事体験のあらゆる側面を変革しています。レストランが適応し、革新を続けるにつれて、AIの可能性はますます興味深くなっています。人工知能による飲食の未来がここにあります。

メタが彼らの有望なプロジェクトをすべてオープンソース化 | その理由を知る

はじめに Facebookとして以前は知られていたMetaは、オープンソースソフトウェア開発のリーダーとなりました。この動きは、プロプライエタリな技術に依存している企業にとっては直感に反するかもしれませんが、Metaがすべてのプロジェクトを一般公開する理由はいくつかあります。 また読む：Metaはマルチセンサリーモデルをオープンソース化 この記事では、Metaがなぜオープンソースソフトウェアを強く推奨しているのか、そしてそれが企業にどのように利益をもたらすのかについて探っていきます。 Metaによるオープンソースリリースの規模 過去数年間、AIの分野では有望なオープンソースソフトウェアの数が大幅に増加しています。Metaはこの革命の最前線に立ち、200以上のプロジェクトをオープンソース化しています。しかし、特に効率的に商業化できるプロジェクトを一般に公開することで、会社は何を得るのでしょうか。 Metaの倫理的義務 Mark Zuckerbergを含む同社の主要な人物によると、Metaはオープンソースの結果です。当初、同社のプラットフォームはLinux、Apache、Mysql、PHPの組み合わせであるLAMPから構築されました。そのため、Metaは設立以来、自社のプロジェクトをオープンソース化することに「利他的でイデオロギー的な義務」を感じています。つまり、Metaは共同体に還元する道徳的な義務を感じています。 Facebookはオープンソースコミュニティから多くの教訓を得ており、さらに学ぶことを楽しみにしています。オープンソース化の背後にある3つの最も重要な考えは次のとおりです。 実用的なものを共有する。 ヒーローを強調する。 一般的な問題を修正する。 より良いソフトウェアとコード Meta自身によれば、有望なモデルをオープンソースで公開することは、彼らがより良いソフトウェアを構築し、より良いコードを書くことを意味します。彼らのエンジニアは自分たちの仕事をオープンソース化できると知っているため、より誇りを持って働くことができます。最終的には、エンジニアがMetaが取り組んでいることを自分自身で見ることができるため、トップの人材を引き付けることが容易になります。したがって、これには堅実なビジネスセンスがあります。 また読む：データエンジニアリングの概要 失うよりも得るものが多い 自社のプロジェクトをオープンソースとして公開する決定は、Metaにとって不利よりも有利な可能性があります。競合他社がFacebookのコードを使用しても、会社には大きな害はありません。したがって、Metaはプロジェクトをオープンソースとして公開することで得るものが失うものよりも多いのです。 コミュニティからの無料貢献 Metaは、モデルやコードへのオープンアクセスを提供することで、コミュニティの無料の貢献を活用することができます。この動きは、オープンソースの開発者の間で好意的な評判を得ることにもつながり、彼らがMetaに就職したりセキュリティ上の脆弱性を責任を持って通知したりする可能性が高くなるでしょう。 より優れた採用 コードが公開されると、より多くの開発者がそれに触れることができるため、Metaは求人募集に適格な候補者を見つけやすくなります。この広範な露出はまた、Metaの技術の標準化をインターネット全体でもたらし、会社にとって2つの利点があります：ユーザーベースの拡大とより良いブラウザのサポート。 また読む：AIは人間を置き換えるか？ Gen…

Pythonを使用したMann-Kendall傾向検定

はじめに マン・ケンドール傾向検定は、H.A.マンとD.R.ケンドールにちなんで名付けられた非パラメトリック検定であり、時間の経過に伴う傾向が有意であるかを判断するために使用されます。傾向は、時間の経過とともに単調に増加または減少することができます。パラメトリック検定ではデータの分布について心配する必要がないため、非パラメトリック検定です。ただし、データには直列相関/自己相関（時系列の誤差項が1期から別の期に移動すること）がない必要があります。 マン・ケンドール検定は、特定のデータの分布を仮定せずに、一貫して増加または減少する傾向を検出するために設計されています。これは、正規性などのパラメトリック検定の仮定を満たさない可能性のあるデータを扱う際に特に有用です。 この記事は、データサイエンスブログマラソンの一環として公開されました。 サンプルサイズの要件 サンプルが3または4のように非常に小さい場合、トレンドを見つける可能性が非常に低いです。時間の経過とともにサンプル数が増えるほど、テスト統計量は信頼性が高くなります。ただし、非常に少ないサンプルでもテストを実施することができます。したがって、推奨されるデータは少なくとも10です。 テストの目的 この記事では、列車の脱線に関連する事故について、時間の経過とともに研究します。オリッサ州で最近の列車脱線事故は、再び鉄道の安全性について問題を提起しました。鉄道事故は、事故の種類（例：正面衝突、後方衝突、爆発、側面衝突、脱線、火災など）で分類される場合があります。時間の経過とともに、技術的およびインフラ面で鉄道には多くの改善がありました。しかし、世界中で列車事故は頻繁に発生しています。列車事故は、世界中の鉄道システムで発生する不幸な出来事です。これらの事故は、生命の喪失、負傷、財産の損害につながる可能性があります。 この研究では、年月をかけて、インドの鉄道事故（ここでは脱線事故のカテゴリを研究します）を、過去の改善策を考慮に入れながら、減少させることができたかどうかを判断します。インドの脱線事故に関するデータは、時系列の性質を持っています。2001年から2016年までの脱線事故のデータが整理されています。 私たちのデータ 上記の表から、データの減少傾向が明らかにわかります。2001年から、脱線事故の数は非常に大幅に減少しました。2001年には350件の脱線事故があり、2016年には65件に減少しました。データが順番に整理されているため、Python環境に直接入力して作業することができます。Pythonでデータを適切に視覚化するためにプロットを作成しましょう。 !pip install seaborn import seaborn as sns import matplotlib.pyplot as plt fig =…

AI信頼曲線の先端に立つために オープンソースの責任あるAIツールキットが明らかになりました

今日の急速に進化する技術の風景において、人工知能（AI）は私たちの生活の多くの側面に影響を与える強力なツールとして浮上しています。しかし、AIの倫理的な使用に関する懸念もその進展と並行して増大しています。AIの誤用は偏った結果をもたらし、公衆の信頼を侵食する可能性があります。これらの問題に対処するため、責任あるAIの実践が注目を集めており、業界のリーダーたちはオープンソースの責任あるAIツールキットの開発をリードしています。これらのツールキットとそれらがAIアプリケーションにおける公平さ、透明性、責任を促進する上でどれほど重要かを探ってみましょう。 AI実装における信頼の欠如 アクセンチュアの2022年のテックビジョン調査によれば、世界の消費者のうちわずか35%しか組織がAIを実装する方法を信頼していないという衝撃的な統計が明らかになりました。さらに、77%の人々が、組織はAIの誤用に対して責任を負うべきだと考えています。これらの調査結果は、公平さと責任を優先する責任あるAIの実践を採用するための緊急性を示しています。 関連記事：EUがAIルールで立場を表明 責任あるAIの実践が主流に 大手テック企業は、責任あるAIの重要性を認識し、責任あるAIの実践のための専門の内部チームや部門を設立しています。Finarkein Analyticsの共同創設者兼CEOであるNikhil Kurhe氏は、責任あるAIの実践が主流化し、倫理的なAIの原則がより広く採用されるようになっていると強調しています。 責任あるAIツールキットの力 責任あるAIツールキットは、AIアプリケーションやシステムが公平性、堅牢性、透明性を持って開発されることを保証します。AI開発者はこれらのツールキットを統合することで、公正で責任あるモデルを作成し、ユーザーの信頼を醸成することができます。 TensorFlow Federated：分散型機械学習の強化 TensorFlow Federated（TFF）は分散型機械学習のために設計されたオープンソースのフレームワークです。TFFを使用することで、複数のクライアントでローカルなトレーニングデータを使用して共有のグローバルモデルをトレーニングするフェデレーテッドラーニング（FL）の研究や実験を行うことができます。TFFは開発者に新しいアルゴリズムを探索し、モデルでフェデレーテッドラーニングをシミュレートする機能を提供します。 関連記事：TensorFlowを使用した責任あるAIの構築方法 TensorFlow Model Remediation：パフォーマンスバイアスの解消 Model Remediationライブラリは、モデルの作成とトレーニング中のパフォーマンスバイアスからのユーザーへの害を減らすための解決策を提供します。このツールキットにより、MLプラクティショナーは正確性だけでなく、社会的責任も持つモデルを作成することができます。 TensorFlow Privacy：個人データの保護 Google Researchが開発したTensorFlow…

共分散と相関の違いは何ですか？

イントロダクション 統計の広範な領域において、変数間の複雑な関係を理解し解き放つことは重要です。 データ駆動型の意思決定、科学的な発見、予測モデリングなど、複雑なデータセット内の隠れた関連やパターンを解き明かす能力に依存しています。この追求を支えるさまざまな統計基準の中で、共分散と相関は重要であり、変数間の独立性に関する洞察を提供します。 共分散と相関は統計解析において頻繁に発生する変数ですが、多くの人々が誤解したり、相互に交換可能に使用したりすることがあります。これら2つの基準を区別する微妙なニュアンスは、統計的な関係の解釈と活用に深い影響を与える可能性があります。 したがって、共分散と相関の真の性質を理解することは、データの全ポテンシャルを明らかにしようとするデータ愛好家や専門家にとって非常に重要です。 このブログ「共分散と相関」では、これら2つの統計的概念の違いを説明し、その関係を解明します。 また、Analytics Vidhyaの「データサイエンスのためのSwift学習」コースでスキルを向上させ、データサイエンスのキャリアを活性化しましょう。 共分散 2つのランダム変数間の系統的な関連性を示す統計用語であり、もう一方の変数の変化が1つの変数の変化を反映することを示します。 共分散の定義と計算 共分散は、2つの変数が直接的または逆比例しているかどうかを示します。 共分散の式は、データセット内のデータポイントをその平均値から求めます。たとえば、次の式を使用して、2つのランダム変数XとYの共分散を計算できます： 上記の手順において、 共分散値の解釈 共分散値は、変数間の関係の大きさと方向（正または負）を示します。共分散値は-∞から+∞の範囲を持ちます。正の値は正の関係を示し、負の値は負の関係を示します。 正の共分散、負の共分散、およびゼロ共分散 数値が高いほど、変数間の関係は依存性が高くなります。それぞれの共分散の種類を理解しましょう： 正の共分散 2つの変数間の関係が正の共分散である場合、それらは同じ方向に進化しています。これは変数間の直接的な関係を示しています。したがって、変数は同様に振る舞います。 変数の値（小さいまたは大きい）が、他の変数の重要性と等しい場合、変数間の関係は正の共分散となります。 負の共分散 負の共分散は、2つのランダム変数間の負の関係を示します。この場合、変数は逆方向に動きます。 正の共分散とは異なり、1つの変数の増加に対応して他の変数の値が減少し、その逆も同様です。…

ウェブ3.0とブロックチェーンの進化による洞察力の向上

イントロダクション ウェブ3.0とブロックチェーンに関する洞察を提供するコミュニティThird Blockを構築した熱心な人物であるアビシェク・カテリヤ氏との対話の中で、彼の前職でのJPモルガンでのデータアナリストとしての経験、コミュニティの力、そしてこの分野で成功するためのキャリア構築の視点について共有していただく予定です。 インタビューを始めましょう AV: 自己紹介とバックグラウンドについて教えてください。 アビシェク氏 : 私はアビシェク・カテリヤと申します。フルスタックソフトウェアエンジニアで、JPモルガン＆チェースで3年間働いた後、カリフォルニア拠点のAIトレードファイナンススタートアップのTradeSunに参画しました。その間、非営利セクターでの経験も豊富にあります。私はRoti Bank Foundationの創設メンバーであり、ムンバイ周辺の飢えた人々に食事を提供するための食品回収モデルの構築に取り組んできました。設立から3年間で100万食に達するために、ハイデラバード、アラ、パトナ、ナグプル、プネなどの都市にも支部を展開しました。また、ムンバイの工学大学との協力プロジェクトとして、腐った食べ物の警告装置やムンバイのハンガーマップの開発も行いました。 また、Coding4all.inというイニシアチブの一環として、高校生に無料で基本的なプログラミングを教える活動にも参加しました。5ヶ月間で200人のコホートに到達しました。学生たちがラップトップやコンピュータを持たずにオンラインで学ぶことを可能にし、世界中のテック業界のエキスパートたちが講師として参加しています。これら以外にも、Web3とブロックチェーン技術に興味を持ち始め、JPモルガンのデジタル通貨であるJPMコインプロジェクトに取り組みました。仕事の傍ら、旅行やトレッキングが好きで、インスタグラム（@abhikuchbhi_blog）にストーリーを投稿したり、MBAの進学記録を（@mbabhikuchbhi）に投稿しています。 AV: テクノロジーとビジネスマネジメントのMBAを追求していますが、MBAの取得を促した要因は何ですか？ アビシェク氏: COVIDの間にMBAの計画を諦めましたが、MBAを取得するためにウォートンに行きたいと思っていました。しかし、すべての選択肢を比較する中で、インドは今後の時代において本当に適切な場所であり、Masters’ Unionは私がインドのスタートアップエコシステムに関与するための有望なオプションとして浮かび上がりました。私はあまり考えずにMUに応募し、ヒマラヤでトレッキングに行きました。戻ってきた時にはインタビューの呼び出しがあり、1ヶ月後には入学が決まりました。私はここに来てスタートアップエコシステムをより深く理解し、私のネットワークに価値ある人材を追加するためです。これは本当に素晴らしい旅であり、賢明な決断でした。 AV: キャリアに影響を与えた人物をいくつか挙げていただけますか？どのように影響を受けましたか？ アビシェク氏: 小さい頃、私はいつも「バットマン」と答えていました。アイドルやメンターを持つことの意味を理解することはありませんでしたが、私は常にグリットと努力に感銘を受けたバットマンを尊敬していました。だから、常に前進し、もっとやることを私にはバットマンがインスピレーションを与えています。その他に、私の父でありシリアルアントレプレナーでもあるプラフルクマールさん。彼のベンチャーは成功しなかったものの、彼の忍耐力とグリットは今でも私に「失敗したから何だ」と言い続けてくれます。Masters’ Unionの創設者、プラサム・ミッタルさん。彼は若く、エネルギッシュであり、何でも持っていると言っても過言ではありません。しかし、彼が仕事に注ぐ熱意、エネルギー、努力は本当に素晴らしく、私にとっては確かにインスピレーションです。 起業のインスピレーション AV:…

Langchainを使用してYouTube動画用のChatGPTを構築する

はじめに ビデオとチャットで話すことができたらどのくらい便利だろうかと考えたことがありますか？私自身、ブログを書く人間として、関連する情報を見つけるために1時間ものビデオを見ることはしばしば退屈に感じます。ビデオから有用な情報を得るために、ビデオを見ることが仕事のように感じることもあります。そこで、YouTubeビデオやその他のビデオとチャットできるチャットボットを作成しました。これは、GPT-3.5-turbo、Langchain、ChromaDB、Whisper、およびGradioによって実現されました。この記事では、Langchainを使用してYouTubeビデオのための機能的なチャットボットを構築するコードの解説を行います。 学習目標 Gradioを使用してWebインターフェースを構築する Whisperを使用してYouTubeビデオを処理し、テキストデータを抽出する テキストデータを適切に処理およびフォーマットする テキストデータの埋め込みを作成する Chroma DBを構成してデータを保存する OpenAI chatGPT、ChromaDB、および埋め込み機能を使用してLangchainの会話チェーンを初期化する 最後に、Gradioチャットボットに対するクエリとストリーミング回答を行う コーディングの部分に入る前に、使用するツールや技術に慣れておきましょう。 この記事は、Data Science Blogathonの一部として公開されました。 Langchain Langchainは、Pythonで書かれたオープンソースのツールで、Large Language Modelsデータに対応したエージェントを作成できます。では、それはどういうことでしょうか？GPT-3.5やGPT-4など、商用で利用可能な大規模言語モデルのほとんどは、トレーニングされたデータに制限があります。たとえば、ChatGPTは、すでに見た質問にしか答えることができません。2021年9月以降のものは不明です。これがLangchainが解決する核心的な問題です。Wordドキュメントや個人用PDFなど、どのデータでもLLMに送信して人間らしい回答を得ることができます。ベクトルDB、チャットモデル、および埋め込み関数などのツールにはラッパーがあり、Langchainだけを使用してAIアプリケーションを簡単に構築できます。 Langchainを使用すると、エージェント（LLMボット）を構築することもできます。これらの自律エージェントは、データ分析、SQLクエリ、基本的なコードの記述など、複数のタスクに設定できます。これらのエージェントを使用することで、低レベルな知識作業をLLMに外注することができるため、時間とエネルギーを節約できます。 このプロジェクトでは、Langchainツールを使用して、ビデオ用のチャットアプリを構築します。Langchainに関する詳細については、公式サイトを訪問してください。 Whisper Whisperは、OpenAIの別の製品です。これは、オーディオまたはビデオをテキストに変換できる汎用音声認識モデルです。多言語翻訳、音声認識、および分類を実行するために、多様なオーディオをトレーニングしています。…

Find the right Blockchain Investment for you

Web 3.0 is coming, whether buy Coins, NFTs or just Coding, everyone can participate.

Advertising with us