「UnbodyとAppsmithを使って、10分でGoogle Meet AIアシスタントアプリを作る方法」

「UnbodyとAppsmithを使って、わずか10分でGoogle Meet AIアシスタントアプリを作る方法」

効果的なコミュニケーションと効率的なミーティングの運営は、現代の職場におけるチームの成功の鍵です。このことに気づいて、Google Meetの録画を自動生成されたミーティングのメモに変換するAIパワードミーティングアシスタントアプリを開発します。このブログ記事は、AIと生産性ツールの交差点に興味を持つ開発者からノーコーダーまで、すべてのクリエイターに対してカスタマイズされています。簡単な低コードツールであるUnbodyやAppsmithを使用してAIアプリケーションを構築したいか、AI開発の経験が限られている方々に特に役立ちます。

AIパワードミーティングアシスタントアプリの紹介

自分のGoogle Driveに接続されたアプリを考えてみてください。そこにはすべてのGoogle Meetビデオ録画が保存されており、会議の音声転写が自動的にキーポイントやアクションアイテムを含むミーティングノートに抽出されます。会議中はノートを取ることなく、会話に完全に集中できます。例えば、遅れてしまった場合や会議に出席できなかった場合でも、アプリがノートを作成してくれます。このアプリは、チームリーダーやプロジェクトマネージャー、開発者、そしてGoogle Meetを頻繁に使用するすべての人にとって、バーチャルミーティングをより生産的にすることができます。

もちろん、既存のOtter.aiやFathomなど、市場には多くの解決策があります。しかし、もし自分でツールを構築して出力をカスタマイズしたいのであれば、私と同じ考え方です。このアプリケーションを開発するために、入力ビデオの転写をインテリジェンス/生成コンテンツに変換するためにUnbodyを使用し、フロントエンドのコーディングを簡素化するためにAppsmithを使用します。アプリ内でのそれぞれの役割を理解しましょう。

Unbodyが頭脳です

Unbodyは、オーディオトランスクリプトの変換やAIアシスタントの要約と知識の伝達など、知識挿入のための私たちのツールの中核に位置しています。Unbodyの高度なAI対応変換と内容分析を使用して、私たちのプロジェクトはあらゆるタイプの会議音声からアクションアイテムを自動的に抽出します。これにより、重要な情報が見落とされることはありません。

• 「あなたのMLアプリケーションを際立たせるための６つの効果的なヒント」
• GPT-4.5 本当か嘘か？私たちが知っていること
• AIによる安全な自転車ヘルメット、そしてより優れた靴のソール

Unbodyはテキストドキュメント、PDF、スプレッドシート、画像、ビデオなど、さまざまな種類のファイルを集約・同期することも可能です。例えば、Google DriveのPDFファイル、Slackチャンネルで共有された画像、ローカルフォルダのビデオファイルなど、すべてをUnbodyに連続的に同期することができます。さらなる詳細は、「一つのエンドポイント、一行のコードでのAI騒動のすべての記事」をAmir Houiehさんによる記事で学びましょう。

Appsmithが私たちのフロントエンドです

Appsmithは、開発者が内部ツールを迅速かつ効率的に構築するのを支援するオープンソースの低コードプラットフォームです。私たちのアプリのフロントエンドとして機能し、ミーティングの要約とアクションアイテムを表示するカスタマイズ可能でインタラクティブなダッシュボードを提供します。Appsmithは、Unbodyが公開するGraphQLにデータソースとして接続し、データを取得・表示するためのウィジェットを提供します。

Appsmith Cloud上で実行中のアプリを表示するために、このワンクリックデモリンクに従ってください。

動作原理

必要な手順は以下の通りです。

1. Google Meetセッション中にビデオ録画を有効にし、録画は自動的にあなたのGoogle Driveのマイドライブ > ミーティング録画フォルダにアップロードされます。
2. Google DriveをUnbodyのコンテンツソースとして接続します。Unbodyは、変更があった場合にドライブの最新情報を取得します。UnbodyのAIパワードエンジンは、コンテンツを処理し、インデックス化します。例えば、ビデオの転写からキーポイントや意思決定を抽出するために、Unbodyを使用します。
3. GraphQLを使用してUnbodyのコンテンツAPIから結果を取得します。ビデオ録画とAppsmithダッシュボードの間でデータのインターフェースとしてGraphQLエンドポイントを使用します。
4. Appsmithダッシュボードにアクセスして、会議の要約とアクションアイテムを表示します。ダッシュボードは、すべての進行中のタスクと期限のリアルタイム概要を提供します。以下の図は、例のデータを含むダッシュボードを示しています。

アプスミスのダッシュボードでAIアシスタント生成のレポートの会議

全体のプロセスを理解するために、次のGIFを参照してください：

プロジェクトのセットアップと実行方法

Appsmith UI用のプロジェクトソースコードとサンプルのGraphQLクエリは既に実装されており、GitHubリポジトリで確認できます。UnbodyコンテンツAPIをセットアップし、独自のGoogleドライブに接続し、UIを実行するには、このガイドに従う必要があります。

前提条件

1. Google Meetを使用し、ビデオ会議の録画をするための要件を満たしていること。
2. Unbodyのアカウントをお持ちであること。お持ちでない場合は無料で新しいアカウントを作成してください。
3. Appsmithのアカウントをお持ちであること。
4. GitHubリポジトリをフォークしたこと（前の段落でリンクされています）。

ステップ1：Google Meetでビデオ録画をアクティベートする

会議に入ったら、Google Meetセッションでビデオ録画とトランスクリプトを開始します。

録画が停止されるか会議が終了すると、それは自動的に「Meet Recordings」というフォルダにGoogleドライブに保存されます。

ビデオ録画は自動的にGoogleドライブに保存されます

ステップ2：Unbodyプロジェクトのセットアップ

1. Unbodyのダッシュボードにアクセスし、新しいプロジェクトを作成します。最初にAIエンジンと機能を設定することをおすすめします。

Unbodyの機能の設定

Unbodyは大規模な言語モデル（LLMs）という先進のAI技術を使用してテキスト入力を解釈します。これらのモデルはさまざまなタイプと構成で提供されており、Unbodyでは幅広い選択肢があります。ここでは、テキストベクトル化とジェネレーティブサーチという2つの機能を使用する予定です。テキストベクトル化は、Google MeetのトランスクリプションをAIが理解できる形式に変換します。トランスクリプションをベクトル化するためのモデルの選択については、オープンソースかつ無料のContextionaryオプションを使用することをおすすめします。

以下はテキストベクトル化に関する技術的な詳細です:

これはトランスクリプションのベクトル表現を作成するアルゴリズムです。ベクトル表現は、5.5や0.25、-1.2などの浮動小数点数です。2つのベクトル間の距離は、それらの関連性を測定します。距離が短いほど関連性が高く、距離が長いほど関連性が低いと考えられます。Unbodyはベクトル表現もインデックスして簡単に検索できるようにしています。それを図書館で本を整理するようなものと考えてください。簡単に見つけるためのお手伝いをしてくれると言えます。

Unbodyがデータをインデックスした後、さまざまな生成サーチエンジン（現在はOpenAI（ChatGPT）のみ）を提供しています。これにより、テキスト素材の上で生成アクションを実行できます。GPTは非常に優れた言語理解と使用能力を持っており、人間と似たような方法で言語を操作することができます。このエンジンは、会議で話し合われた内容を要約し、タスクや「アクションアイテム」を特定するのに役立ちます。まるで会議を聞いて、キーポイントや次に行うべきことを教えてくれるアシスタントのようです。また、Unbodyは将来的に他の生成エンジンもサポートし、さらに選択肢を提供します。

2. GoogleドライブとGoogleカレンダーに接続する（アプリにイベントの詳細を含める必要がある場合はオプション）。

Unbodyはデータソースに接続して新しいプロジェクトを作成します

データソースに正常に接続すると、データソースリストにGoogleドライブとGoogleカレンダーが表示されます：

GoogleドライブとカレンダーがUnbodyの選択されたデータソースです

ステップ4：GraphQLクエリの作成

Unbodyには使いやすいGraphQLプレイグラウンドがあり、GraphQLタブを開いてリポジトリ内の既存のクエリを試したり、Google Calendarからアクションアイテムを抽出したり、イベント予約の詳細を取得する新しいクエリを作成することができます。

Unbody GraphQLプレイグラウンドでカスタムクエリを作成する

ステップ5：Appsmithでフロントエンドをセットアップする

次に、既存のAppsmithアプリケーションをGitHubリポジトリから持ってきます。それをAppsmithアカウントの新しいワークスペースにインポートします。AppsmithウェブサイトのImport From Repositoryの手順に従ってください。

また、クラウドバージョンに加えて、ローカルマシンにもDockerを使用してAppsmithをインストールすることもできます。

インポートが完了すると、次のようなキャンバスが表示されます：

UIアプリを構築するためのAppsmithキャンバスの例

ドラッグアンドドロップのインターフェースを使用してダッシュボードをカスタマイズできます。必要に応じて、テーブル、テキストボックス、ボタンなどのウィジェットを変更または追加します。ただし、AppsmithはUnbodyのAPI_KEYやPROJECT_IDなどのデータソースへの接続に使用されるシークレット構成やヘッダーの値をエクスポートしません。Unbodyのダッシュボードで生成された個人用APIキーとプロジェクトIDを見つけ、データソースヘッダーに手動で設定する必要があります。

AppsmithにUnbodyをデータソースとして接続する

プロジェクトでは、AppsmithでUnbody GraphQLサーバーに接続するためのデータソースを設定します。これを使用して会議の要約を取得し、ダッシュボードに表示します。インポート後、他のAPIクエリ、UIページ、およびウィジェットが自動的に作成されます。

Appsmith用にUnbody GraphQLクエリを登録します

画面右上のプレビューボタンをクリックしてアプリを実行できます。最終的に、すべてのデータが表示されるダッシュボードが表示されます。

結論

Google Meetのビデオ録画をアクション可能な要約とタスクに変換できる完全な機能を備えたアプリケーションを作成しました。AIパワードの会議レポートアプリは、任意のコンテンツを理解可能で問い合わせ可能な知識ベースに変換する良い例です。RAG（Retrieval-Augmented Generation）アプローチを使用して、単一のGraphQLエンドポイントを介して直感的で強力なコンテンツインタラクションプラットフォームを提供しました。また、Appsmithの低コードのドラッグアンドドロップインターフェースを使用することで、通常必要とされる時間と労力を大幅に削減しました。より高度な機能については、UnbodyとAppsmithの両方がJavaScriptとTypeScriptの使用を許可しており、開発者はカスタムロジックを書く柔軟性があります。

次のステップ

このセットアップガイドは基本的なフレームワークを提供しますが、特定の要件に合わせて拡張およびカスタマイズすることができます。アプリケーションでは、*Ask Meeting Notes.* という未完成のページがあることに気付きます。この記事で学んだ知識を適用して、Generative Q&A機能を使用した新しいGraphQLクエリを実装し、データを出力テキストウィジェットに持ってくることができます。ユーザーは検索バーから会議からの特定の情報を検索できます。

おすすめコンテンツ

• リアルタイムエンタープライズジェネレーティブAIアプリケーション用のデータストリーミングパイプラインの作成方法

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!