「KafkaとDistributed Ray Serveのデプロイメントを統合する」

Integrating Kafka and Distributed Ray Serve Deployment

Ray Serveデプロイメントと非同期Kafkaコンシューマをシンプルに組み合わせる方法を学ぶ

Rayは、Pythonで分散アプリケーションを簡単に作成できるモダンなオープンソースフレームワークです。簡単なトレーニングパイプライン、ハイパーパラメータのチューニング、データ処理、モデルの提供などが可能です。

Rayでは、Ray Serveを使用してオンライン推論APIを作成できます。複数のMLモデルとカスタムのビジネスロジックを簡単に1つのアプリケーションに組み合わせることができます。Ray Serveは、デプロイメント用のHTTPインターフェースを自動的に作成し、障害耐性とレプリケーションにも対応します。

ただし、Ray Serveには現時点では1つの欠点があります。多くのモダンな分散アプリケーションはKafkaを介して通信しますが、Ray ServeサービスをKafkaトピックに接続するための簡単な方法は提供されていません。

しかし、心配しないでください。Ray ServeをKafkaと通信できるようにするためには、あまり多くの努力は必要ありません。では、始めましょう。

• 物理情報ニューラルネットワークとシンボリック回帰を用いた微分方程式の発見
• サッカーにおけるゴールはどれくらいランダムであるのか？
• 「Stack Overflowは、OverflowAIによって開発者サポートを革新します」

まず、ローカル環境を準備する必要があります。KafkaとKafdrop UIのDockerコンテナを使用するdocker-composeファイルを使用して、ローカルのKafkaインスタンスを起動し、探索します（DockerとDocker Composeがインストールされていることを前提としています）。また、作業を完了するためにいくつかのPythonの要件をインストールする必要があります：

• Ray自体
• aiokafka

すべての要件は、このリンクからダウンロードできます。

次に、Ray Serveで提供されるRay Deploymentとして提供されるray-consumer.pyファイルを作成します。Ray Serveの概念については、ドキュメントで詳細を読むことができます。基本的には、通常のPythonクラスを非同期サービスとして変換するために、@serve.deploymentデコレータを使用する：

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!