「dbtモデルのユニットテストを実装するためのシンプル(かつ効果的な)アプローチ」

Simple (and effective) approach for implementing unit tests for dbt models.

dbtモデルのユニットテストは、dbtエコシステムの最も重要な欠落部分の1つでした。この記事では、標準とdbtのベストプラクティスに依存する新しいユニットテストのアプローチを提案しています。

Fabio Ballasina氏の写真(Unsplashより)

dbtがソフトウェアエンジニアリングのベストプラクティスをデータエンジニアリングの領域に導入して以来、その機能とその周辺のエコシステムは、データ変換のさらなる領域をカバーするために拡大し続けています。

しかし、「ソフトウェアエンジニアリングのベストプラクティスを用いたデータエンジニアリング」のパズルの中で、重要な一部であるユニットテストは未解決の問題のままです。

ユニットテストの重要性、それが「本番用に準備ができた」と呼ばれる前のコードのすべての行に対してなぜ重要であり、dbtのテストやデータ品質テストとは異なるのかについては、すでに見事に取り組まれて説明されています。しかし、1分間のエレベーターピッチでその重要性を要約するなら、次のようになります:

データエンジニアリングでは、一般的に2つの異なる要素をテストしたいと考えています:データとコードです。dbtのテスト(および他のデータ品質システム/ツール)はデータをテストすることを可能にし、ユニットテストはコードをテストすることを可能にします。

上記を考慮すると、コミュニティによるdbtのオープンソースのユニットテスト機能の向上(Equal Expertsのdbt Unit TestingパッケージやGoDataDrivenのdbtに特化したPytestプラグインなど)の試みが複数ありました。しかし、これらのパッケージは機能が制限されており、学習曲線が急です。

この記事では、よりシンプルでエレガントな異なるアプローチを紹介し、スケーラブルで信頼性のあるユニットテストプロセスを実装するために標準とdbtのベストプラクティスに依存しています。

モデルのユニットテスト vs. CTEs

アプローチに入る前に、ユニットテストを実行するレベルを定義しましょう。答えるべき質問は…

We will continue to update VoAGI; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

データサイエンス

「3つの質問:ロボットの認識とマッピングの研磨」

MIT LIDSのLuca CarloneさんとJonathan Howさんは、将来のロボットが環境をどのように知覚し、相互作用するかについて議論し...

機械学習

3つの質問:大規模言語モデルについて、Jacob Andreasに聞く

CSAILの科学者は、最新の機械学習モデルを通じた自然言語処理の研究と、言語が他の種類の人工知能をどのように高めるかの調査...

データサイエンス

「Adam Ross Nelsonによる自信のあるデータサイエンスについて」

データサイエンスの中で新たな分野が現れ、研究内容が理解しにくい場合は、専門家や先駆者と話すのが最善です最近、私たちは...

人工知能

「LeanTaaSの創設者兼CEO、モハン・ギリダラダスによるインタビューシリーズ」

モーハン・ギリダラダスは、AIを活用したSaaSベースのキャパシティ管理、スタッフ配置、患者フローのソフトウェアを提供する...

人工知能

「クリス・サレンス氏、CentralReachのCEO - インタビューシリーズ」

クリス・サレンズはCentralReachの最高経営責任者であり、同社を率いて、自閉症や関連する障害を持つ人々のために優れたクラ...

人工知能

「UVeyeの共同設立者兼CEO、アミール・ヘヴェルについてのインタビューシリーズ」

アミール・ヘヴァーは、UVeyeのCEO兼共同創設者であり、高速かつ正確な異常検出により、自動車およびセキュリティ産業に直面...