DWH – DBT: Extending with modules

_dbt_modules.md

DBT: Extending with modules

Зачем нужен модуль?

• Переиспользование кода в проектах: макросы, модели, тесты
• Адаптация макросов и моделей под разные СУБД

dbt Package hub

• Примеры модулей: utils, redshift, external_tables, facebook
• Примеры использования макросов, моделей, тестов из модулей

Разработка модуля

• Модуль – это просто dbt-проект, который мы хотим переиспользовать
• Логика модуля - реализуем в виде скриптов и макросов (/models, /macros)

Тестирование работоспособности модуля

• Подготовка подпроекта для тестирования (/integration_tests) и набора данных-заглушек (/integration_tests/data)
• Подготовка сервисов для работы (контейнеры с dbt, СУБД)
• Запуск кода для проверки работоспособности

dbt debug
dbt deps
dbt seed
dbt run
dbt test

• Автоматизация тестирования c Github Actions + настройка Continuous Integration

Использование модуля в проектах

• Импорт модуля в packages.yml
• Конфигурация модуля: enable/disable, значения переменных