Pipeline gồm 6 giai đoạn (Maybe)
Từ dữ liệu thô (Bronze Layer) qua chuẩn hóa (Silver Layer) đến báo cáo và cuối cùng đi vô (Gold Layer)
S1
Ingest
Bronze
S2
Validation
Bronze
S3
Enrichment
Silver
S4
Quality Review
Silver
S5
Gold Publish
Gold
S6
Repo Export
Gold AI
Lớp Bronze
S1 - Ingest Data
Lấy data từ bên ngoài đưa vào để tiến hành pipeline
Vị trí lưu trữ dữ liệu
WorkHub Storage: science_bucket/bronze/
Storage Tier