Trilha Azure + Databricks + Spark — Fim a Fim
Guia prático e progressivo para sair do zero e entregar um pipeline de dados em produção no Azure usando Databricks, Spark, Data Factory e Unity Catalog.
Sem misturar tudo num site. Aqui você abre um módulo por vez, executa, valida, fecha.
Como usar
- Faça um módulo por sessão de estudo (1 a 3h cada).
- Cada módulo tem objetivo, pré-requisitos, passos hands-on (portal + Azure CLI), snippets, validação e pegadinhas.
- Marque o checklist no fim de cada módulo antes de seguir.
- Não pule. M04 depende de M03, M05 depende de M04, e assim por diante.
Trilha (10 módulos + 1 setup)
| # | Módulo | O que você sai sabendo | Duração |
|---|---|---|---|
| M00 | Setup da conta Azure + CLI | Conta free tier ativa, az instalado e autenticado, naming convention | 1h |
| M01 | Resource Group + Storage Account | RG criado, Storage Account com Gen2 habilitado | 1h |
| M02 | ADLS Gen2 + arquitetura Medallion | Containers bronze/silver/gold, ACLs, lifecycle, primeiro upload | 2h |
| M03 | Azure Databricks Workspace | Workspace criado, cluster configurado, Key Vault + Secret Scope, conexão com ADLS | 3h |
| M04 | Primeiro notebook Spark + Delta | Lê CSV do Bronze, transforma com PySpark, grava Delta no Silver | 3h |
| M05 | Azure Data Factory — orquestração | ADF criado, Linked Services, pipeline Copy + Notebook, trigger por horário | 3h |
| M06 | Unity Catalog + Governança | Metastore, catálogos, schemas, external locations, grants, lineage | 3h |
| M07 | CI/CD com Databricks Asset Bundles + GitHub Actions | DAB local → deploy dev → deploy prd via PR/merge | 3h |
| M08 | Pipeline fim a fim — case AdventureWorks (hello-world) | Junta tudo: ingestão SQL Server → ADF → Bronze → Silver → Gold → Power BI | 4h |
| M09 | Case real Uber Eats end-to-end | 5 fontes (Kafka + Mongo + MSSQL + MySQL + Postgres), resolução de identidade B2B↔B2C, streaming de status, star schema, SLA% Power BI. Reutiliza datasets reais da Formação Owshq (mec). | 5h escrita + 6-8h execução |
Total: ~30h de hands-on (~4 semanas a 1h/dia, ou 10 dias intensivos).
Quando fazer M09
Faça M09 só depois de completar M00-M08 e o mod-2 da Formação Owshq (Spark + Delta a fundo). É o case “agora junta tudo” — assume que você já conhece os serviços individualmente. É também o case que você vai contar em entrevista Sr (formato STAR já pronto dentro do módulo).
Pré-requisitos
- Conta de e-mail pessoal (para Azure free tier — USD 200 + 12 meses grátis).
- Cartão de crédito (só para validar identidade — não cobra se ficar no free tier).
- Python 3.10+, Git, VS Code instalados localmente.
- Conhecimento básico de SQL e Python. Spark não precisa: você aprende no M04.
Convenções da trilha
- Tudo em inglês para nomes de recursos (Azure não aceita acento; convenção da indústria).
- Naming:
<projeto>-<ambiente>-<recurso>-<região>. Exemplo:de-dev-adls-brs(Data Engineer / dev / ADLS / Brazil South). - Região default:
brazilsouth(mais perto, menor latência). - Tudo via CLI também: o portal é didático, mas você sai do curso sabendo
azpara colocar em pipeline.
Custo estimado da trilha
Se você for disciplinado (desligar clusters, deletar RG no fim):
| Recurso | Custo estimado |
|---|---|
| Storage (10 GB com Gen2) | ~USD 0,30/mês |
| Databricks (DBU Standard, ~10h de cluster Single Node) | ~USD 5-10 |
| ADF (50 execuções de pipeline) | ~USD 0,50 |
| Total da trilha | < USD 15 (cabe folgado nos USD 200 do free tier) |
Regra de ouro: ao fim de cada sessão, desligue o cluster Databricks (autoscale termination = 10 min) e, se for parar por dias, delete o Resource Group inteiro (az group delete -n <rg>). Você recria em 5 minutos seguindo M01.
Quando parar e perguntar ao tutor
- Se você travar num passo por mais de 30 min, abra a skill
databricks-sparkoucloud-azure(overview) e tire dúvida com o agente. - Se o erro for de billing/Azure conta, pare. Não execute mais nada até resolver — Azure pode cobrar.
Mapa visual da arquitetura que você vai construir (M08)
┌──────────────┐│ SQL Server │ (dataset público — AdventureWorksLT)│ (Azure SQL) │└──────┬───────┘ │ (1) Copy Activity ▼┌──────────────────────────────────────────────┐│ AZURE DATA FACTORY ││ trigger diário 06:00 BRT │└──────┬─────────────────────────────┬─────────┘ │ (2) grava parquet │ (3) chama notebook ▼ ▼┌─────────────────┐ ┌─────────────────────┐│ ADLS Gen2 │ │ AZURE DATABRICKS ││ └─ bronze/ │◄────────┤ - lê bronze ││ └─ silver/ ├────────►│ - limpa, deduplica ││ └─ gold/ │ │ - escreve silver │└─────────┬───────┘ │ - agrega gold │ │ └──────────┬───────────┘ │ │ │ (4) Unity Catalog │ registra tabelas ▼ ▼┌─────────────────┐ ┌─────────────────────┐│ POWER BI │◄────────┤ SQL Warehouse ││ Dashboard │ │ (Databricks) │└─────────────────┘ └─────────────────────┘Bom estudo. Começa pelo M00.