DBC Company
Engenharia de Dados Sênior (GCP)
Job Description
Responsabilidades
- Desenvolver componentes para ingestão e processamentos de dados em cima de plataforma GCP;
- Análise e throubleshooting dos ambientes que compreendem a plataforma de dados;
- Desenho e implantação de novas arquiteturas para disponibilização de dados;
- Atuar na frente da área de dados, apoiando, direcionando e capacitando a equipe atual, para desenhar e implementar as melhores soluções.
Requisitos
- Experiência em Governança de Dados com a ferramenta Data Catalog;
- Experiência atuando com Engenharia de Dados;
- Experiência com BigQuery (armazenamento e processamento analítico em larga escala);
- Experiência com Cloud Storage, Cloud Pub/Sub, Dataflow, Dataproc, Composer (Apache Airflow gerenciado);
- Experiência com Cloud Functions, Cloud Run, e Kubernetes (GKE);
- Experiencia com Cloud Composer (Airflow), dbt, Apache NiFi, etc;
- Experiência com metodologia ág...