Ingeniero/a de Datos | Big Data & Cloud
BC Tecnología
· Remote
Tiempo completo
Data Science
Hoy
Data Science
Atención: eliminamos este aviso de nuestra base de datos al cabo de un mes (limpieza mensual), así que el enlace puede dejar de funcionar. Lo guardamos en tu navegador para que puedas volver a encontrarlo.
Requisitos
- Mínimo 4 años de experiencia profesional.
- Experiencia como Ingeniero/a de Datos / Big Data Engineer.
- Dominio de Python y SQL avanzado.
- Experiencia con Apache Spark / PySpark.
- Experiencia en construcción de pipelines ETL/ELT.
- Experiencia con arquitecturas Data Lake / Lakehouse.
- Experiencia trabajando con AWS y/o Azure.
Tecnologías
AWS: S3, Glue, Athena, Redshift, Lambda, Step Functions, Kinesis/MSK, CloudWatch, IAM.
Azure: ADLS, Data Factory, Synapse Analytics, Databricks, Azure Functions, Event Hub, Azure Monitor.
Data Engineering: Spark, PySpark, Kafka, Kinesis, Event Hub, Parquet, JSON, Avro.
DataOps / DevOps: Git, CI/CD, Azure DevOps, GitHub Actions, Terraform, Docker y Kubernetes.
Gobierno de Datos: Data Catalog, Data Lineage, Data Quality, Glue Catalog y Microsoft Purview.
¿Cuál será tu desafío?
Participarás en el diseño y desarrollo de soluciones Big Data, construcción de pipelines ETL/ELT y evolución de arquitecturas Data Lake/Lakehouse, asegurando la disponibilidad, calidad, seguridad y gobierno de los datos.
Principales responsabilidades
- Diseñar, desarrollar y mantener pipelines ETL/ELT.
- Procesar grandes volúmenes de datos utilizando Apache Spark / PySpark.
- Diseñar y mantener arquitecturas Data Lake / Lakehouse.
- Realizar modelamiento y transformación de datos.
- Participar en iniciativas de Gobierno, Calidad, Catálogo y Linaje de Datos.
- Analizar y proponer mejoras a procesos, sistemas y tecnologías.
- Realizar testing, troubleshooting y aplicación de correctivos.
- Participar en iniciativas de DataOps/DevOps.
- Trabajar con servicios Cloud de AWS y Azure.
PythonSQLBig Data
Fuente: GetOnBoard