Big Data engineer

Funciones:

• Diseñar, desarrollar e implementar procesos de integración y transformación de datos en entornos Big Data.
• Construir y mantener pipelines de datos escalables y eficientes utilizando Apache Spark y Scala.
• Desarrollar soluciones de procesamiento de datos en arquitecturas de computación distribuida.
• Modelar, diseñar y optimizar esquemas de datos para su almacenamiento y explotación analítica.
• Desarrollar y ejecutar consultas avanzadas en SQL sobre grandes volúmenes de datos.
• Administrar y mantener bases de datos relacionales (Oracle y PostgreSQL) y bases de datos NoSQL, según las necesidades del proyecto.
• Trabajar con tecnologías del ecosistema Big Data como Hive, Impala y Kudu para consulta y análisis de datos.
• Implementar soluciones de ingesta y procesamiento de datos en tiempo real o near real time utilizando Kafka.
• Desarrollar componentes y servicios utilizando Java o Python, aplicando principios de programación orientada a objetos y buenas prácticas de desarrollo.
• Participar en la integración, despliegue y automatización de procesos mediante herramientas de CI/CD.
• Utilizar entornos de desarrollo e IDEs como IntelliJ, Eclipse, control de versiones con Git y gestión de dependencias con Maven.
• Operar y mantener soluciones sobre sistemas Unix/Linux, incluyendo scripting en shell.