Trabajo Data Engineer Bigdata en Colombia

Rol: Data Engineer Bricks. Descripción: Desarrollador especializado en las tecnologías requeridas a nivel intermedio/avanzado. Debe demostrar proactividad, iniciativa, capacidad de autogestión, comunicación efectiva, trabajo en equipo, enfoque en el logro de objetivos, liderazgo y capacidad resolutiva. Requisitos: Experiencia mínimo de tres (3) años en Implementación de Soluciones con las tecnologías requeridas, realizando las siguientes actividades: Análisis y desarrollo de flujos de ingesta y transformación de datos en Data Lake o Lake House mediante servicios en la nube. Análisis y desarrollo utilizando procesamiento distribuido en Spark con PySpark y Scala (Batch y Realtime). Optimización de procesos en la nube con un enfoque en reducción de costos (tiempo de procesamiento, uso del clúster y servicios Azure). Análisis y schedulamiento de procesos según los criterios definidos por los usuarios. Despliegue de soluciones en producción usando herramientas de integración y despliegue continuo (DevSecOps). Desarrollo de soluciones transversales para la mejora continua del framework de desarrollo y despliegue de soluciones. Aplicación de buenas prácticas, frameworks y estándares de desarrollo en plataformas Cloud. Experiencia trabajando con metodologías ágiles en proyectos. Mínimo tres (3) años de experiencia en al menos dos (2) de los siguientes proyectos en Cloud: Análisis y procesamiento de grandes volúmenes de datos. Construcción de Pipelines de datos, ETL, ELT. Despliegue de soluciones escalables en producción (preferiblemente en entidades bancarias). Migración de procesos hacia plataformas Cloud. Optimización de procesos utilizando procesamiento distribuido. Certificaciones requeridas: Databricks: Databricks Certified Associate Developer for Apache Spark. Databricks Certified Data Engineer Associate. Azure: Azure Data Engineer Associate. Responsabilidades: Diseñar, desarrollar y desplegar soluciones de datos de calidad, óptimos en costos (tiempo de procesamiento, uso del clúster y servicios Azure), seguras y escalables (batch y/o realtime) de acuerdo con la arquitectura unificada de datos (Cloud/On Premise) y estrategias de implementación (To be y transitorias). Desarrollar soluciones utilizando buenas prácticas, frameworks, componentes y herramientas estandarizadas por el COE de Data. Realizar un análisis global de la causa raíz de problemas (RCA) y brindar soluciones. Gestionar el congelamiento y pase a producción de las soluciones de datos, participando en el flujo de despliegue y asegurando la calidad de los entregables, manteniendo saludables los indicadores de rechazos y reversiones. Elaborar los entregables y documentación definidos en el proceso de Data, correspondientes a la solución de datos. Plantear estrategias de implementación eficientes y eficaces de las soluciones de acuerdo con la arquitectura unificada de datos. Implementar automatizaciones y componentes reutilizables que permitan estandarizar las prácticas de desarrollo y construcción de soluciones. Realizar presentaciones sobre el estado de avance del proyecto a nivel de jefaturas y gerencial. Contribuir activamente a través de la aplicación de conocimientos y experiencias en la comunidad del COE de Data. Condiciones Laborales: Lugar de Trabajo: Colombia. Modalidad de Trabajo: Remoto. Tipo de Contrato: A término indefinido. Salario: A convenir de acuerdo a la experiencia. Esta oferta de trabajo es publicada bajo la propiedad exclusiva de ticjob.co

Rol: Data Engineer Requisitos técnicos Profesional en Carreras de Ingeniería de Sistemas, Ciencias o áreas afines. Con mínimo tres (3) años de experiencia en roles similares realizando flujos de extracción, manejo y transformación de data. Con conocimientos en: Airflow, CDK, Snowflake, Python, estructura de datos. Servicios AWS: Cloud Watch, Batch, EC2, IAM, EMR, Elastic Search, Lambda, Step functions, ECS, ECR. Bases de datos relacionales y no relacionales. Kafka Storage Gateway, Glue, Workspace, LakeFormation, IAM, Cognito, CloudTrail. Denodo, Streamsets, Docker, PySpark. Responsabilidades del cargo Será el responsable del diseño, construcción y mantenimiento de nuestra infraestructura de datos, garantizando que nuestros sistemas sean robustos, escalables y eficientes. Desarrollar y mantener pipelines de datos robustos y escalables para la ingesta, procesamiento y transformación de datos de diversas fuentes. Crear flujos de extracción de la data relacional,no relacional y de otras fuentes de datos, con el datawarehousee (Snowflake) Garantizar disponibilidad de la data en el data warehouse Automatizar flujos de actualizacion de datos en el data warehouse Implementar mecanismos de control de calidad para garantizar la precisión, integridad y consistencia de los datos Automatizar conexiones a traves de CDK para la ingesta de datos Monitorizar y optimizar el rendimiento de los sistemas de datos, identificando y resolviendo cuellos de botella Analizar, intregar y extraer data de diferentes fuentes de datos a traves de APIs, S3, Dynamo DB entre otros" Condiciones Laborales: Lugar de Trabajo: Colombia. Modalidad de Trabajo: 100% Remoto. Tipo de Contrato: A término indefinido + prestaciones de ley. Salario: $6.257.000 (Pago mensual). Horario: lunes a viernes, horario de oficina. Excelente ambiente laboral. Esta oferta de trabajo es publicada bajo la propiedad exclusiva de ticjob.co

Rol: Ingeniero de Datos Requisitos: Técnico, Tecnólogo o Profesional en Ingeniería de Sistemas, Electrónica o carreras afines. Experiencia mínima de cinco (5) años como Ingeniero de Datos. Indispensable experiencia en Apache NiFi, Analitica, limpieza e ingesta de datos, dominio de SQL y Python. Deseable: Conocimientos en Spark, Cluster de Hadoop, Scala y HQL. Número de Vacantes: 1 Condiciones Laborales: Lugar de Trabajo: Bogotá. Modalidad de Trabajo: Híbrido. Tipo de Contrato: A término indefinido. Salario: A convenir de acuerdo a la experiencia. Esta oferta de trabajo es publicada bajo la propiedad exclusiva de ticjob.co