Trabajo Spark

Role title: Data Scientist Choosing Capgemini means choosing a company where you will be empowered to shape your career in the way you'd like, where you'll be supported and inspired by a collaborative community of colleagues around the world, and where you'll be able to reimagine what's possible. Join us and help the world's leading organizations unlock the value of technology and build a more sustainable, more inclusive world. Location: Colombia RESPONSIBILITIES Develop and maintain efficient ETL pipelines using Azure Data Factory and Databricks to process and transform large datasets for analysis. Analyze large datasets and build machine learning models using Python and Spark to extract actionable insights and solve business problems. Utilize Apache Spark to process and analyze large volumes of data in a distributed environment, ensuring scalability and performance. Deploy machine learning models to production using Azure and Databricks, and monitor their performance for continuous improvement. Work closely with cross-functional teams (data engineers, business analysts, etc.) to understand requirements and communicate insights and results effectively to stakeholders. Requirements Advanced English skills (B2+) Experience in ETL and Azure tools: A minimum of 2-5 years of experience in developing ETL processes using Azure Data Factory, Azure Databricks, and other Azure cloud tools. Knowledge of Apache Spark and Databricks: Experience using Apache Spark for distributed data processing and knowledge of Databricks for data integration and transformation. Proficiency in Python and SQL: Advanced skills in Python for automating processes and manipulating data, along with a strong understanding of SQL for querying and transforming data. Handling large volumes of data: Ability to manage, transform, and optimize large volumes of data using cloud platforms and processing technologies like Spark. Teamwork and communication: Collaborative skills with multidisciplinary teams and effective communication ability to interact with both technical and non-technical stakeholders. WHAT YOU'LL LOVE ABOUT WORKING HERE We recognize the significance of flexible work arrangements to provide support. Be it remote work, or flexible work hours, you will get an environment to maintain healthy work life balance. At the heart of our mission is your career growth. Out array of career growth programs and diverse professions are crafted to support you in exploring a world of opportunities. Equip yourself with valuable certification in the latest technologies.

More digital. More human. More Minsait. Somos una empresa líder global de tecnología y consultoría digital que conecta personas, tecnología y negocios para generar crecimiento, transformación e impacto positivo y sostenible. Buscamos: Arquitecto Big Data con ganas de trabajar en nuestros equipos multidisciplinares. ¿Cuál es el reto que te proponemos? Estarás en contacto continuo con las novedades tecnológicas, impulsando la transformación digital. Participarás en proyectos y desarrollos que tienen una alta visibilidad y que marcan la diferencia con soluciones disruptivas y especializadas para toda la cadena de valor. ¿Qué esperamos por tu parte? Ingeniería de Sistemas, Informática, Matemáticas, Estadística, Electrónica o Ciencias de la Computación. Egresados con Tarjeta Profesional. Certificación en Big Data (Cloudera, Hortonworks, Databricks o equivalente). Cinco (5) años de experiencia laboral en Arquitectura de Big Data o Ciencia de Datos con Hadoop, Spark y Hive. Indispensable. Experiencia el diseño de la arquitectura de datos sobre entornos on-premise y nube privada (OpenStack/OpenShift). Definir la estrategia de ingesta, almacenamiento, procesamiento y exposición de grandes volúmenes de datos. Selección de tecnologías y frameworks (Hadoop, Spark, Kafka, Hive, ClickHouse, MinIO, etc.). Construcción de pipelines de datos desde múltiples fuentes: sensores, logs, APIs, redes sociales y sistemas transaccionales. Implementación de procesos ETL/ELT con Apache Airflow y conectividad segura con sistemas externos. Soporte a ciencia de datos y analítica, preparando entornos de trabajo con Python, Pandas, Spark y JupyterHub. Motivos por los que te encantará ser un #Minsaiter: Conciliación y equilibrio. Carrera profesional y formación continua adaptada a tus necesidades y motivaciones. Contrato indefinido y retribución competitiva, seguro de vida y acceso a planes de retribución flexible. Programas de bienestar. Condiciones Laborales: Lugar de Trabajo: Bogotá. Modalidad de Trabajo: Híbrido. Tipo de Contrato: A Término Indefinido. Salario: A convenir de acuerdo a la experiencia. Minsait, technology for a more human future! Nuestro compromiso es promover ambientes de trabajo en los que se trate con respeto y dignidad a las personas, procurando el desarrollo profesional de la plantilla y garantizando la igualdad de oportunidades en su selección, formación y promoción ofreciendo un entorno de trabajo libre de cualquier discriminación por motivo de género, edad, discapacidad, orientación sexual, identidad o expresión de género, religión, etnia, estado civil o cualquier otra circunstancia personal o social. Esta vacante es divulgada a través de ticjob.co