Streaming Data Engineer

En SDG Group somos líderes globales en Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde 1994 hemos acompañado a la mitad del IBEX-35 y a algunas de las compañías más destacadas a nivel internacional en su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestras alianzas estratégicas con Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado.Nuestro equipo de Data Technologies es el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinando innovación, expertise y autonomía real.Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto. Aquí no solo presentarás proyectos, desarrollarás casos de uso innovadores, colaborarás con expertos de primer nivel y posicionarás a SDG como referente.➡️ ¿Cómo será tu día a día?🔹Diseñarás y desarrollarás soluciones end-to-end para procesar datos en tiempo real, desde el problema de negocio hasta los pipelines en streaming, escalables y de baja latencia.🔹Trabajarás con tecnologías como Apache Kafka, Apache Flink, Spark Structured Streaming, Kafka Streams y Apache Beam, generando insights en tiempo real.🔹Procesarás y almacenarás datos en streaming utilizando formatos como Delta Lake con CDC, Apache Iceberg,transformando en tiempo real con ksqlDB, Kafka Streams o funciones lambda, garantizando eficiencia y baja latencia en entornos cloud (AWS MSK, AWS Kinesis, Azure Event Hubs, GCP Pub/Sub).🔹Definirás arquitecturas avanzadas siguiendo metodologías como Kappa Architecture, Lambda Architecture y Real-Time Data Lakehouse, mejorando la gestión y aprovechamiento de datos en streaming.🔹 Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones de procesamiento real-time eficientes.🔹Explorarás y evaluarás tecnologías emergentes, como Confluent Cloud, Databricks Delta Live Tables, Clickhouse, Apache Pinot, RedPanda, RisingWave... contribuyendo a mantener nuestros proyectos a la vanguardia.🔹 Impulsarás la calidad y observabilidad de datos en tiempo real aplicando DataOps, Stream Quality Monitoring y CI/CD, asegurando pipelines confiables y resilientes. ➡️ ¿Qué te hará triunfar en esta posición?🔹 Formaciónen Ingeniería Informática, Telecomunicaciones, Matemáticas, Física, o similares.🔹Experiencia en procesamiento de datos en tiempo real: al menos 5 años trabajando con arquitecturas de streaming y event-driven en entornos de alta disponibilidad, utilizando lenguajes como Python, Scala o Java y tecnologías como Apache Kafka, Apache Flink, Spark Structured Streaming, Kafka Streams, ksqlDB o Confluent Cloud; conocimiento de arquitecturas real-time (Kappa, Lambda, Real-Time Lakehouse) y tecnologías de almacenamiento como Delta Lake, Apache Iceberg o Apache Hudi.🔹 Buenas prácticas y gestión de código: Git, CI/CD para pipelines streaming, monitorización de latencia y throughput, control de calidad de datos en tiempo real, exactly-once semantics y gestión de state en sistemas distribuidos.🔹 Mentalidad de innovación: Curiosidad por tecnologías emergentes en el ecosistema streaming (Apache Pulsar, Flink, RisingWave, Materialize), con disposición a experimentar y proponer arquitecturas de baja latencia y alta resiliencia.🔹 Que puedas comunicarte en ingléspara trabajar en entornos globales y colaborar con equipos internacionales.Valoramos también:🔹 Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas.🔹 Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow.➡️¿Qué nos hace diferentes?Aquí no somos una empresa más... ¡somos un equipo que va a por todas!🔹Tecnología e innovación sin límites. La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando.🔹Desarrollo profesional a tu medida. Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos.🔹Un equipo que te acompaña desde el primer día. Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental.🔹Propósito y valores que nos definen. Creemos firmemente en la diversidad y la inclusión como motore