Caso de éxito
HAMS opera una plataforma de datos multi-ambiente sobre Amazon EKS, Karpenter y Airflow (MWAA)
Resumen
HAMS es una empresa alemana de BPM y data analytics (ML y Big Data). Durante una relación recurrente de tres años, Craftech operó su plataforma de datos sobre Amazon EKS con Karpenter, MWAA/Airflow para la orquestación de pipelines y observabilidad con Grafana, en un esquema multi-ambiente segmentado por cliente y con presencia en AWS y GCP.
HAMS trabaja en la intersección del BPM y el data analytics, aplicando machine learning y Big Data al servicio de sus clientes. Ese tipo de operación exige una plataforma de datos robusta, capaz de orquestar pipelines complejos y de mantener un aislamiento estricto entre los datos de cada cliente. Para operar esa plataforma sobre AWS y GCP a lo largo del tiempo, HAMS confió en Craftech.
Solución implementada
- Operó una plataforma de datos sobre Amazon EKS en un esquema multi-ambiente
- Implementó autoescalado eficiente de nodos con Karpenter
- Orquestó pipelines de datos y ML con Amazon MWAA (Apache Airflow)
- Sumó procesamiento serverless con AWS Lambda
- Automatizó el CI/CD con CircleCI
- Habilitó observabilidad de la plataforma con Grafana
- Segmentó la plataforma con aislamiento por cliente, con presencia en AWS y GCP
Desafío de negocio
HAMS necesitaba una plataforma de datos escalable y multi-ambiente, con orquestación de pipelines de datos y ML, eficiencia de cómputo y aislamiento para cada uno de sus clientes. El reto combinaba escala —procesar volúmenes importantes de datos— con gobernanza: mantener separados y seguros los entornos y los datos de clientes distintos, sobre una infraestructura que abarcaba dos nubes.
Solución
Craftech operó una arquitectura sobre Amazon EKS, usando Karpenter para el autoescalado eficiente de nodos, de modo que la capacidad de cómputo siguiera la demanda real de los pipelines. La orquestación de los pipelines de datos y ML se resolvió con Amazon MWAA (Apache Airflow gestionado), complementada con AWS Lambda para procesamiento serverless. El ciclo de entrega se automatizó con CI/CD sobre CircleCI, y la observabilidad de la plataforma se montó con Grafana. Todo esto se organizó en un esquema multi-ambiente segmentado por cliente, que garantizaba el aislamiento, con la plataforma operando tanto en AWS como en GCP.
Resultados
- Plataforma de datos escalable y multi-cliente sobre Amazon EKS
- Autoescalado eficiente de cómputo con Karpenter
- Pipelines de datos y ML orquestados con MWAA/Airflow
- Aislamiento por cliente en un esquema multi-ambiente
- Observabilidad de la plataforma con Grafana, sobre AWS y GCP
Trabajar con Craftech
A lo largo de tres años, Craftech funcionó como el equipo de plataforma de datos de HAMS, operando una arquitectura exigente y evolucionándola según las necesidades del negocio. La combinación de Amazon EKS, Karpenter y Airflow dejó a HAMS con una plataforma escalable, eficiente y multi-cliente, capaz de sostener su operación de analytics y ML con el aislamiento que su negocio requería.
Tecnologías utilizadas
La plataforma se basa en Amazon EKS como motor de orquestación de contenedores, con Karpenter para el autoescalado de nodos. Los pipelines de datos y ML se orquestan con Amazon MWAA (Apache Airflow), y se complementan con AWS Lambda para procesamiento serverless. El CI/CD corre sobre CircleCI y la observabilidad se apoya en Grafana. La plataforma opera en un esquema multi-cloud sobre AWS y GCP.
Stack & tecnologías
¿Tu equipo enfrenta un desafío parecido?
Pedí un assessment gratuito de costos y arquitectura en AWS.
