Ruta Data Engineer: recursos y camino


Te apasiona la tecnología, el código y los datos; este es tu lugar.

Ciclo de vida de datos

En esta primera etapa se debe comprender el ciclo de vida de los datos, de dónde provienen, cómo se almacenan y todo el uso que se les puede dar.

Conocer y entender la función de los diferentes roles de data y cómo interactúan entre ellos.

  • Data Engineer
  • Data Architect
  • Data Analyst
  • Data Science
  • BI Engineer
  • ML Engineer
  • AI Engineer

Recursos:

Qué hace un Data Engineer

Entender el rol del Data Engineer.

Recursos:

Habilidades básicas para iniciar como Data Engineer

Fundamentos

Aprende los fundamentos, tecnologías, arquitecturas y patrones de diseño.

  • Data Warehouse
  • Data Lake - Lakehouse
  • Arquitectura Medallion
  • Qué es la ingesta de datos
  • Qué son los archivos .parquet
  • Dónde se almacena realmente la data?

Recursos:

Escoge tu stack de datos

Existen múltiples rutas de aprendizaje y cada una lo hace con un stack de datos como por ejemplo:

  • GCP: Bigquery, Cloud Storage, Cloud Function, Airflow
  • AWS: Snowflake, S3, Airflow, dbt
  • Azure: Databricks, Data Factory
  • Entre otros…

Recursos por stack:

Azure + Databricks

GCP

En mi opinión, este es el mejor camino.

Airflow

dbt

Kafka