Construindo ETL e pipelines de dados com Bash, Airflow e Kafka
A edX está oferecendo gratuitamente o curso Building ETL and Data Pipelines with Bash, Airflow and Kafka.
Sobre o curso
Pipelines de dados bem projetados e automatizados e processos ETL são a base de uma plataforma de Business Intelligence bem-sucedida. Definir seus fluxos de trabalho, pipelines e processos de dados no início do projeto da plataforma garante que os dados brutos corretos sejam coletados, transformados e carregados nas camadas de armazenamento desejadas e disponíveis para processamento e análise conforme necessário.
Este curso foi desenvolvido para fornecer a você o conhecimento e as habilidades críticas necessárias aos engenheiros de dados e especialistas em data warehousing para criar e gerenciar processos de ETL, ELT e pipeline de dados.
Ao concluir este curso, você obterá uma sólida compreensão dos processos Extrair, Transformar, Carregar (ETL) e Extrair, Carregar e Transformar (ELT); pratique a extração de dados, a transformação de dados e o carregamento de dados transformados em uma área de preparação; crie um pipeline de dados ETL usando shell script Bash, crie um fluxo de trabalho ETL em lote usando o Apache Airflow e crie um pipeline de dados de streaming usando o Apache Kafka.
Você ganhará experiência prática com laboratórios práticos ao longo do curso e trabalhará em um projeto inspirado no mundo real para criar pipelines de dados usando várias tecnologias que podem ser adicionadas ao seu portfólio e demonstrar sua capacidade de atuar como Engenheiro de Dados.
Este curso exige como pré-requisito que você tenha habilidades anteriores para trabalhar com conjuntos de dados, SQL, bancos de dados relacionais e scripts shell Bash.
O que você aprenderá
- Descrever e diferenciar entre os processos Extrair, Transformar, Carregar (ETL) e Extrair, Carregar, Transformar (ELT).
- Definir componentes, processos, ferramentas e tecnologias do pipeline de dados.
- Criar processos ETL em lote usando o Apache Airflow e pipelines de dados de streaming usando o Apache Kafka.
- Demonstrar compreensão de como o script de shell é usado para implementar um pipeline ETL.
Essa foi uma dica do Gilson Fonseca