Atribuições

- projetar e desenvolver pipelines de dados (etls) robustos e otimizados utilizando python e outras ferramentas para extrair, transformar e carregar dados de diversas fontes (bancos de dados, apis, arquivos, etc.). - implementar estratégias eficientes de tratamento de erros e qualidade de dados nos pipelines de etl. - automatizar a execução e monitorar o desempenho dos pipelines de etl utilizando ferramentas como airflow ou outras soluções de orquestração. - projetar e implementar modelos de dados eficientes e escaláveis para suportar as necessidades de análise e geração de relatórios, considerando tanto bancos de dados relacionais quanto não relacionais. - otimizar o desempenho de bancos de dados através da criação de índices, views materializadas e outras técnicas de otimização de consultas. - projetar e implementar apis restful para acesso e manipulação de dados, garantindo a performance, segurança e escalabilidade. - documentar as apis utilizando padrões como swagger ou openapi. - manipular e transformar dados de diversas fontes, incluindo dados estruturados (bancos de dados, planilhas) e não estruturados (logs, textos), utilizando python e sql. - realizar análise exploratória de dados para identificar padrões, tendências e anomalias. Implementar soluções de tratamento e limpeza de dados para garantir a qualidade e consistência das informações. - utilizar ferramentas de etl (como pentaho) para automatizar processos de integração e transformação de dados. - implementar soluções de mensageria (rabbitmq, kafka) para garantir a comunicação eficiente entre sistemas e aplicações. - utilizar git/github/gitlab para versionamento de código e colaborar efetivamente com outros membros da equipe utilizando métodos ágeis (scrum, kanban). Documentar os processos, sistemas e soluções implementadas, incluindo fluxos de dados, modelos de dados e configurações de sistemas. - participar na definição da estratégia de dados da empresa. - mentorar membros da equipe em práticas de des