Advertise on podcast: Engenharia de Dados [Cast]

Em que momento a IA deixou de ser uma curiosidade e passou a mudar, de verdade, o jeito de trabalhar com dados? Neste episódio do Engenharia de Dados Cast, Lucas Tancredi recebe Rafael e os profissionais da DataShip Anthony Lucas e Vinícius para uma conversa sobre carreira, produtividade e o uso de IA no dia a dia. Anthony conta como conseguiu construir em menos de um mês um pipeline que, no modelo tradicional, poderia levar meses e exigir uma equipe inteira. Vinícius fala sobre sua experiência com Spec-Driven Development, usando reuniões, notas e requisitos como ponto de partida para desenvolver com mais velocidade e menos retrabalho. Rafael compartilha o que aprendeu em projetos de aceleração de IA com a Microsoft, inclusive assumindo tarefas que antes dependeriam de especialistas de áreas diferentes. A conversa também entra nas perguntas que muita gente da área já está fazendo: O que muda na carreira de quem trabalha com dados?Quais habilidades passam a valer mais?Como usar IA sem terceirizar o raciocínio?Até onde uma pessoa consegue chegar com agentes e bons processos?O que acontece com os times quando um profissional passa a executar o trabalho de vários papéis?Não tem papo de que a IA vai resolver tudo, nem previsão apocalíptica sobre o fim da profissão. Tem experiência real de quem já mudou o próprio workflow e está entendendo, na prática, onde a IA ajuda, onde ainda falha e por que saber trabalhar com ela está virando parte do ofício. Se você trabalha com engenharia de dados e ainda trata IA como algo para "ver depois", este episódio pode ser a sua virada de chave. Lucas Tancredi - Linkedin Rafael Rodrigues - Linkedin Antony Lucas - Linkedin Vinicius Peres - Linkedin  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Prepare-se para uma conversa direta sobre a disciplina que está silenciosamente substituindo a engenharia de dados como a gente conhece, e que ainda não tem nome no mercado brasileiro. Neste episódio, Lucas Tancredi e Luan Moreno discutem, sem rodeios, por que Engenharia Agêntica não é prompt engineering glorificado, o que mudou de verdade no workflow de quem já está construindo sistemas autônomos, e como o Data Engineer chegou ao centro dessa transformação. O que você vai aprender neste episódio: Por que o medo não desaparece mesmo pra quem já constrói sistemas agênticos há dois anos, e o que isso diz sobre a velocidade do que está acontecendo.O que o Karpathy quis dizer com Software 3.0 e por que isso muda a forma como você pensa sobre o seu trabalho com dados hoje.As 5 camadas da Engenharia Agêntica (Prompt, Context, Harness, Loop e Eval Engineering) e por que a maioria das empresas ainda investe tudo na camada menos importante.O que é uma Dark Factory e como um sistema de 42 agentes fez em 6 meses o que um time de 7 pessoas levou 3 anos pra tentar, e ainda encontrou um bug de 137 mil dólares que ninguém havia visto.Por que você não vai ser substituído pela IA, mas pode ser substituído por alguém que a usa melhor do que você, e o que isso significa pra quem está no mercado agora.Este não é um episódio sobre ferramentas. É uma conversa sobre por que esse momento não vai esperar você estar pronto. Lucas Tancredi - Linkedin  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Prepare-se para uma conversa direta sobre o que está mudando na Engenharia de Dados e o que nenhum relatório de mercado vai te contar.  Neste episódio, Lucas Tancredi recebe Luan Moreno e Rafael Rodrigues para discutir, sem filtro, por que o Data Engineer pode estar se tornando obsoleto e o que os profissionais precisam fazer agora para não ficar para trás. O que você vai aprender neste episódio: Por que a tecnologia é cíclica  e como usar esse padrão a seu favor antes que o mercado te pegue de surpresa.O que está mudando na Engenharia de Dados e por que adaptar o título no currículo não resolve o problema real.Por que dominar os fundamentos da tecnologia vale mais do que correr atrás de qualquer ferramenta nova.Como a comunicação eficaz se tornou uma vantagem competitiva real para quem trabalha com dados e IA.O que o mercado está pedindo agora  e como alinhar sua mentalidade a essa nova demanda antes que ela se feche.Este não é um episódio sobre ferramentas. É uma conversa sobre o que separa os profissionais que vão liderar a próxima fase da IA dos que vão ficar esperando a próxima onda passar. Lucas Tancredi - Linkedin  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias? Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles. A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas. Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam. Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação. O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos. O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor. Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo. Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables. Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer.  Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V.  Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho.  Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores. A comunidade é essencial para o crescimento profissional.A formação acadêmica é uma das várias formas de alcançar o sucesso.A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros.A comunicação é uma habilidade crucial no mercado de trabalho.A metodologia GEAR combina teoria e prática para um aprendizado eficaz.A constância no estudo é fundamental para o sucesso.Mentores podem acelerar o aprendizado e a carreira.Projetos solicitados são oportunidades de aprendizado.Networking é vital para oportunidades de carreira.A velocidade das mudanças tecnológicas exige adaptação constante.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Neste episódio do Engenharia de Dados Cast, Vitor Ramos e Victor Grudtner discutem com o convidado Matheus Nogueira sobre a experiência prática com Kubernetes, abordando desde a introdução à ferramenta até desafios enfrentados em produção.  O convidado compartilha dicas sobre como começar a estudar Kubernetes, a importância da observabilidade e a cultura de trabalho em equipes que utilizam essa tecnologia.  Além disso, são discutidos os desafios da arquitetura distribuída e a necessidade de um planejamento cuidadoso para evitar problemas financeiros e operacionais.  Matheus Nogueira compartilha suas experiências e dicas sobre o uso do Kubernetes, abordando desde a importância de evitar o namespace padrão até a comunicação eficaz entre equipes técnicas e de negócios.  Ele discute o futuro do Kubernetes, destacando sua relevância e as tendências emergentes, além de oferecer recomendações práticas para otimização de containers e automação de testes com inteligência artificial.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno. Uma conversa sincera sobre a importância das interações presenciais, a evolução da comunidade de dados e o impacto da Inteligência Artificial no dia a dia dos profissionais. O que você vai aprender neste episódio: A importância do networking e da comunidade para o crescimento pessoal e profissional na área de dados.Como a interação presencial em eventos potencializa o aprendizado e a colaboração.As principais tendências em dados e IA que estão criando novas oportunidades e desafios para o mercado.Por que o domínio dos conceitos fundamentais é mais crucial do que nunca para o sucesso na engenharia de dados.A relevância de FinOps para a gestão eficiente de custos de nuvem em projetos de dados.Reflexões sobre como a dinâmica de eventos e a troca de conhecimento estão evoluindo.O poder de se conectar com líderes da indústria para se inspirar e motivar sua carreira. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

O Impacto da IA Generativa no Presente e Futuro dos Dados Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado. O que você vai aprender neste episódio: Como a IA Generativa está mudando a forma como construímos pipelines, produtos e soluções de dados.Os principais desafios que empresas enfrentam ao implementar GenAI — e por que tecnologia não é mais o problema, mas sim pessoas e dados.O papel da Engenharia de Dados no mundo da IA e como ela se conecta com conceitos como LLMOps, Fine-Tuning, Prompt Engineering e Data-Centric AI.Por que o domínio dos fundamentos nunca foi tão importante para quem trabalha (ou quer trabalhar) com dados e IA.Reflexões sobre o futuro das carreiras em dados e IA — será que os engenheiros de dados, cientistas de dados e desenvolvedores serão substituídos ou terão um papel ainda mais relevante?As diferenças entre usar IA para brincar no ChatGPT e levar IA para resolver problemas de negócios no mundo real, em escala e em produção.Este é um papo sobre IA.  É uma imersão completa sobre os desafios, as oportunidades e a visão de futuro para quem trabalha com dados, engenharia, machine learning e inteligência artificial.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje Mateus Oliveira entrevistou  Ananda Ellen (Engenharia de Dados),  Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution. Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia. Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark. Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo e do Victor, consultores da One Way Solution. Neste podcast iremos falar sobre: Área de AnalyticsApache Spark para IniciantesEsse podcast tem como principal intuito mostrar os desafios que os profissionais iniciantes na área de dados tem em comum, e como você pode se sobressair nestes desafios, com experiências de quem já passou por isso.  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas. Neste bate papo iremos falar sobre: Analytics EngineerModelagem de Dados nas empresasEsse podcast tem como principal intuito mostrar o dia-a-dia dos Analytics Engineer nas empresas para que você, aspirante a esta área, entenda o exercicio da profissão na realidade. Além disso, queremos demonstrar o quanto esta profissão vem crescendo e expandindo em grandes empresas como Clicksign. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Alessandro Gums (Analytics Engineer):https://www.linkedin.com/in/alessandro-gums/ Bruno Bento (Analytics Engineer):https://www.linkedin.com/in/bruno-pereira-bento/  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign. Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir. Neste bate papo iremos falar sobre: Arquiteturas de DadosEngenharia de DadosEsse podcast tem como principal intuito entender melhor como criar e evoluir arquiteturas de dados para melhor atender o negócio e como a engenharia de dados é usada dentro das grandes empresas, indo além de tecnologias e falando de metodologias e processos. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Vinicius Gasparini (Engenharia de Dados): https://www.linkedin.com/in/vngasp/ (editado)   Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac (Analista de dados), Acácio Komesu (Analista de BI), Levi de Carvalho (Analista de Dados) e Franklin Ferreira (Arquiteto de Dados),  integrantes do time de dados e analytics da Clicksign. Data Analytics  sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área de apoio a tomada de decisão a uma área core da empresa, pois o mundo hoje é data-driven, e tornou-se uma questão competitiva produzir e ler dados em grande escala, além de analisá-los para decisões usando Machine Learning, NLP e Generativa. Neste bate-papo iremos falar sobre: Data Analytics;Analytics e Business. Este podcast tem como principal objetivo mostrar como as empresas constroem suas áreas de dados e analytics no dia a dia, como se tornar um profissional atrativo para empresas data-driven como a  Clicksign, e como alinhar tudo com o business da empresa. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Filipe Mubarac (Analista de Dados): https://www.linkedin.com/in/filipemubarac/ Acácio Komesu (Analista de BI): https://www.linkedin.com/in/ac%C3%A1cio-komesu-14b244b5/ Levi de Carvalho (Analista de Dados) :https://www.linkedin.com/in/levidecarvalho/  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution. Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo. Neste bate papo iremos falar sobre: Nas trincheiras da consultoria;Aprendendo Kubernetes;Plataforma de Dados no Kubernetes.Esse podcast tem como principal objetivo mostrar os desafios de criar uma plataforma customizada usando open-source. LinkedIn do time Orion Site da One Way Solution Strimzi MinIO Airflow   Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Thiago Rocha (Scrum Master), Marco Coimbra (Data Product Manager), José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje. Falar sobre dados sem se preocupar com a gestão, pode trazer impactos negativos às entregas envolvendo dados nas organizações. Além disso, entender como as empresas vem produzindo dados é um excelente benchmarking para inovações. Neste bate papo iremos falar sobre: Dados como Produto;Times de dados;Gestão de Dados.O principal objetivo deste episódio é mostrar como as empresas estão tratando esses tópicos no cotidiano. Não apenas no nível técnico e gerencial, mas também com a visão de todos os envolvidos, Scrum Master e DPM (Data Product Manager). Linkedin do time Clicksign Thiago Rocha (Scrum Master): https://www.linkedin.com/in/thiago-rocha98/ Marco Coimbra (Data Product Manager): https://www.linkedin.com/in/marcoantoniocoimbrafilho/ Jose Ivamotto (Head de dados): https://www.linkedin.com/in/jose-ivamotto/ Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians, atualmente como Community Manager/ Developer Advocate na Ampare. Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre:  Desafios na construção da comunidade de código aberto; Visão gerencial de comunidades de dados;Empresas que estão investindo no impulsionamento do Pulsar.Falamos também nesse bate-papo sobre os seguintes temas: Tecnologia como Kuberbetes; Apache Pulsar. Aprenda mais sobre as comunidades de dados e sobre as principais tecnologias do Mercado. Ararob Willians= https://www.linkedin.com/in/aaron-don-williams/  Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram