Engenharia de Machine Learning no mercado de dados

agosto 1, 2023

Por

Arthur Assis

Head de Machine Learning da A3Data

Inovação e transformação digital

Atualmente observamos a presença de sistemas de inteligência artificial na nossa vida pessoal, no nosso ambiente de trabalho e na indústria. Esses softwares são capazes de realizar tarefas complexas e automatizadas de forma mais eficiente, e têm sido adotados por empresas e organizações em diferentes setores, impulsionando avanços significativos em termos de produtividade e qualidade.

Segundo um estudo da TechRepublic de 2018, 85% dos projetos de inteligência artificial e machine learning falham. A Gartner, uma empresa de pesquisa de tecnologia, fez uma projeção semelhante em 2019, indicando que 85% dos projetos de IA não entregam resultados bem-sucedidos. Essa taxa de falha elevada pode ser atribuída a diversos fatores, incluindo a falta de habilidades técnicas, a má qualidade dos dados, a escolha inadequada de algoritmos, a falta de validação e monitoramento do modelo em produção, entre outros. É fundamental abordar esses desafios de forma estruturada e planejada, considerando todas as etapas do projeto desde a concepção até a implementação e monitoramento contínuo do modelo em produção.

Nos últimos anos a inteligência artificial (IA) teve várias evoluções significativas, incluindo:

Desenvolvimento de técnicas avançadas de aprendizado de máquina, como Deep Learning, Transfer Learning, Reinforcement Learning e GANs, que permitiram que modelos de IA se tornassem mais precisos e eficientes.
Avanços significativos em áreas como visão computacional, processamento de linguagem natural, reconhecimento de fala e robótica, possibilitando a criação de sistemas mais autônomos e inteligentes.
Aumento na disponibilidade de dados de treinamento e modelos pré-treinados, tornando o desenvolvimento de modelos de IA mais rápido e eficiente.
Desenvolvimento de ferramentas de MLOps (Machine Learning Operations) para gerenciamento e monitoramento de modelos de IA em produção, permitindo uma maior escalabilidade e manutenção dos modelos.
Crescimento da consciência sobre a ética e a responsabilidade na aplicação da IA, resultando no desenvolvimento de diretrizes e regulamentações para garantir o uso responsável e justo da tecnologia.

O avanço da IA e as falhas associadas à aplicação dos sistemas que a utilizam, gerou a necessidade de um profissional mais especializado, o Engenheiro de Machine Learning. Em equipes maiores, os Engenheiros de Machine Learning permitem que os Cientistas de Dados dediquem-se à resolução dos problemas de negócio, geração de insights e na modelagem que necessita de conhecimento científico, como estatística e outras formas de modelagem matemática, enquanto a parte de operacionalização da solução fica como responsabilidade do Engenheiro de Machine Learning. Eles são responsáveis por construir e manter pipelines de aprendizado de máquina do início ao fim, que possam transformar dados brutos em insights e previsões úteis. Eles trabalham em colaboração com os Cientistas de Dados e Engenheiros de Software para projetar, treinar e implantar modelos de aprendizado de máquina que possam escalar para lidar com grandes volumes de dados e casos de uso complexos.

Resumindo, a Engenharia de Machine Learning é uma área da engenharia de software que se concentra no desenvolvimento e na implantação de sistemas de aprendizado de máquina em produção.

Engenheiro de Machine Learning e MLOps

A função de um Engenheiro de Machine Learning envolve entender o contexto problema de negócio, provisionar um ambiente que permita ao Cientista de Dados projetar e implementar modelos de aprendizado de máquina e implantá-los em produção. Eles também fornecem meios que permitem monitorar o desempenho dos modelos em produção e continuamente os otimizam para melhorar sua precisão e eficiência. O Engenheiro de Machine Learning deve ser proficiente em linguagens de programação como Python e ter uma compreensão sólida de algoritmos de aprendizado de máquina, estruturas de dados e boas práticas de desenvolvimento. Eles também devem ter experiência em trabalhar com plataformas em nuvem, tecnologias de Big Data e ferramentas DevOps para automatizar o pipeline de aprendizado de máquina e garantir a implantação e manutenção de modelos.

Dentre os vários novos termos que estão se popularizando no universo da IA, um que é importante destacar é o MLOps (Machine Learning Operations). Ele se refere a um conjunto de práticas e ferramentas que visam aperfeiçoar o ciclo de vida do desenvolvimento de modelos de machine learning, desde a construção e treinamento até a implantação e monitoramento em produção. A Engenharia de Machine Learning e MLOps são importantes porque permitem que as empresas extraiam insights valiosos dos dados e os transformem em soluções de negócios eficazes. Além disso, a implementação de MLOps pode trazer diversos benefícios, como a aceleração do ciclo de desenvolvimento, maior eficiência na implementação de modelos em produção, redução de erros e otimização dos recursos computacionais utilizados.

Case sobre Engenharia de Machine Learning e MLOps no setor bancário

Um exemplo da aplicação das técnicas de MLOps e do valor gerado pela engenharia de machine learning é o case do banco Inter. O projeto foi desenvolvido pela consultoria A3Data, uma empresa brasileira que atua no ramo de ciência de dados e inteligência artificial e já executou vários projetos de ciência de dados, análise de dados, engenharia de dados e engenharia de machine learning em empresas relevantes de diversos setores.

Neste projeto foi desenvolvido um framework de engenharia de machine learning com o objetivo de aumentar a produtividade da equipe de ciência de dados, promover a padronização do desenvolvimento de projetos de ciência de dados e implementar a governança dos processos de machine learning. Este framework engloba todas as etapas do ciclo de vida de um modelo de machine learning: concepção, desenvolvimento, deploy, monitoramento e retreino. Após a implementação do framework foi observado uma redução de 60% no tempo gasto para realização do desenvolvimento dos projetos de ciência de dados com impacto direto no aumento da maturidade da equipe de ciência de dados do cliente. Através da governança implementada foi possível viabilizar a auditabilidade dos modelos de machine learning, garantindo uma visão completa do processo de desenvolvimento de forma transparente e ágil.

* Arthur Assis é head de Machine Learning da A3Data.