Degradação de modelos de aprendizado de máquina em visão computacional

Abstract

A degradação de modelos de aprendizado de máquina (ML, Machine Learning) em visão computacional constitui o foco principal desta dissertação, voltando-se intensamente para a questão do Data Drift e Concept Drift. Em um cenário onde o crescimento e a aplicação de ML prosperam rapidamente, o objetivo é avaliar, através de experimentos em visão computacional, as técnicas de detecção de degradação, fundamentando-se firmemente em objetivos específicos que circulam desde a coleta de dados via revisão bibliográfica até a aplicação prática de detectores de data drift e concept drift. A motivação está firmemente na atualidade e aplicabilidade generalizada de ML, destacando uma preocupação essencial com a eficácia e adequação contínuas de modelos em um mercado que demanda de forma crescente por aplicações no campo da inteligência artificial. A pesquisa é justificada pela importância dos modelos de ML na atualidade e pela necessidade crítica de monitoramento e ajustes destes para garantir a sua eficiência e aplicabilidade a longo prazo. O objetivo desta dissertação é avaliar dentro do contexto de ML e MLOps a degradação de modelos de aprendizado de máquina em visão computacional exemplificando por meio de experimentos as técnicas de detecção de degradação. A fundamentação teórica tem foco em machine learning, técnicas de aprendizado, redes neurais convolucionais e MLOps, onde é explorada tecnicas de monitoramento de drift. No contexto dos materiais e métodos, o dataset MURA é utilizado como base para o experimento, plataformas como Pytorch e Deepchecks são utilizadas para execução do modelo de classificação em visão computacional e o monitor de drift respectivamente. Os resultados alcançados são destacados pelo entendimento e análise dos impactos de diferentes níveis de ruído na ordem de 0,005, 0,03, 0,05 e 0,07 do tipo salt and pepper produziram drift’s com valores 6,8802%, 19,8075%, 43,7801%, 52,3139% e 63,7912% respectivamente. Concluímos que a aplicabilidade de plataformas na criação e monitoramento de modelos é de grande relevância para os desafios enfrentados na criação e manutenção dos produtos desenvolvidos na área de apredizado de máquina. Palavras-chaves: Degradação de Modelos, Machine Learning, Visão Computacional, data drift, concept drift, Dataset MURA