Uma abordagem prática para implementação de assistentes virtuais utilizando LangChain e modelos de linguagem : desenvolvimento e avaliação de desempenho da Eris, a assistente virtual da PROGEP do IFCE

Abstract

A constante evolução tecnológica no campo da Inteligência Artificial (IA), especialmente a ascensãodosgrandesmodelosdelinguagem,viabilizamaimplementaçãodesoluçõesrobustase sofisticadasparademandasemdiversasáreas. Estapesquisapropõeumasoluçãoparaaprimorar osuporteoferecidopelaPró-reitoriadeGestãodePessoas(PROGEP)doInstitutoFederalde Educação, Ciência e Tecnologia do Ceará (IFCE) aos seus servidores. A abordagem adotada envolveodesenvolvimentodaassistentevirtualEris,utilizandoomodelodelinguagemGPT3.5, o framework LangChain e técnicas de embeddings de palavras. Além do processo de desenvolvimento, a pesquisa se concentra na avaliação de desempenho da Eris. Os critérios de avaliação incluem a qualidade das respostas geradas, o tempo de geração de resposta e o custo médio por geração de resposta. Através de uma escala Likert adaptada, o método de avaliação humana foi utilizado para pontuar as respostas geradas pela assistente. A Eris foi avaliadaatravésde246perguntassobreostemas: remoção,ProgramadeGestãodeDesempenho (PGD) e Plano de Desenvolvimento Pessoas (PDP). Os resultados revelam que 90,65% das respostas da Eris foram classificadas como de qualidade satisfatória ou superior, sendo que 76,02%foramconsideradasequivalentesàqualidadederespostasfornecidasporespecialistas humanos. No aspecto do tempo de geração de resposta, a Eris demonstrou um desempenho muito satisfatório, alcançando um tempo médio de 6,23 segundos por resposta. Ao analisar o custo médio por geração de resposta, foi obtido o valor de R$ 0,2271 por resposta, indicando queaEriséumaassistentevirtualqueestáprontaparaserutilizadaemumcenárioreal,estando aptaasercolocadaemprodução