Dissertação

Métodos escaláveis e elevação diferenciável para aprendizado profundo topológico

Autor(a) Duarte, Gabriel Jonas da Silva
Orientador Souza Júnior, Amauri Holanda de Pedrini, Hélio Nascimento, Erickson Rangel do
Página simplificada

Resumo

Redes neurais topológicas (topological neural networks, TNNs) compreendem uma classe de redesneuraiscapazesdeprocessardados comestruturarelacional,comografos,complexossimpliciaisecomplexoscelulares.Demodosimilaràsredesneuraisparagrafos,TNNsnormalmente empregamcamadasdepassagemdemensagemondeelementosdaentrada(e.g.,nósefaces)atualizamsuasrepresentaçõescombasenasrepresentaçõesdeseusvizinhostopológicos.Paratarefas preditivasemgrafos,essaetapadepassagemdemensageméprecedidaporumprocedimento não-supervisionado(i.e., definidoapriori)delifting(elevação oulevantamento), noqualgrafos deentradasãotransformadosemobjetosrelacionaisdeordemsuperior(e.g.,hipergrafos).Apesar dosucessoinicialdasTNNs,essesmodelossofremdeduaslimitaçõescruciais,quepretendemos aliviar com este trabalho: o alto custo computacional da etapa de passagem de mensagem e a natureza não-supervisionada de liftings. Para aliviar o custo de TNNs, este trabalho investiga o efeito de removermos não-linearidades em TNNs para complexos simpliciais, o que torna possível pré-computarmoso processode passagem demensagem. Omodelo linearresultante, chamadodeSimpleXCN,demonstroudesempenhopreditivocomparávelàsTNNsenquanto permitiu umaredução de até25% no tempode execução euma diminuição deaté 50% nouso de memória, com a utilização de até 10 vezes menos parâmetros. Além disso, este trabalho propõe ∂lift (DiffLift), uma nova abordagem para aprendizado de elevações de grafos para hipergrafos,complexoscelularesecomplexossimpliciais,habilitandoaprendizagemdeponta aponta(end-to-endlearning)paraTNNsemtarefassobregrafos.Demaneirageral,∂liftutiliza representaçõesde vérticesparaidentificar eparametrizardistribuiçõessobrecélulas deordem superior candidatasà inclusão.Isso resulta emum modeloescalável,que podeser facilmente integradoaqualquerTNN.Nosexperimentos,o∂liftsuperoumétodosdeliftingexistentesem múltiplosbenchmarksdeclassificaçãodegrafosenós,comganhosdeaté45%emacurácia

Palavras-chave

MESTRADO EM CIÊNCIA DA COMPUTAÇÃO (IFCE) - DISSERTAÇÃO REDES NEURAIS PARA GRAFOS

Informações acadêmicas