Métodos escaláveis e elevação diferenciável para aprendizado profundo topológico

Abstract

Redes neurais topológicas (topological neural networks, TNNs) compreendem uma classe de redesneuraiscapazesdeprocessardados comestruturarelacional,comografos,complexossimpliciaisecomplexoscelulares.Demodosimilaràsredesneuraisparagrafos,TNNsnormalmente empregamcamadasdepassagemdemensagemondeelementosdaentrada(e.g.,nósefaces)atualizamsuasrepresentaçõescombasenasrepresentaçõesdeseusvizinhostopológicos.Paratarefas preditivasemgrafos,essaetapadepassagemdemensageméprecedidaporumprocedimento não-supervisionado(i.e., definidoapriori)delifting(elevação oulevantamento), noqualgrafos deentradasãotransformadosemobjetosrelacionaisdeordemsuperior(e.g.,hipergrafos).Apesar dosucessoinicialdasTNNs,essesmodelossofremdeduaslimitaçõescruciais,quepretendemos aliviar com este trabalho: o alto custo computacional da etapa de passagem de mensagem e a natureza não-supervisionada de liftings. Para aliviar o custo de TNNs, este trabalho investiga o efeito de removermos não-linearidades em TNNs para complexos simpliciais, o que torna possível pré-computarmoso processode passagem demensagem. Omodelo linearresultante, chamadodeSimpleXCN,demonstroudesempenhopreditivocomparávelàsTNNsenquanto permitiu umaredução de até25% no tempode execução euma diminuição deaté 50% nouso de memória, com a utilização de até 10 vezes menos parâmetros. Além disso, este trabalho propõe ∂lift (DiffLift), uma nova abordagem para aprendizado de elevações de grafos para hipergrafos,complexoscelularesecomplexossimpliciais,habilitandoaprendizagemdeponta aponta(end-to-endlearning)paraTNNsemtarefassobregrafos.Demaneirageral,∂liftutiliza representaçõesde vérticesparaidentificar eparametrizardistribuiçõessobrecélulas deordem superior candidatasà inclusão.Isso resulta emum modeloescalável,que podeser facilmente integradoaqualquerTNN.Nosexperimentos,o∂liftsuperoumétodosdeliftingexistentesem múltiplosbenchmarksdeclassificaçãodegrafosenós,comganhosdeaté45%emacurácia