Distill n' Explain : explicando redes neurais para grafos usando substituto simples

Abstract

Redes neurais para grafos (graph neural networks, GNNs) consistem em generalizações de arquiteturas neurais clássicas (e.g., redes convolucionais) para dados estruturados na forma de grafos. Essas redes têm se tornado a abordagem mais promissora para aprendizagem de representações para grafos, levando a resultados notáveis em diversas aplicações, incluindo geração de novas drogas, sistema de recomendação, tradução automática, e geolocalização de usuário. Apesar desse sucesso, GNNs possuem baixa interpretabilidade, principalmente devido a sua estrutura complexa com altos números de parâmetros. Modelos geradores de explicações buscam minimizar o problema da falta de interpretabilidade através da identificação de subestruturas da entrada (i.e., grafo) mais relevantes para as predições do modelo a ser explicado. Encontrar essas subestruturas geralmente implica em retropropagação através da GNN, vinculando a complexidade (por exemplo, número de camadas) da GNN ao custo de explicá-la. Isso naturalmente levanta a questão: É possível quebrar esse vínculo explicando uma GNN substituta mais simples? Para responder a pergunta, este trabalho apresenta o Distill n’ Explain (DnX) um modelo explicador que extrai explicações através de uma GNN substituta. Primeiro, o DnX aprende um substituto da GNN via destilação de conhecimento. Em seguida, o DnX extrai explicações de nível de nó ou aresta resolvendo um problema convexo simples. Também propomos o FastDnX, uma versão mais rápida do DnX que aproveita a estrutura simples do modelo substituto e extrai explicações usando decomposição linear. Experimentos mostram que o DnX e o FastDnX geralmente superam os explicadores de GNN apesar de sua simplicidade. Além disso, são apresentados resultados teóricos que sustentam a hipótese de que boas explicações de um substituto também caracterizam boas explicações para a GNN que queremos explicar