Como o Google avança em Deep Learning
O Google utiliza Deep Learning em várias aplicações, desde o reconhecimento de imagens até a tradução automática. Para otimizar o processo de criação dos modelos de Deep Learning, que envolve tempo e esforços de experimentação significativos, o Google tem investido em identificar formas de automatizar esse processo. Dentre os diversos algoritmos estudados, destacam-se os evolutivos (evolutionary) e os de aprendizagem por reforço (reinforcement learning).
Leia também:
Deep Learning é a tecnologia de aprendizado de máquina que mais cresce no mundo
Ciência de Dados é considerada a profissão mais promissora até 2020
Você sabe a diferença entre Machine Learning e Deep Learning?
Na abordagem do Google para algoritmos de aprendizagem por reforço – denominada “AutoML”-, uma rede neural de controle atua como uma arquitetura inicial do modelo, que será treinada e avaliada quanto a qualidade no desempenho de uma tarefa específica. O feedback obtido irá auxiliar o controlador a melhorar suas propostas para a próxima rodada de otimização da arquitetura. Esse processo é repetido diversas de vezes, gerando novas arquiteturas, testando-as e dando feedbacks ao controlador. Com isso, o controlador aprende a atribuir alta probabilidade às áreas do espaço de arquitetura que conseguem uma melhor precisão em um conjunto de dados de validação estendido, e baixa probabilidade para áreas do espaço que obtêm fraco desempenho.
Para ilustrar o processo, essa abordagem foi aplicada a dois conjuntos de dados muito utilizados na comparação de modelos em Deep Learning: o reconhecimento de imagens com CIFAR-10 e a modelagem de linguagem com o Penn Treebank. Em ambos, a abordagem do Google consegue projetar modelos que alcancem precisões compatíveis com modelos de última geração projetados por especialistas em aprendizado de máquina.
A arquitetura escolhida pela máquina apresenta características comuns ao design feito por humanos, tais como usar adição para combinar entradas e estados ocultos anteriores. Por outro lado, pode-se observar diferenciais notáveis como a incorporação, pela arquitetura escolhida pela máquina, de uma combinação multiplicativa, o que não é comum para redes recorrentes.
Uma forma mais simples dessa abordagem foi sugerida, recentemente, por designers humanos, entendendo que a combinação multiplicativa pode aliviar problemas de desaparecimento / estouro de gradientes, o que indica que a arquitetura escolhida pela máquina é capaz de identificar arquiteturas de redes neurais diferenciadas e úteis.
O objetivo do Google é avançar na análise e no teste das arquiteturas geradas por máquinas, com intuito de aprimorar a sua compreensão e inspirar novos tipos de redes neurais customizadas até mesmo por profissionais não especializados na área, ampliando o impacto da aprendizagem de máquina.
