Fundamentos básicos. Com tantos pacotes computacionais de alto-nível disponíveis, é fácil perder de vista os conceitos fundamentais de deep learning e acabar caindo em um mundo de heurísticas. No [14, Capítulo 1] apresenta-se uma detalhada discussão sobre o perceptron, incluindo aplicações em problemas de classificação. A [13, Parte 1] detalha os tópicos em matemática aplicada que são fundamentais para quem deseja se aprofundar em deep learning. Vale também um resgate histórico, em [40], os autores apresentam um resgate histórico dos 30 primeiros anos de desenvolvimento das redes neurais artificiais. Aos/às leitores/as recomenda-se fortemente uma implementação manual de uma rede do tipo perceptron multicamadas, com retropropagação, para a compreensão dos conceitos fundamentais de redes neurais artificiais.

Descobrindo com redes neurais. Técnicas de IA têm sido cada vez mais integradas nas ciências e engenharias, ajudando pesquisadores/as a expandir e acelerar suas pesquisas. No E.2.3.5 exploramos a ideia de descobrir construções da operação xor com redes neurais. No artigo [12], a autora e os autores usam PINNs para a construção de uma solução com blowup para as equações de Euler¹⁶¹⁶16Leonhard Paul Euler, 1707-1783, matemático e físico suíço. Fonte: Wikipédia: Leonhard Euler. em ${ℝ}^3$. Uma revisão literária sobre o uso de IA em descobertas científicas é apresentada em [35].

Treinamento por retropropagação e otimizadores. Para que modelos de deep learning tenham um bom desempenho, é necessário um treinamento eficiente. E, a pergunta natural é: qual o otimizador mais adequado? O [13, Capítulo 8] traz uma moderna discussão sobre otimização no contexto do treinamento de redes neurais. No artigo [38], os autores trazem uma sucinta revisão sobre os principais otimizadores usados em deep learning. Revisão mais detalhadas sobre o tema, incluindo-se otimizadores de segunda-ordem, estão disponíveis nos artigos [1, 33].

Arquitetura, penalizações e amostragem. A arquitetura da rede, o balanceamento dos termos da função de perda e a amostragem dos dados de treinamento influenciam diretamente a qualidade do treinamento. A arquitetura pode ser escolhida por busca em grade, busca aleatória, otimização bayesiana ou busca automática de arquiteturas (NAS, do inglês, neural architecture search) [9, 10, 22, 29, 42]. Entre as penalizações, destacam-se as regularizações $L^1$ e $L^2$, o weight decay, o dropout, a interrupção antecipada e os pesos adaptativos baseados em gradientes, incerteza ou NTK [13, 14, 37]. A seleção deve considerar validação, custo computacional, estabilidade e generalização.