Treine um agente em um ambiente de aprendizagem por reforço
Este exemplo mostra como treinar uma rede neural simples para maximizar sua recompensa no ambiente "Simulated Cart Pole" usando o método REINFORCE (Williams, 1992). O ambiente Cart Pole (carrinho com pêndulo invertido) consiste em um carrinho que se move ao longo de um trilho unidimensional sem atrito e um pêndulo pesado preso ao carrinho por uma dobradiça (também conhecido como pêndulo invertido). O carrinho tem alguma velocidade inicial, de tal forma que o pêndulo cairá sem intervenção. O objetivo do agente é manter o pêndulo na posição vertical pelo maior tempo possível. Isso é feito aprendendo quais das duas ações possíveis (mover para a esquerda ou para a direita) devem ser executadas a qualquer momento.
Carregue e renderize o ambiente em seu estado inicial.
Defina uma rede simples que aprenda uma estratégia para escolher se deve mover o carrinho para a esquerda ou para a direita.
Defina uma função de perda para o aprendizado baseado em gradiente de política.
Defina uma função geradora que irá amostrar dados de treinamento para a rede.
Treine a rede de políticas e meça o fator de desconto médio.
Anime o ambiente com a rede de políticas treinada (clique na imagem a seguir para ver uma animação). Observe que o pêndulo fica na vertical.
Compare isso com um agente considerando ações aleatórias no ambiente (clique na imagem a seguir para ver uma animação).
