Pesquisadores do Laboratório de Sistemas Inteligentes da Intel mostraram uma nova técnica que permite aprimorar imagens computadorizadas com gráficos fotorrealísticos. Por meio do deep-learning, o método analisa os quadros gerados pelo jogo e gera novos quadros a partir de um conjunto de dados de imagens reais. Por mais que a técnica ainda esteja em desenvolvimento e demorará um pouco para tornar-se acessível, ela representa um panorama geral da inovação que pode chegar nos próximos anos.
Com o intuito de demonstrar a abordagem, os pesquisadores escolheram o popular GTA V, da Rockstar Games. Apesar de ter sido lançado em 2013, o título continua sendo um sucesso e é visualmente muito bonito, mas ainda pode ser melhorado.
Já é possível realizar o processo de geração de imagens fotorrealísticas, contudo, fazer isso em tempo real ainda é um desafio. No GTA V, os pesquisadores sobrepuseram o sistema de renderização já existente no jogo com o que está sendo desenvolvido. Desta forma, eles conseguiram obter resultados animadores, com uma estabilidade muito superior ao que já foi visto em qualquer outra tentativa similar.
Diferente do DLSS
Os mais interessados pelo assunto já devem ter notado que existe uma semelhança com o Deep Learning Super Sampling (DLSS) da NVIDIA, mas é importante ressaltar que existem diferenças consideráveis entre ambos. O DLSS é projetado para receber uma imagem e, na sequência, apresentar uma versão mais nítida da mesma imagem, enquanto a novidade recebe a imagem e aprimora seu fotorrealismo a partir de um conjunto de dados de imagens da vida real.
O método faz isso através do Cityscapes, que apresenta imagens do Street View da perspectiva de um carro. É criado um quadro inteiramente novo, extraindo recursos do conjunto de dados que melhor correspondem ao que é mostrado no quadro gerado originalmente pela engine do GTA V.
Os pesquisadores Stephan R. Richter, Hassan Abu AlHaija e Vladlen Koltun chamam a técnica de “taxas interativas”, que ainda é muito lenta para ser usado em jogos, atingindo apenas 2 FPS usando uma placa de vídeo NVIDIA RTX 3090. Todavia, os responsáveis acreditam que o método poderá ser aprimorado e otimizado e, quem sabe, possa trazer gráficos verdadeiramente fotorrealistas para VR.
“Nosso método integra abordagens baseadas em aprendizagem com pipelines convencionais de renderização em tempo real. Esperamos que nosso método continue a beneficiar futuros pipelines gráficos e a ser compatível com o rastreamento de raios em tempo real”, afirmam os pesquisadores.
Via: RoadtoVR
Confira também: AMD FidelityFX Super Resolution estará disponível no Xbox