Iluminação

Em junho de 2021, o Instituto de Investigação Zhiyuan de Pequim (BAAI) lançou o Wudao 2.0, a versão sucessora do Wudao 1.0, apresentando-o como o primeiro sistema de modelos de inteligência artificial em escala gigantesca da China. O Wudao é um modelo de linguagem concebido para superar o GPT-3 da OpenAI e o LaMDA da Google em termos de raciocínio ao nível humano. Após ter sido treinado com 4,9 TB de imagens e texto, e tendo superado o nível de ponta (SOTA) em nove testes de referência, o Wudao está mais próximo do que qualquer outro modelo semelhante de alcançarInteligência Artificial Geral (AGI)e um raciocínio ao nível do ser humano.

O Wudao foi treinado com 4,9 TB de imagens e textos de alta qualidade em inglês e chinês:

• 1,2 TB de dados de texto em chinês
• 2,5 TB de dados gráficos em chinês
• 1,2 TB de dados de texto em inglês

O Wudao foi treinado com base no FastMoE, um sistema MoE de código aberto. O MoE é um tipo deAprendizagem automáticaTecnologia, cujo princípio de funcionamento é o seguinte:

Dividir a tarefa de modelação de previsões em subtarefas, treinar modelos especialistas (aprendizes) para cada subtarefa e desenvolver um modelo de controlo que, com base na entrada a prever, aprenda a qual especialista consultar e combine as previsões. O FastMoE permite que o Wudao consulte em paralelo diferentes modelos especialistas e opte pelo modelo que apresentar os melhores resultados de previsão. Por exemplo, se a entrada for um texto em inglês, o Wudao utilizará o modelo de previsão capaz de gerar respostas a partir de textos em inglês.