Dall-E: Programa de inteligência artificial

DALL-E
Uma imagem gerada pelo DALL-E 2 de uma mão robótica desenhando
Desenvolvedor	OpenAI
Lançamento	5 de janeiro de 2021 (3 anos)
Página oficial	openai.com/blog/dall-e/

Ele usa uma versão de 12 bilhões de parâmetros do modelo GPT-3 Transformer para interpretar entradas de linguagem natural (como "uma bolsa de couro verde em forma de pentágono" ou "uma visão isométrica de uma capivara triste") e gerar imagens. Ele pode criar imagens de objetos realistas ("um vitral com a imagem de um morango azul"), bem como objetos que não existem na realidade ("um cubo com a textura de um porco-espinho"). Seu nome é uma junção de WALL-E e Salvador Dalí.

Muitas redes neurais dos anos 2000 em diante foram capazes de gerar imagens realistas. O DALL-E, no entanto, é capaz de gerá-las a partir de instruções de linguagem natural, que "entende [...] e raramente falha de forma séria".

De acordo com a MIT Technology Review, um dos objetivos do OpenAI era "dar aos modelos de linguagem uma melhor compreensão dos conceitos cotidianos que os humanos usam para dar sentido às coisas".

O DALL-E 3 foi lançado nativamente no ChatGPT para clientes ChatGPT Plus e ChatGPT Enterprise em outubro de 2023, com disponibilidade via API da OpenAI e plataforma "Labs" esperada para o final do ano. A Microsoft implementou o modelo na ferramenta Image Creator do Bing e planeja implementá-lo em seu aplicativo Designer.

O DALL-E foi revelado pela OpenAI em 5 de janeiro de 2021.

Em abril de 2022, a OpenAI anunciou o DALL-E 2, alegando que pode produzir imagens fotorrealistas a partir de descrições textuais, juntamente com um editor que permite modificações simples na saída. A partir do anúncio, o software foi declarado ainda em fase de pesquisa, com acesso limitado a usuários beta pré-selecionados. O modelo ainda pode cometer erros graves, incluindo erros que nenhum humano cometeria. DALL-E 2 foi descrito como um modelo que "pode criar imagens e arte originais e realistas a partir de uma descrição de texto. Ele pode combinar conceitos, atributos e estilos."

O modelo Generative Pre-trained Transformer (GPT) foi desenvolvido inicialmente pela OpenAI em 2018, usando a arquitetura Transformer. A primeira iteração, GPT, foi ampliada para produzir GPT-2 em 2019; em 2020 o modelo foi ampliado novamente para produzir GPT-3, com 175 bilhões de parâmetros.

O modelo de DALL-E é uma implementação multimodal do GPT-3 com 12 bilhões de parâmetros que "troca texto por pixels", treinado em pares texto-imagem da Internet. Ele usa aprendizado de zero-shot para gerar saída de uma descrição e sugestão sem treinamento adicional.

O DALL-E é capaz de gerar imagens em vários estilos, desde imagens fotorrealistas até pinturas e emojis. Ele também pode "manipular e reorganizar" objetos em suas imagens. Uma habilidade observada por seus criadores foi a colocação correta de elementos de design em novas composições sem instruções explícitas: "Por exemplo, quando solicitado a desenhar um rabanete daikon assoando o nariz, tomando um café com leite ou andando de monociclo, o DALL-E geralmente desenha o lenço, mãos e pés em locais plausíveis."

Enquanto o DALL-E exibiu uma ampla gama de habilidades, no lançamento de sua demonstração pública, a maior parte da cobertura se concentrou em um pequeno subconjunto de imagens de saída "surreais" ou "peculiares". Especificamente, a saída de DALL-E para "uma ilustração de um rabanete daikon bebê em um tutu passeando com um cachorro" foi mencionada em peças da Input, NBC, Nature, e outras publicações. Sua saída para "uma poltrona em forma de abacate" também foi notada. Em contraste, foi observado o desenvolvimento não intencional de DALL-E de habilidades de raciocínio visual suficientes para resolver as Matrizes de Raven (testes visuais frequentemente administrados a humanos para medir a inteligência).

O DALL-E anuncia "o alvorecer de um novo paradigma de IA conhecido como IA multimodal", na qual os sistemas seriam capazes de combinar e traduzir dados entre vários tipos de informações. Além disso, o DALL-E foi citado como um exemplo de software que exibe criatividade.