Se uma foto estranha recentemente chamou sua atenção enquanto você rolava o feed do Facebook, você não está sozinho.
Usuários que antes usavam o Facebook para se conectar com amigos e familiares estão reclamando cada vez mais de conteúdo aleatório, spam e lixo — muito dele aparentemente gerado por inteligência artificial (IA) — aparecendo em seus feeds.
Às vezes, são obviamente imagens falsas geradas por IA, como o agora infame “Camarão Jesus”. Outras vezes, são postagens antigas de criadores reais que parecem estar sendo compartilhadas por contas de bots para gerar engajamento. Em alguns casos, são páginas que compartilham fluxos de conteúdo aparentemente inofensivo, mas aleatório — memes ou clipes de filmes, compartilhados a cada poucas horas.
Mas o spam é mais do que apenas um incômodo; ele também pode ser usado de forma maliciosa. Algumas páginas de spam parecem ser projetadas para enganar outros usuários. Em casos extremos, páginas de spam que ganham seguidores podem eventualmente ser usadas, por exemplo, por atores estrangeiros que buscam semear discórdia antes das eleições, de acordo com especialistas que estudam comportamentos inautênticos online.
O aumento coincide com uma mudança intencional na estratégia do Facebook nos últimos anos. A empresa despriorizou eventos atuais e política após alegações de que contribuiu para manipulação eleitoral e violência no mundo real. Sentindo a pressão do crescimento do TikTok e seu foco em entretenimento em vez de conexões sociais, o Facebook redesenhou os feeds principais dos usuários em um “motor de descoberta” na esperança de que as pessoas interajam com conteúdos que talvez não vissem de outra forma.
Mas o impulso por mais conteúdo “descobrível” levou a um algoritmo que regularmente promove conteúdo vazio, frequentemente enganoso, gerado por computador.
A mudança é palpável. Conteúdo gerado por IA ou memes reciclados apareceram na lista trimestral de conteúdos mais visualizados do Facebook. Postagens com imagens obviamente geradas por IA e legendas confusas às vezes recebem milhares de curtidas, centenas de comentários e compartilhamentos.
Segundo especialistas, maus atores e “fazendeiros de engajamento” estão mais do que dispostos a atender à demanda do Facebook por novos conteúdos. E a proliferação de ferramentas de IA tornou muito mais fácil para eles produzirem rapidamente grandes volumes de imagens e textos falsos.
“É algo realmente interessante que muitas mais pessoas estão começando a discutir porque agora é esse problema aleatório, meio sem graça, mas obviamente há preocupações teóricas a longo prazo”, disse Ben Decker, CEO da empresa de análise de ameaças online Memetica.
A Meta, empresa-mãe do Facebook, por sua vez, trabalha “para remover e reduzir a disseminação de conteúdo de spam para garantir uma experiência positiva ao usuário, oferecendo aos usuários controles sobre seus feeds e incentivando criadores a usarem ferramentas de IA para produzir conteúdo de alta qualidade que atenda aos nossos Padrões da Comunidade,” disse a porta-voz Erin Logan em um comunicado.
“Também tomamos medidas contra aqueles que tentam manipular o tráfego por meio de engajamento inautêntico, independentemente de usarem IA ou não.”
Aventuras no pântano da IA
Antes de eu começar a relatar essa história em julho, meu feed do Facebook parecia bastante normal, com fotos de bebês de amigos da faculdade e listagens do Facebook Marketplace.
Mas, curiosa sobre as reclamações, comecei a clicar em qualquer conteúdo que parecia estranho, e o algoritmo entrou em ação. Agora, semanas depois, quase a cada três postagens no meu feed parece o chamado “lixo de IA”.
Um exemplo recente: uma imagem em preto e branco mostrando uma cabana na floresta com uma família sentada na frente, compartilhada por uma página chamada “História para Todos.”
À primeira vista, a postagem parece algo que você poderia encontrar em um livro de história. Mas ao olhar mais de perto, as pessoas na imagem têm características faciais borradas e indefinidas, e as mãos e pés das crianças parecem desaparecer na paisagem ao redor delas — marcas de imagens geradas por IA.
A legenda da postagem afirma que a imagem foi tirada em 1910 no estado norte-americano de Nova Jersey, em uma “pequena cabana no Pântano de Forsythe, ocupada pela família De Marco, 10 na família vivendo nesta sala única,” pelo fotógrafo da National Child Labor Committee, Lewis Hine. Curiosa, copiei a legenda completa no Google, que me direcionou à legenda real de uma foto completamente diferente que foi publicada pela Biblioteca do Congresso.
Eu coloquei a imagem do Facebook em uma busca reversa de imagem no Google, e os únicos outros lugares onde apareceu online foram dois outros grupos do Facebook semelhantes chamados “Memórias do Passado” e “Fotos Históricas.”
É impossível dizer com certeza como a imagem foi criada, mas a equipe de fotos da CNN a analisou com um software de detecção de IA — que ainda está em fase inicial de testes — e encontrou “evidências substanciais” de que foi manipulada. Hany Farid, um especialista em forense digital e professor da Universidade da Califórnia em Berkeley que estudou IA, acrescentou que a imagem parecia ser gerada por IA e pode ter sido criada usando a legenda da imagem histórica real como o prompt para a IA, potencialmente para evitar violação de direitos autorais.
O grupo que compartilhou a postagem, “História para Todos,” é gerenciado por uma página com o mesmo nome, criada em 2022 e que anteriormente mudou seu nome de “Cubs” e “Chikn.Nuggit.” A página não respondeu a uma mensagem direta.
A postagem da História para Todos é ilustrativa de muito do conteúdo que apareceu no meu feed — inquietante, bizarro, mas também aparentemente inofensivo.
Outros exemplos incluem uma página chamada “Amy Couch” que também compartilha fotos “históricas”, com uma foto de perfil aparentemente gerada por IA que mostra uma mulher com um dente gigante onde deveriam estar seus dois dentes da frente. Ou uma página de arte e história para um “artista” chamado “Kris Artist” cuja foto de perfil eu rastreei até uma verdadeira influenciadora de mídia social que me disse por e-mail: “Esse definitivamente não é o meu perfil, mas estão usando minha foto.”
Quando enviei uma mensagem para a página “Kris Artist,” recebi o que parecia ser uma resposta automatizada: “Oi, obrigado por nos contatar. Recebemos sua mensagem e agradecemos por entrar em contato. Por favor, junte-se ao nosso grupo.”
Depois que denunciei a postagem de História para Todos, bem como as páginas de Amy Couch e Kris Artist, para a Meta, elas foram removidas por violarem a política de spam.
Por trás do lixo de IA
Não está claro exatamente quanto desse conteúdo existe no Facebook. Mas pode haver muitas pessoas vendo-o. A página “História para Todos” tem mais de 40.000 seguidores, embora postagens individuais muitas vezes recebam apenas alguns poucos engajamentos.
Pesquisadores de Stanford e Georgetown rastrearam 120 páginas do Facebook que frequentemente postavam imagens geradas por IA no início deste ano — e descobriram que as imagens receberam coletivamente “centenas de milhões de engajamentos e exposições,” de acordo com um artigo lançado em março, que ainda não foi revisado por pares.
“O Feed do Facebook às vezes mostra aos usuários imagens geradas por IA, mesmo quando eles não seguem as páginas que postam essas imagens. Suspeitamos que as imagens geradas por IA apareçam nos deeds dos usuários porque o algoritmo de classificação do feed do Facebook promove conteúdo que provavelmente gerará engajamento”, escreveram os pesquisadores Renee DiResta e Josh Goldstein no artigo. Eles acrescentaram que, muitas vezes, os usuários que interagiam com esse conteúdo não pareciam perceber que era IA.
Especialistas que monitoram esse tipo de comportamento online dizem que provavelmente há diferentes tipos de atores por trás do spam no Facebook, com motivações variadas.
Alguns só querem ganhar dinheiro, por exemplo, por meio de pagamentos de bônus que o Facebook oferece a criadores que postam conteúdo público. Existem dezenas de vídeos no YouTube ensinando as pessoas a serem pagas por postar conteúdo de IA no Facebook — como relatado pelo site de notícias de tecnologia 404 Media no início deste mês — com alguns afirmando que ganham milhares de dólares todos os meses usando a tática.
“Mesmo no reino do político, as táticas dos manipuladores há muito tempo são preconizadas por aqueles com uma motivação diferente: ganhar dinheiro. Spammers e scammers são frequentemente os primeiros a adotar novas tecnologias,” escreveram os pesquisadores de Stanford.
Em outras páginas, golpistas usam os comentários como um lugar para vender produtos falsos ou coletar informações pessoais dos usuários.
Em alguns casos, o que parece ser uma conta inofensiva compartilhando principalmente conteúdo aleatório, ocasionalmente desliza desinformação ou memes ofensivos, como uma forma de escapar dos mecanismos de fiscalização do Facebook.
“Se algo parece apenas uma campanha de spam comum, pode não acionar os principais investigadores da empresa e assim pode passar despercebido por mais tempo,” disse David Evan Harris, pesquisador de IA que trabalhou na Meta.
Harris acrescentou que também há um mercado online para contas “envelhecidas” no Facebook, porque contas mais antigas são mais propensas a parecer humanas e escapar dos filtros de spam da plataforma.
“É como um mercado negro, basicamente, você pode vender a alguém 1.000 dessas contas que têm mais de cinco anos, e então eles podem transformá-las em um golpe ou operação de influência”, disse Harris.
“Isso é algo que você vê em eleições: alguém pode criar um grupo no Facebook que é tipo, ‘todo mundo ama cheeseburgers’, e o grupo posta imagens dos melhores cheeseburgers todos os dias por dois anos, e então, de repente, um mês antes de uma eleição, torna-se um grupo ‘vote no (ex-presidente brasileiro Jair) Bolsonaro’”.
O que fazer com o spam de IA?
Com as ferramentas de IA, os maus atores não precisam mais de muitas pessoas para produzir rapidamente uma grande quantidade de conteúdo falso — a tecnologia pode fazer isso por eles.
Para o Facebook identificar todas as imagens geradas por IA que são carregadas a cada dia sem cometer erros seria desafiador, “particularmente em um momento em que essa tecnologia está avançando incrivelmente rápido”, disse Farid. Mesmo que pudesse, “isso não significa que você deva banir todo conteúdo gerado por IA, certo? … É uma questão de política muito sutil”, ele disse.
No início deste ano, a Meta disse que adicionaria tags de “informação de IA” ao conteúdo criado por certos geradores de terceiros que usam metadados para informar a outros sites que a IA esteve envolvida. A Meta também rotula automaticamente imagens geradas por IA criadas com suas próprias ferramentas.
No entanto, ainda há maneiras de os usuários removerem esses metadados (ou criarem imagens de IA sem eles) para evitar a detecção.
A Meta também pode estar sendo prejudicada por uma equipe menor dedicada a lidar com conteúdo falso, depois de — como outros gigantes da tecnologia — ter reduzido sua equipe de confiança e segurança no ano passado, o que significa que ela deve depender mais de sistemas automatizados de moderação que podem ser manipulados.
“Comunidades de mídia social digitalmente experientes sempre estiveram um passo e meio à frente dos esforços de confiança e segurança em todas as plataformas. É quase um jogo de gato e rato que nunca realmente termina”, disse Harris.
IA generativa: especialista explica como é o treinamento da ferramenta