A inteligência artificial Grok, integrada à rede social X (antigo Twitter), do bilionário Elon Musk, passou a ser investigada em diferentes países após denúncias de que estaria sendo usada para gerar deepfakes sexualizados com imagens de mulheres e até de menores de idade. A repercussão internacional levantou o questionamento sobre os limites do uso de ferramentas generativas e reacendeu o debate sobre até onde vai a responsabilidade das plataformas digitais quando usuários utilizam IA para criar conteúdo ilegal. No Brasil, o tema ganhou força após a deputada federal Erika Hilton (PSOL-SP) acionar o Ministério Público Federal (MPF), solicitando a suspensão do Grok no país. O pedido aponta riscos à privacidade, ao direito de imagem e à proteção de dados, principalmente quando envolvem crianças e adolescentes. Mas, afinal, quem pode ser responsabilizado nesses casos? Para entender a posição dos usuários e das plataformas nessa história, o TechTudo conversou com a advogada especialista em proteção de dados e Direito Digital, Camila Giacomazzi Camargo. Confira. Hitler, nazismo e desinformação: 5 vezes que a IA Grok errou feio Canal do TechTudo no WhatsApp: acompanhe as principais notícias, tutoriais e reviews O Grok passou dos limites? Entenda quem responde quando a IA gera conteúdo ilegal Divulgação/xAI Como criar imagens com inteligência artificial? Veja no fórum do TechTudo No índice abaixo, veja os tópicos que serão abordados nesta matéria do TechTudo. Entenda o caso Quem pode ser responsabilizado: o usuário, a plataforma — ou ambos? A legislação atual dá conta dos abusos envolvendo IA? 1. Entenda o caso As denúncias contra o Grok indicam que usuários estariam solicitando à IA a criação de imagens sexualizadas a partir de fotos reais ou descrições de pessoas existentes — prática que configura deepfake. Segundo autoridades europeias, parte do conteúdo analisado foi classificada como “ilegal e chocante”, principalmente quando envolve violência sexual ou representação de menores. Embora a ferramenta seja apenas um sistema de IA integrado à plataforma X, o caso levanta uma discussão maior: o uso de inteligência artificial não exime ninguém da responsabilização sobre o conteúdo gerado. Para a advogada Camila Giacomazzi Camargo, especialista em proteção de dados e Direito Digital da Andersen Ballão Advocacia, o ponto central não está na tecnologia em si. “A questão central aqui não é o uso de IA, mas a geração de conteúdo ilegal. As obrigações legais da plataforma vai além de simplesmente reagir a denúncias, ainda que exista tal dever – isto é, em caso de notificação, a plataforma precisa agir.” Segundo a especialista, o entendimento recente do Supremo Tribunal Federal (STF) sobre o artigo 19 do Marco Civil da Internet altera o cenário da responsabilização das plataformas, ao estabelecer uma presunção de responsabilidade em casos de geração ou impulsionamento de conteúdo ilícito. Grok é acusado de facilitar a produção de imagens eróticas sem consentimento Reprodução/Freepik 2. Quem pode ser responsabilizado: o usuário, a plataforma — ou ambos? Em casos envolvendo deepfakes sexualizados, a responsabilização pode atingir tanto quem solicita ou compartilha o conteúdo quanto a plataforma que permite sua circulação sem mecanismos eficazes de controle. Do lado do usuário, a regra é clara: pedir, criar ou compartilhar conteúdo ilegal continua sendo crime, mesmo quando o material é gerado por IA. Isso vale, por exemplo, para imagens de nudez sem consentimento e para qualquer representação sexualizada de crianças ou adolescentes. “Quando se tratam de imagens de nudez, por exemplo, divulgadas ou compartilhadas sem o consentimento da pessoa que está sendo ‘retratada’, é crime a criação e o compartilhamento, mas não o recebimento das imagens.” A advogada lembra que, no caso de produtos ou serviços digitais destinados a crianças e adolescentes — ou que possam ser acessados por eles —, a legislação impõe deveres claros de prevenção e monitoramento, previstos no chamado ECA Digital, justamente para evitar o acesso e a divulgação de conteúdos inapropriados para menores de idade. Em relação às plataformas, o dever jurídico não se limita à remoção do conteúdo após denúncia. Segundo Giacomazzi Camargo, há um dever jurídico de prevenção, e apenas reagir depois da notificação pode ser insuficiente, especialmente em situações que envolvem crimes como abuso sexual infantil ou a divulgação de imagens de nudez. Mesmo quando o conteúdo é retirado do ar após ganhar repercussão, isso não necessariamente afasta consequências legais. Para a especialista, a remoção ajuda a mitigar o dano, mas, por si só, não é suficiente para afastar a responsabilidade. Entenda a responsabilidade de usuários e da plataforma Reprodução/Shutterstock 3. A legislação atual dá conta dos abusos envolvendo IA? Embora o Brasil ainda não tenha uma lei específica para regular o uso da inteligência artificial, isso não significa que práticas abusivas fiquem sem punição. Segundo especialistas, o ordenamento jurídico já prevê responsabilização em diversos cenários, principalmente quando há violação de direitos fundamentais. No caso de imagens falsas geradas por IA, a legislação brasileira trata o conteúdo da mesma forma que imagens reais, não fazendo distinção jurídica apenas por se tratar de deepfake. Quando o tema envolve crianças e adolescentes, a interpretação é ainda mais rigorosa. De acordo com a advogada, conteúdo sexualizado envolvendo menores é crime no Brasil mesmo quando gerado por IA, já que o Estatuto da Criança e do Adolescente considera criminosa qualquer representação desse tipo. Ainda assim, há lacunas normativas quando o debate envolve a inteligência artificial de forma mais ampla. Na avaliação da especialista, a legislação brasileira está parcialmente preparada, com cobertura para crimes como pornografia infantil e crimes contra a honra, mas ainda carece de uma regulação específica voltada à IA. Atualmente, essa discussão ocorre no Congresso Nacional por meio do Projeto de Lei 2.338/2023, que propõe regras para o desenvolvimento e uso de sistemas de inteligência artificial no país. O texto, no entanto, ainda segue em tramitação. Veja como a legislação brasileira lida com as IAs Reprodução/depositphotos Mais do TechTudo Grandes novidades chegam ao iOS 26 em breve; confira