Desde que o chatbot ChatGPT foi lançado em novembro do ano passado, muito se tem discutido a respeito de sua potencialidade e capacidades em diversas áreas. No meio dos estudos clássicos muitos ficaram impressionados com a capacidade de conversação do mesmo em latim (seja lá o que isso signifique), e diversos professores de latim no facebook e no reddit se sentiram ameaçados por essa capacidade, mas será há risco da AI superar o latinista humano? Muitas áreas que foram abaladas pelo hype do ChatGPT têm demonstrado cada vez mais que usar ou confiar no chatbot é mais detrimental que benéfico, e como seria essa situação no meio dos estudos clássicos ou mesmo conhecimento básico de latim? Passei uns dois dias "brincando" com o ChatGPT (geralmente em inglês) e cheguei a algumas conclusões e fiz algumas descobertas interessantes... Mas primeiro, um comentário que fez eu me interessar pelo chatbot primeiro:
Essa imagem foi postada no Facebook ou no Reddit por alguém que se impressionou pela AI... A princípio, a questão é uma simples que envolve dois fatores de resposta, um "objetivo" (o que a frase latina quer dizer) e um "subjetivo" (que imagem 'criativa' ela evoca ou lembra). Na primeira parte o significado é basicamente copiado da internet e completamente padrão, na segunda, que teoricamente é a principal competência do chatbot, a resposta é banal, mas correta.
Contudo, basta prestar um pouco mais atenção que vemos um grande problema: a PERGUNTA é o que "aequam seruare mentam" significa, e aqui há um erro de digitação (mentam = menta, e não mentem = mente) que o chatbot não só não percebe (pois o repete), mas ainda assim traduz da frase mais tradicional. Isso deve ocorrer porque, como se desenvolve via machine learning, busca como construir a frase/resposta mais provável, por etapa. O mesmo fenômeno, com alguns caveats interessantes ocorre quando eu perguntei o sentido de uma palavra em Catulo:
Para ser 100% honesto, a pergunta em questão não é das mais fáceis. Muitas pessoas tem debatido o sentido exato da palavra maria no poema (que eu traduzi aqui), se é que tem algum sentido e ela não deva ser removida. Contudo, a própria complexidade da questão garante que há muitas respostas aceitáveis, e não é difícil achar uma no google.
Contudo o ChatGPT impressiona pelo fato de que é quase impossível achar uma resposta mais errada que essa. Em primeiro lugar, o poema que contém a linha "atque in perpetuum, frater, aue atque uale" é o poema 101, não 115, mas de modo similar que a resposta anterior, ele simplesmente buscou o poema mais famoso do poeta e, partindo do mesmo passou a responder como se eu tivesse perguntado a respeito da última linha ("the line in question", eu não perguntei por linha específica, mas pela palavra).
Mas não é a única coisa reveladora a respeito dessa resposta, pois o poema 101 só tem 10 linhas, e portanto não pode ter o verso de número 13. Uma busca rápida na wikipedia, mostra que por causa da tabela ser pequena três linhas são divididas nos versos 1, 5 e 7, que é provavelmente como o ChatGPT chegou ao número 13, buscando o poema a partir da wikipedia. Por fim, termina com a explicação da palavra maria e dá uma interpretação questionável do uso da água no poema (que é razoável como simbologia per se, mas não cabe no poema 101, muito menos no 115, em que maria não pode significar mar), mas nos revela outra coisa sobre o chatbot: o ChatGPT só consegue "pensar" em inglês, pois embora os "mares" (en: seas) são mencionados no poema, e maria significa mares, o termo que Catulo usa no poema 101 com esse sentido é aequora.
Má lógica, respostas chutadas ou simplesmente fingir que algo não existe são uma praga quando vamos perguntar coisas referentes aos clássicos, mesmo em casos que o próprio programa sugeriu que fizéssemos certas perguntas:
Aqui nos deparamos com exemplos clássicos. No primeiro caso é simplesmente má lógica: se Catalepton XIV não é de Virgílio não há paralelos textuais entre eles (a resposta para a questão é facilmente encontrada no google), o que não só é falso, mas é o cerne dessa questão, já que os paralelos são tão gritantes, diretos e não característicos de Virgílio que é a principal razão pela qual os críticos não reconhecem a autoria. No segundo caso é ainda mais interessante, pois logo após perguntar dos paralelos no Catalepton o Chatbot sugeriu perguntar de outros autores, e ao questionar em relação a Valério Flaco a AI responde primeiro outra coisa, e ao ser pressionada finge que paralelos não existem (ao tentar perguntar de livros específicos da Punica de Sílio Itálico o ChatGPT simplesmente inventou paralelos inexistentes)...
Essa questão foi para testar qual acervo o ChatGPT usa para adquirir vocabulário, pois há um erro clássico no Lewis and Short, que interpreta incorretamente livor num poema de Tíbulo para justificar a interpretação tradicional de Juvenal (e, por isso, eu questionei nos dois poemas). Na primeira tentativa, o ChatGPT apresenta um verso sem qualquer relação com o poema mencionado. Quando eu pergunto a respeito do poema de Tíbulo a resposta é ainda mais surpreendente. Ao copiar a passagem de de Tíbulo a AI simplesmente chuta o poeta e poema (por ser uma elegia amorosa, Ovídio é o chute mais provável), como meus estudantes do EM fazem, mas não apenas isso, como traduz a passagem inteira errando especificamente e exclusivamente o sentido da palavra liuor (que aqui é a marca vermelha do chupão/mordida)... Nesse sentido, o ChatGPT até parece um pouco humano, pois aparenta ser como certos alunos terríveis que já tive e tenho...
Questões difíceis, obviamente, ele não responde, só finge responder. A AI sabe o que é uma conjectura, sabe o que deve fazer e alega apresentar uma, mas apresenta exatamente a mesma passagem, não dando resposta nenhuma.
Esse é um caso mais simples, mas que possui algumas respostas erradas facilmente disseminadas (inclusive em dicionários, como no Lewis and Short), mas embora é esperado que a AI erre, aqui é mais um equívoco espetacular. Novamente, a citação é estúpida e inventada, a referência falsa, e stellas significa as estrelas, não a constelação ou as constelações, mesmo que o verso faça referência às ursas (não apenas a maior, como propõe a tradução). Tudo errado, novamente.
Terminando as perguntas clássicas e me focando em linguagem e tradução posteriormente, aqui é só um exemplo de quão péssimo é a capacidade da AI de adicionar macrons e compreender a quantidade das sílabas em latim. Ditongos marcados como breves, as mesmas palavras com diferentes quantidades silábicas nos dois quadros... Uma zona...
Duas coisas o povo comenta que é boa a capacidade do ChatGPT: tradução de e para o latim, e produção de texto em latim... Quem me conhece sabe que conversação em latim não me interessa, então nem vou me dar ao trabalho de comentar, apenas recomendaria evitar o uso do chatbot e não se impressionar com o nonsense produzido por ele... Mas tradução me interessa significativamente.
Os primeiros problemas óbvios são notados quando pedimos para traduzir um texto clássico. O ChatGPT apresenta uma tradução e posteriormente um comentário apontando a "teoria da tradução" por trás dessa execução. Há três tipos gerais de tradução:
.png)
1º) Puro e simples plágio. A tradução é a do Fairclough para a loeb (no passado o ChatGPT usava Dryden... talvez era óbvio demais, já que o programa é incapaz de versificar de modo apropriado), e a teoria não bate com o projeto do tradutor original, de servir de suporte para a leitura do texto latino.
2º) Aparentemente não plágio, mas o poema inteiro é perdido, já que a estrutura do poema, bem como toda a semântica da segunda parte, não batem. A "teoria" diz que tenta pegar o tom provocativo e até obsceno do original, mas mesmo a primeira metade (que meio que traduz o poema original) é pesadamente bowdlerizada e não bate com a teoria proposta.
------------
Produção original e tradução de passagens modernas não ficam muito atrás. Eu quase dou crédito ao ChatGPT por fazer um dístico em que ao menos o primeiro verso quase escande como hexâmetro:
Então tentei ver se ele conseguia fazer algo menos pior que a tradução do Mark Walker para O Hobbit (Hobbitus ille):
Todos os problemas originais permanecem, fora o fato de abuso de genitivo e duplo genitivo incluindo um que não consigo entender (secundae editioni patri) e um completamente errado (Tookorum)... Aparentemente, ele mantém o câncer neo latino de não saber que segunda edição é editio altera, ou saber que a gíria inglesa existe em latim e é factura simile...
Enfim, o ChatGPT não só não é uma ameaça para os latinistas, como provavelmente não ajuda muito os estudos da língua, por qualquer pessoa interessada na cultura, na língua ou em perguntas difíceis. Tudo o que foi apresentado aqui como nonsense possui resposta relativamente fácil de achar no google (exceto a conjectura no Culex), de modo que mesmo como ferramenta de busca para classicistas a AI se mostrou inferior. Ela, contudo, é notável em ter convicção e capacidade de persuadir no erro, o que torna ela uma ferramenta ainda pior de estudo.
