Ethan Mollick Partilha LLM Treinado Inteiramente com Textos da Era Vitoriana

Ethan Mollick Partilha LLM Treinado Totalmente com Textos da Era Vitoriana

Resumo
Ethan Mollick tweetou sobre um grande modelo de linguagem treinado do zero com mais de 28.000 textos britânicos da era vitoriana (1837-1899), todos provenientes de um conjunto de dados da Biblioteca Britânica. O modelo tem como objetivo produzir linguagem e perspetivas históricas autênticas sem depender de um LLM moderno a fingir ser vitoriano. Ao limitar os dados de treino a fontes específicas do período, os desenvolvedores esperam obter simulações mais precisas de como as pessoas realmente escreviam e pensavam naquela época. Isto é importante porque mostra uma forma de construir modelos específicos de domínio que evitam preconceitos contemporâneos—útil para educação, preservação cultural e pesquisa histórica.

Análise
Existem projetos semelhantes: TimeCapsuleLLM treinado com textos de Londres de 1800-1875, e Violet LLM que usou fontes de 1800-1899 incluindo dados da Biblioteca Britânica. Estes normalmente utilizam arquiteturas como nanoGPT ou GPT-NeoX. O TimeCapsuleLLM produziu alguns resultados surpreendentes—podia recordar eventos reais de 1834 a partir de padrões em apenas 15GB de dados de treino, sem que factos históricos explícitos estivessem incluídos.

A abordagem do zero utilizando conjuntos de dados de domínio público encaixa-se numa tendência mais ampla: projetos de hobbyistas e académicos a construir modelos especializados em vez de depender de sistemas de propósito geral. O trade-off é óbvio—obtemos saídas autênticas do período, mas perdemos a amplitude de um modelo da classe GPT-4.

Devo notar: o modelo específico a que Mollick se referiu continua não identificado. O seu tweet foi publicado menos de uma hora antes desta análise, e as pesquisas através do Hugging Face, GitHub, e repositórios da Biblioteca Britânica apenas revelaram os projetos mais antigos mencionados acima. Os detalhes aqui são retirados desses esforços semelhantes em vez do modelo exato no tweet.

Se este novo modelo for lançado publicamente com documentação, poderá aumentar o interesse por LLMs históricas para análise cultural. Existem desafios reais, no entanto—qualidade de OCR de fontes do século XIX varia imenso, e o conjunto de dados de 25M páginas da Biblioteca Britânica inclui muitos artefatos de digitalização.

Avaliação de Impacto

• Significado: Médio
• Categorias: Pesquisa em IA, Perspetiva Técnica, Código Aberto