Firecrawl reescreve o motor de análise de PDFs em Rust, atingindo uma velocidade até 5,7 vezes superior à anterior

ME News Notícias, 15 de abril (UTC+8), de acordo com a monitorização da 1M AI News, a ferramenta de extração de dados web Firecrawl lançou o Fire-PDF, um motor de análise de PDF reescrito em Rust, que converte PDFs em Markdown estruturado, acelerando a velocidade de processamento para 3,5 a 5,7 vezes a da geração anterior, com um tempo médio por página inferior a 400 milissegundos.
A aceleração centra-se na redução de chamadas desnecessárias à GPU.
O Firecrawl também lançou em código aberto a biblioteca Rust pdf-inspector, que classifica cada página de PDF em milissegundos: páginas de texto puro são extraídas diretamente de forma nativa, ignorando a GPU; apenas páginas com digitalizações ou muitas imagens são enviadas para o modelo de layout neural e o modelo de linguagem visual GLM-OCR.
Por exemplo, num relatório financeiro com 150 páginas de texto e 60 páginas de digitalizações, a maioria das páginas não necessita de GPU.
No que diz respeito à precisão, o Fire-PDF ajusta os parâmetros para diferentes tipos de conteúdo: tabelas recebem limites de tokens mais altos e um tempo máximo de 25 segundos para geração, fórmulas são preservadas em LaTeX, e layouts de várias colunas são previstos por redes neurais para determinar a ordem de leitura.
O Fire-PDF já está ativado automaticamente para todos os utilizadores do Firecrawl, sem necessidade de configuração.
(Origem: BlockBeats)