字节跳动与中科大联合提出多模态文档大模型 DocPedia

字节跳动与中国科学技术大学合作研发的多模态文档大模型 DocPedia 已成功突破了分辨率的极限，达到了 2560×2560 的高分辨率，而目前业内先进多模态大模型如 LLaVA、MiniGPT-4 等处理图像分辨率上限为 336×336，无法解析高分辨率的文档图像。这一成果是通过研究团队采用了一种新的方法，解决了现有模型在解析高分辨文档图像方面的不足。

据称，DocPedia 不仅能准确识别图像信息，还能结合用户需求调用知识库回答问题，展现高分辨率多模态文档理解的能力。