字节跳动与中科大联合提出多模态文档大模型 DocPedia
来源: 巴比特513天前
据站长之家 12 月 4 日报道,字节跳动与中国科学技术大学合作研发的多模态文档大模型 DocPedia 已成功突破了分辨率的极限,达到了 2560×2560 的高分辨率,而目前业内先进多模态大模型如 LLaVA、MiniGPT-4 等处理图像分辨率上限为 336×336,无法解析高分辨率的文档图像。这一成果是通过研究团队采用了一种新的方法,解决了现有模型在解析高分辨文档图像方面的不足。 据称,DocPedia 不仅能准确识别图像信息,还能结合用户需求调用知识库回答问题,展现高分辨率多模态文档理解的能力。