大语言模型（LLM）近年来发展迅速，能够解决诸如文本分类和命名实体识别等传统自然语言处理任务。它还具备强大的指令执行和推理能力，能够扮演各种角色，完成写代码和数学推理等复杂任务。然而，LLM在处理多模态信息方面存在明显不足，难以理解图像、视频等非文本数据，限制了其应用范围。 为了弥补这一缺陷，近年来多模态大语言模型（MLLM）应运而生。工业界和学术界纷纷投入研发，包括OpenAI的GPT-4V和谷歌的Gemini-Pro等，这些模型能够处理图文结合的信息，更好地理解和生成多模态内容，扩展了模型的认知和应用能力。 未来，多模态模型需要支持更长的上下文和高效的视觉信息压缩，实现对高分辨率图片、多张图片甚至长视频的理解。此外，智能多模态助手的出现将推动模型在实际生活中的应用，如自动调整手机设置等。统一的训练和推理框架也将进一步提升多模态大模型的性能和实用性。