OmniSearch是阿里巴巴通义实验室推出的多模态检索增强生成框架，具备自适应规划能力。OmniSearch能动态拆解复杂问题，根据检索结果和问题情境调整检索策略，模拟人类解决复杂问题的行为，提升检索效率和准确性。OmniSearch引入动态检索规划框架，基于递归检索与推理流程，逐步接近问题解答，显著提高多模态检索的灵活性和效果。
主要功能：
自适应检索规划:根据问题解决的阶段和当前检索内容实时规划每个检索动作，模拟人类在解决复杂问题时的行为方式。
动态问题拆解:将复杂问题分解为多个子问题，为每个子问题制定相应的检索步骤和策略。
多模态信息处理:支持图像检索、文本检索和跨模态检索,处理包括文本、图像在内的多模态信息。
迭代推理与检索：基干递归式的检索与推理流程，根据当前的解答状态判断是否需要继续检索或提出新的子问题。
多模态特征交互:对检索得到的多模态特征进行有效交互，根据不同模态信息灵活调整检索策略。
GitHub地址：
https://github.com/Alibaba-NLP/OmniSearch
在线体验：
https://modelscope.cn/studios/iic/OmniSearch/summary