吴恩达团队最新研究——ManyICL，主要评估了⽬前最先进的多模态基础模型在从少样本到多样本上下⽂学习中的表现。通过对多个领域和任务的数据集进⾏测试，团队验证了多样本上下⽂学习在提⾼模型性能⽅⾯的显著效果，并探讨了批量查询对性能和成本及延迟的影响。
本研究选择了三种先进的多模态基础模型：GPT-4o、GPT4(V)-Turbo和Gemini 1.5 Pro。数据集⽅⾯，研究团队在10个跨越不同领域和任务的数据集上进⾏了⼴泛的实验。为了测试增加示例数量对模型性能的影响，研究团队逐步增加了上下⽂中提供的示例数量，最⾼达到近2000个示例。同时，考虑到多样本学习的⾼成本和⾼延迟，研究团队还探索了批量处理查询的影响。
实验结果显示，包含近2000个示例的多样本上下⽂学习在所有数据集上均优于少样本学习。随着示例数量的增加，Gemini 1.5 Pro模型的性能呈现出持续的对数线性提升，⽽GPT-4o的表现则较不稳定。研究结果表明，多样本上下⽂学习能够显著提⾼多模态基础模型的表现，尤其是Gemini 1.5 Pro模型在多个数据集上表现出持续的性能提升，使其能够更有效地适应新任务和新领域，⽽⽆需传统的微调。
其次，批量处理查询可以在相似甚⾄更好的模型表现的同时，降低推理成本和延迟，显示出在实际应⽤中的巨⼤潜⼒。