研发了一种面向实验烧杯的触觉、语音等多模态输入的专利设备，实现了虚实融合、人机融合和多模态融合。首先，介绍一下智能烧杯，智能烧杯是使用3d打印技术制作，智能烧杯上设有多种传感器，实时感知用户操作。这种烧杯具有化学实验烧杯的共性需求，可以完成不同的化学实验。而且，首次提出富有游戏性的虚实融合实验模式，在清晰讲解实验知识点的同时，将游戏的闯关乐趣融入到虚实融合的化学实验中，使学生对实验产生浓厚兴趣，更好地掌握实验知识。 此外，本作品从底层硬件到核心模型算法，融合了多种发明专利技术，与现有基于仿真或VR的实验方法相比较，本项目的主要突破在于增强了用户动手操作体验能力，凸显了自然交互的优势和人机协同的优势。