在博物馆数字展览展示中的应用
翁冬冬 刘越 黄业桃 王涌天 张谨
（1.北京理工大学，北京，100081）
（2.中国文化遗产研究院，北京，100029)
摘要：相比传统的人机交互界面，多触点数码互动是一种更为自然流畅的增强交互方式。本文以多触点数码互动平台的实际研发为依据，分析了多触点的增强交互及显示技术的主要应用及其优势，论述了多触点数码互动平台的主要技术关键点及其实现流程，同时介绍了多触点数码互动平台在汉旺博物馆的数字展览展示中的应用设计。
关键词：数字博物馆多触点互动增强交互协同
一、引言
多媒体显示平台在博物馆展示等领域有着广泛和深入的应用。在传统的多媒体显示平台中由于观看者只是被动接受信息，不能实时与操作人员互动，因此存在沉浸感差、表现方式单一枯燥的缺点。随着计算机和多媒体技术的发展，利用计算机图形学和计算机仿真技术，通过光学投影显示系统展示博物馆信息的多触点数码互动平台，为解决这些问题提供了一个可行的技术途径，并正在越来越多地投入实用。
目前国内外多媒体显示平台在人机交互性方面研究较少。在实用中，博物馆的参观者和讲解人员希望多媒体显示平台不但能够精确、动态地展示博物馆信息，而且能具有更友好、自然、支持多任务的可视化交互界面。本文所讨论的支持多触点的交互平台融合了先进的高分辨率、大幅面显示和精确传感技术，为多触点数码平台使用者提供了自然流畅的多点交互方式。
二、支持多触点的数码互动平台
支持多触点的数码互动平台，采用博物馆文物资料等作为数据来源，通过计算机对各种数据类型的三维物体可视化，最后输出到显示终端设备，并提供了自然的人机交互方式。因此，支持多触点的数码互动平台具有多种传统多媒体终端所不具有的优势。
1.交互方式直观、自然
普通多媒体显示平台的控制和操作界面通常基于传统的Windows视窗，用鼠标键盘作为输入工具。使用之前需要由博物馆工作人员录入大量基础数据，并在后台计算机上进行操作，将计算机反馈结果投影到前台，观看者被动接受信息，不能实时与操作人员互动，沉浸感差，表现方式单一枯燥。多触点互动数码平台通过对多个操控点的响应支持可以提供给操作者生动自然的交互手势，大大降低多触点互动数码平台操作技术上的准入，使初次使用者抬手之间即可使用，摒弃了烦琐的菜单选项和交互技术细节，让各种操作人员乐于接受并参与交互，更加专注于平台上展示的信息，提高了操作人员的沉浸感。
2.支持多人协同、多任务并发作业
传统的多媒体展示平台往往只能采取“你讲我听”的使用模式，作为“观众”一方接受数据信息比较被动，不利于集体讨论和个人讲解才能的充分发挥，更无法进行多人协同操作。支持多触点的交互平台最多同时可以支持100个触控点响应，且单点触控延时小于20ms、识别刷新率不低于60fps。基于这一技术优势，可以在面积较大的多触点互动数码平台上支持多人协同、多任务并发作业，各作业人员和作业界面既独立、互不干扰，又可以即时共享重要数据。讲解人员和参观者之间，可以在多触点数码互动平台上实时展开互动，尽情表达思想，衍生互动平台的实用功能，使多触点互动数码平台成为讲解与学习的平台，交互功能水平跃上一个新的台阶。
3.支持任意尺寸无缝融合拼接
为满足多人观看、多人协同作业的目的，博物馆展览展示中实用的多触点互动数码平台往往尺寸都很大，单靠一部显示输出设备远远不能满足要求。随着显示技术的成熟与发展，大画面、高亮度、高分辨率逐渐成为显示系统的发展需求。通过投影拼接达到超大显示面积的目的，是非常有效而又不易造成图像失真的理想选择方案。但投影屏幕拼接存在边缘融合的技术难题。普通的多媒体显示平台通常外加图像分割工作站，将输出画面分割成若干部分后分别传输给各自的显示终端。由于受到单个屏幕边框支撑应力的约束，总是存在着屏幕之间的物理缝隙，往往会在整个画面上分割出一条条缝，在很大程度上影响图像感官，割裂感始终难以消除。
支持多点触控的增强交互桌面采用无缝拼接技术，将图像合成、投影在一个自身无缝的大屏幕上，从根本上解决了无缝拼接的技术壁垒。结合集群通信、显示融合、边缘融合、同步渲染等技术方法，由该交互桌面所支持的多触点互动数码平台以长方形为基本形状，可以无缝拼接成各种形状和尺寸大小，视觉效果逼真完整，完全能满足博物馆对多触点互动数码平台的应用需求；而且提供一致的平面坐标系统，后期进行二次开发和操作使用都非常方便。
三、多触点互动数码平台的技术原理
多触点互动数码平台在水平面显示模式和多点直接触控的输入方式上与传统的WIMP模式有着根本的不同，所涉及的关键技术主要包括多点触摸跟踪技术、自然手势识别、大画面显示融合、支持多人协作的交互技术和界面工具等。
1.多点触控
现实中，触摸是互动中最自然、最直接的方式，触摸屏技术现在已经被广泛应用。多点触控桌面使用受抑内全反射(FTIR：Frustrated Total Internal Reflection)技术来实现多触点跟踪。在FTIR模式下手指点击和非点击的情况下拍摄到的图像亮度差别很大，因而可以准确地识别点击。通过在原有的全发射层上增加全反射耦合层来增加交互的灵敏度、鲁棒性以及跟踪精度，产品的全反射耦合层材料具有与全反射层相近的折射率，同时具有一定弹性，易于产生形变。
多光点跟踪技术通过对获取红外图像进行处理后得到手指等物体的触碰点位置，并通过处理得到手指按下、手指拖动、手指抬起等事件。系统的流程是：（1）获取图像后对图像进行滤波和增强，去除高斯噪声，增强图像信噪比；（2）通过图像分割算法得到前景信息，去除背景信息的影响；（3）对前景信息图像进行分析识别得到触碰点的位置；（4）对位置信息进行跟踪得到触碰点的事件；由于在手指移动过程以及图像跟踪注册过程中会出现点的抖动现象，因此需要对输出点的位置及事件进行Kalman滤波得到稳定的输出信息。
手势的识别采用基于样本个数选择分类器的组合策略，即针对小训练样本采用模板匹配方法，而对大样本则采用支持向量机(SVM：Support Vector Machine)方法，同时利用草图符号中的在线信息和离线信息，实现不同样本个数下自适应的手势学习和识别。
2.显示融合
多台投影仪拼接组成的大屏幕无缝拼接显示能为使用者提供宽视场角、高分辨率、高亮度、沉浸感的逼真体验，且大屏幕投影拼接显示系统成本低、可扩展性强、性价比高，有较强的实用价值。但要构建实用的多通道大屏幕投影无缝拼接显示还需要解决许多投影画面间的位置对准、形变失真、接缝、画面颜色亮度差异等问题。为实现“无缝”拼接，需对合成的多幅图像在各边缘部分予以重叠。其主要技术内容包含图像分割、边缘融合处理器以及控制、输出部分。融合过程分为以下四个步骤来实现：
(1)对各接收端通道的视锥进行适当的划分，让每个通道展现出场景的一部分，相邻通道间重叠若干像素；
(2)对每个通道进行几何矫正，以消除投影产生的非线性几何形变，拟采用图形加速卡软件编程方式实现此功能；
(3)选取合适的融合函数处理重叠部分像素，采用的融合函数视具体情况而定，实现方法采用显卡主像素调整；
(4)在大屏幕上将各通道图像叠加显示。
本系统在基于机器视觉的多光点跟踪算法的基础上实现了多视觉通道交互数据的融合算法，采用3台以上工作站协同工作，每台工作站负责部分图像的采集、图像滤波增强以及数据预处理。工作站的预处理得到的触碰点位置信息通过以太网传到服务器进行数据融合和数据同步处理，得到统一的全局触碰点位置以及全局事件，然后服务器将处理好的信息回传给客户端，客户端利用已经融合的事件信息进行交互场景的渲染，
由于整个场景需要多通道画面显示，故需要多台工作站渲染同一场景的不同部分，对输出画面的同步性要求较高。采用高速网络同步的方式可以很好地控制显示画面延迟，使画面达到视觉感知同步，
同步服务器处理虚拟场景所有元素并生成每一图像帧的状态，包括位置、姿态、尺寸等数据，处理完一帧数据后将其通过TCP/IP网络发送到所有图形渲染工作站，由工作站渲染出各部分场景通过视频信号发送到投影机上。
四、多触点互动数码平台在汉旺地震博物馆数字展览展示中的应用
1.汉旺地震博物馆的背景
2008年5月12日14∶28，四川汶川发生里氏8.0级大地震。《“5·12”汶川地震遗址、遗迹保护及地震博物馆规划建设方案》确定汉旺镇东汽厂区建设的地震遗址公园为四处国家级地震遗址保护区之一。汉旺地震博物馆是汉旺地震工业遗址公园的一个重要组成部分，是一个集展览展示与科普教育的实体。
汉旺地震博物馆采用数字化设计理念，通过先进的互动技术、生动的展示手段使人们一方面了解灾情，体会到灾难带来的巨大痛苦，另一方面学习防灾和减灾知识，获取灾害救援和最新的灾后重建信息。数字化博物馆不仅能提供人性化的互动展示，生动的科普教育，同时在互联网等虚拟空间，游客可以不分时间、地点，不受展品和条件的约束，个性化地了解信息。
2.汉旺地震博物馆中多媒体互动数码平台的设计方案
运用虚拟现实和互动投影实现的多媒体虚拟地震体验，包括互动投影部分和渲染氛围的媒体内容部分。氛围渲染部分通过声光电等高科技手段为参观者烘托出一个真实逼真的地震时的场景，在真实的墙面混合虚拟投影的事件场景，再现震中救援和震后重建的感人场面。互动投影部分使参观者体验到身临其境的摇动和脚踩下裂缝的地面。
五、结论
本文介绍的多触点互动数码平台具有多人交互、自然人机交互等优点，在博物馆行业具有广泛应用前景。该平台利用大幅面投影系统、多点触摸增强交互的特性，为各级博物馆数字化展示提供了一个三维的、动态的、易于交互的新媒体展示环境，为游客提供可以快速掌握知识、自然高效的交互平台，并实现了多人角色扮演，多人协作的增强交互技术与界面，为各种不同种类媒体内容的协同化应用提供了二次开发接口。
在本文所介绍的实例中，采用多触点互动数码平台及翔实的数据资料，集中展示体现汉旺地震遗址在历史、社会文化、精神情感和科学等各个层面的价值。先进的数字化博物馆将使世界各地的人们了解四川大地震，了解汉旺，在更大范围和更深程度去发掘和展现这些价值。
本项研究工作受到国家高技术研究发展计划(863计划)的资助，资助号：2008AA01Z303