混合现实（Mixed reality）又称扩展现实和增强现实，在了解混合现实之前有必要先了解虚拟现实：虚拟现实是通过计算机产生三维影像，提供给观众一个可以感观的虚拟三维空间的一种技术。如我们熟知的好莱乌电影，我们看到的电影画面如星球大战中火爆的画面，虚拟的外星生物，太空情景等，就是虚拟现实技术的杰作，在此之前，虚拟世界与现实世界是基本完全分割的。我们认为虚拟现实的进一步发展，就是混合现实了，混合现实将真实的环境和虚拟的物体叠加到了同一个画面或空间同时存在。在早期，这些画面都是在电影生成的后期添加上去的，需要一定的制作时间，人们只能在回放的影像中以旁观者的角色               

去感受它


第二 混合现实的发展

混合现实的研究及最早期应用起源于1990年。到2000年已日渐成熟，目前国外已经在娱乐、军事、医学、教育、建设等各行业中开始大量应用。
　　　最新的混合现实技术把虚拟现实与现实混合的后期制作时间提前了，并能使得人们亲身实时地感受，现实的环境，虚拟的物品，处在了同一时空，而人也在其中，这无疑给我们带来了更大的乐趣和深远的意义！混合现实就是虚拟现实与真实结合的一种新型技术。下图展示了Milgram先生在1994年定义虚拟现实、混合现实和真实环境三者的关系：



　　通过混合现实，用户在操控虚拟影像的同时也能接触真实环境，从而增强了感官性。大多数的混合现实都是通过图形叠加的方式把虚拟图像置于真实的图像或环境中：

混合现实的主要构成有三部分：（如下图）


一、（头带）显示设备：
　　显示设备主要用于显示虚拟图像与真实环境相叠加所产生的影像。头带式显示设备，我们统称为HMD。
　　对于HMD，主要有两种类型，一种为透光式HMD（Optical see-through），另一种为影像式HMD（Video see-through）。
　　透光式HMD允许用户看到真实的环境，而且计算机把生成的图像叠加显示于眼镜上。
　　影像式HMD并不能让用户直接看到真实的环境，而是通过HMD上的摄像头记录环境信息，然后计算机产生虚拟图像叠加于录像中。
　　除了HMD外，普通的显示设备，如显示器、电视机、投影仪都是混合现实显示图像的主要载体。




透光式HMD
设有定位反光球的捕捉“笔”


二、捕捉设备：
　　 捕捉设备主要用于捕捉用户的坐标、方向、动作等。常见的捕捉设备有电磁式、光学、超声波、机械和图像处理。
１、机械式：
　　 捕捉设备是最早期的技术之一。其优点在于准确和实时，但其缺点也是很明显的，那就是笨重。因此机械式捕捉设备只适合于小范围简单动作的捕捉。
２、电磁式：
　　 电磁式捕捉设备是通过一巨大的电磁发生器配合若干电磁感应装置来确定用户的坐标和方向。其优点在于轻巧、准确、实时、容易安装和经济。十分适合于小型公司使用。但电磁式捕捉设备极容易收到环境的金属影响，例如：钢筋、金属家具。而且，电磁式捕捉设备对环境周围的电器设备均有一定的影响。
３、光学式：
　　 一般的光学捕捉设备是通过若干高速摄像机对需要捕捉的人或物体进行包围布置，而且演员或动物身上均需要牢固绑上各种反光小球。光学捕捉设备的最大特点在于高精确度。目前大量的电影公司和游戏公司都采用光学捕捉设备进行捕捉。但光学捕捉设备价钱非常昂贵，而且安装困难，对于需要实时的用户更需要高性能的电脑与之配合。另外，光学捕捉技术的难点之一在于在于如何解决当被捕捉物体的感应器被其他物体或身体的其他部分阻挡的时候的捕捉。一般的方法是采用更多的摄像机，但摄像机越多，安装越困难，而且成本就越高。
４、超声波：
　　 超声波捕捉设备是通过超声波对需要捕捉物体身上的感应器进行捕捉并输出坐标。超声波捕捉设备有效地解决了光学捕捉设备中捕捉物体被遮挡的难题。但超声波捕捉设备在准确性方面还不能与光学捕捉设备相媲美，而且价格不菲，因此不是很流行。
５、图像处理：
　　 这是一种新式的动作捕捉方式，该技术通过一个摄像机对影像进行拍摄，然后对影像分析，从而产生被捕捉物体的动作。此技术的优点在于被捕捉演员不需要穿着感应器，而且设备成本低廉，所以非常适合于对捕捉数据准确性要求不高的场合，如家庭或娱乐场。

　　而现时我们的技术研究也正是在这种成本低廉的捕捉设备上开展。

三、电脑：
　　对于混合现实，电脑扮演捕捉数据分析、虚拟图像的产生和叠加以及交互功能的处理。


第三 混合现实的特点

１、 真实性
混合现实技术比起以往的虚拟现实技术体现在真实环境与虚拟环境结合的优越性，虚拟现实只是纯反应计算机所虚拟现实世界中的事物，而混合现实技术将虚拟世界中的事物和真实事物结合，使人们与虚拟世界有了沟通的桥梁。

２、实时与互动
　　混合现实技术又分为后期混合现实和实时混合现实，而实时混合现实技术是比较尖端的新技术，我们所研究的就是实时混合现实技术。以往的混合现实技术只限于后期的制作，如好莱坞科幻片中的情景，预先拍摄好演员的动作，然后在后期影片剪辑时加上虚拟人物或物体与主角互动。影片的拍摄前期必需考虑诸多因素，例如让演员做一些预先安排好的动作，而制作时又需考虑虚拟物品的大小及方位，但通过最新的实时混合现实技术，这两者就可以同时进行了，省却许多不必要的考虑不周的因素。
　　实时混合现实技术把这个时间提前了，并且更重要的一点是人还可以与虚拟的物体在真实的环境中互动。实时混合现实最大的意义在于虚拟世界和真实世界是同步实时的，人们可以在现实世界中真实地亲身感受来自虚拟空间的人们所能想象的一切幻象事物，令我们更加容易进入角色，而使的趣味性和实用性大增。同时这样可以使混合现实技术应用到更广的领域中去。

３、廉价
　　英狮公司研发的新型混合现实技术，结合数字图像基础分析技术，将现时的相对昂贵的混合现实捕捉设备成本降到最低，只需要一个普通的摄像头。同时通过技术优化，灵敏度达到了一些高级设备的水准，这无疑大大提高了我们的产品的市场竞争力。为此项高新技术进入民用化铺平了道路。

第四 混合现实的应用前景及意义

混合现实技术作为人们在现实世界中与虚拟世界沟通的桥梁和增进人机互动性的新方式，其意义和作用是深远和广泛的。同时在新经济来临时期也具有巨大的价值。
　　狭义的“新经济”主要指信息产业。而这里所说的“新经济”是指广义的，就是说通过信息化产业的崛起，通过技术革命，有了比以往更为有力的，使得人类对信息的交流，消化，强力的工具，这除了给信息产业带来了革命之外，其最终结果也将给传统产业带来变化，甚至改变一些传统业的结构和运作模式，因此，各个领域的传统行业也将面临一次新的考验和进步。
　　每一次新科技革命，都有尖端技术和先导技术，并产生完全新型的系列产业。第一次科技革命是蒸汽机，纺织机，电动机，发电机。第二次科技革命的尖端技术在20世纪40年代发端，在70年代成熟，包括：微电子科学和电子信息技术，空间科学和航空航天技术，光电子科学和光机电一体化技术，生命科学和生物工程技术，材料科学和新材料技术，能源科学和新能源，高效节能技术，生态科学和环境保护技术，地球科学和海洋工程技术，基本物质科学和辐射技术，医药科学和生物医学工程。成熟的标志是全球技术创新，并使之转化为产业，至今方兴未艾。　
　　那么，在第四次科技革命到来时，会出现一些什么样的尖端技术和先导技术呢？可以说会有很多，而这些技术都会在实践中得到壮大或者淘汰，这要看这些技术是否适合生存和其在新的经济体系中的作用和意义。
　　混合现实和计算机图形技术在科技革命中的意义主要有两个：
　　１、混合现实作为一种最新的电脑技术，已经开始在各个领域中得到应用，（参看技术背景及应用一节）。为虚拟世界和现实世界的接轨提供一个互动的空间，为人类的实践节省资源。然而，现时的应用只局限于独立性质的使，当信息化革命到来，这些应用也将随着信息革命进入新的探索空间，这些技术的成果或实践经验将得到快速的传播和交流，更重要的是混合现实相对于以往的虚拟现实是实时的，而且是与人互动的，不只停留于观看，而更着重于实时操控。这样就会有力地促进了其应用行业的发展。我们可以想象一个例子，比如一个本地的手术实验，通过混合现实和信息网络传到了一个远在他方的富有经验的外科生家中，这个医生通过混合现实中的图像信息就可以亲自操作这个手术了，当然这只是一个想象，实现起来还需有一番深入的科研攻关。
　　所以我们认为，信息产业革命最终结果将会给传统产业带来变化，甚至改变一些传统业的结构和运作模式；而混合现实技术将是其中的手段之一。
　　２、简化人机界面，促进信息交换速度，减少学习使用机器的时间。这里的机器，是指所有基于电脑芯片组的，给人们的工作，生活，娱乐，学习带来方便和辅助作用的计算机，包括ＰＣ、大型工业电脑设备，ＰＤＡ，移动通信设备等。我们知道，以往人们在使用这些设备的之前，特别结构复杂的计算机操作，都需要花一定的学习时间，而如果我们把一些输入指令改为人们与生俱来的声音或动作，那学习的难度将大大降低，从而节省了学习的时间。计算机通过图像分析来判断人的肢体语言，显得比判断人的声音更为简单。因为肢体语言可以统一，但人的声音千变万化，不同的声调语气和不同的语种和方言，和声音文件的巨大，使得对硬件的要求甚高。
　　另外，在计算机与人的交流当中，存在着沟通的障碍；例如人需要通过键盘输入指令和计算机交流。而在基于通过网络上，人与人交流信息的情形下，这种障碍会加重：人>计算机>另一台计算机>人。如果用比较直观的图形分析，使用者并不需接触电脑，通过摄像头，只要给电脑“望见”就行了。这样，至少就可以缩短了信息交流的过程。同时这对于伤残人士提供了莫大的方便。
　　所以，计算机图形分析技术，对加快信息化产业本身的进程也将起到促进的作用。

　　同时廉价的通用设备是必不可少的应用条件。可以预期，基于图形分析技术的混合现实将是这个即将到来的科技大潮中的弄潮儿。