全景产品漫游中一个较为关键的问题是必须保证场景显示的实时性，即显示速度要跟得上用户漫游的速度。另一个较为关键的问题是显示画面的视觉一致性，即漫游时的显示画面要符合人的视觉习惯。
6）现在还出现了有立体感的基于IBR的全景图像，一般用两幅全景图像来构造一幅有立体感的全景图像。可以用两个照相机来生成有立体感的全景图像，但在两个照相机的视点的连线方向上不能产生立体感，并只用单个照相机就形成了有立体感的全景图像。这样的图像不具备深度信息，立体感只是人眼的错觉。立体感还可以表现在全景图像所附的音响效果上。如:观赏音乐会的全景图像时，当移动观察方向去观看右边的场景，音乐应来自左侧:当观看左边的场景时，音乐应来自右侧:当切换到离演奏者较近的距离时，音乐声应变大:当切换到较远距离时，音乐声应变小。立体感加深了虚拟环境的真实感和沉浸感。在计算机上观看有立体感的全景图像.可以采用立体眼镜，也可以采用更高级的头盔显示器。基于IBR的全景图像还，可以利用柱面变形技术(cylindrical U)或者其它变形技术使平面全景图像产生深度感觉。
总的来说基于IBR的全景图像技术还不太成熟，它的成熟和广泛应用还有待于一些问题的解决，如:压缩全景图像，提高存储效率;处理全方位全景图像，包括其存储方式、快速有效的拼接方式等:如何拼接活动图像，以从改进拼接方法以及使用硬件代替软件进行拼接。解决全景漫游时，图像遮挡、深度不连续和声音远近等问题;如何实时传递全景图像等等。
3.2基于图像绘制技术的难题
基于图像的虚拟现实技术的主要限制是场景必须是静态的，运动限制在特定的点上。本文下一步的上作是建立随着时间变化的全景图和包含运动的全景图。
随着时间变化的全景图可以采用时间间隔的照相法得到。将摄影机固定在同一位置，在一天中每隔一定时间取得一幅全景图。得到的全景图组就可以使用户在场景中看到随时间变化的场景。
解决静态环境约束的一个办法是把图像绘制和计算机图形绘制相结合。由于大多数背景是静态的，可以用全景图来绘制，运动的物体采用计算机图形绘制，将绘制好的对象与静态背景合成在一起。通常，需要实时绘制的交互对象数量不多，因此，采用一般的三维图形绘制可以完成该任务。
在场景中平滑移动非常困难，对于用计算机绘制的场景，可以用视点插值的方法来解决。它需要场景的深度信息、，然而这类信息并不容易从图像中获取。
柱面全景图不能从上到下观看，如果采用立方体或者球面图像，那么拍摄又极为困难。这是需解决的问题之一。
用基于图像的方法建立虚拟空间具有快速、简单、逼真等独特的优点，正在为越来越多的应用采纳。值得说明的是，这种技术和基于几何造型的虚拟环境不是一种取代关系，而是一种互补的关系。
第四章基于全景的数字虚拟校园实现
4.1虚拟校园组成
基于全景图像的虚拟校园山数据库、电子地图界面、基于全景图像的虚拟现实界面、因特网和用户组成，如图4.1所示。数据库包括校园建筑物和各种设施以全景图像表现的虚拟现实场景、校园电子地图、部分建筑物各层平面图、院、系、所、部处等二级机构网址，以及其它必要的信息。
图4.1虚拟校园的组成
与传统的基于文本和图形的网页设计不同，虚拟校园增加了电子地图和虚拟现实场景作为用户界面，通过电子地图界面和虚拟现实场景界面，用户可以访问以文本、多媒体、虚拟现实等多种形式表现的校园信息，以不同的尺度联系不同的地理实体，如办公楼、楼内某一间办公室或某一台计算机终端。虚拟现实场景界面还可以给用户一种身临其境使用某种设施的感觉，如在虚拟测量实验中使用虚拟全站仪进行虚拟导线测量实验。
4.2全景图像生成
柱面全景图是目前实现简单、应用较广的一种全景图，使用柱面全景图来实现实时漫游，需要以下几个步骤的准备:
1）在真实场景中按照一定的选取原则选择一系列用于采集真实场景信息的采样点，在这些采样点上通过普通照相机或摄像机采集具有重叠区域的360度真实场景环视图像，以此作为虚拟场景实时漫游的数据基础。
2）利用柱面全景图镶嵌算法，分别对上一步中所得到的多组真实场景环视图像进行处理，获得同各个采样点相对应的多幅柱面全景图，并且根据各个采样点之间的空间位置关系，将这些柱面全景图通过空间关联连接起来，建立起与该真实场景相对应的虚拟场景。
全景图像的柱面投影、焦距估算的方法在上一章中已经介绍过了，本文的图像匹配方法采取的是以边缘为特征的配准算法，边缘检测效果对图像配准的鲁棒性和精度有很大的影响。边缘检测对于图像处理和计算机视觉来说，是一个基础性的课题，它是图像分割、视觉匹配等的基础。图像处理中边缘检测的主要计算方法就是做一个函数与图像信号卷积，得到横向和纵向的梯度图像和模图像，然后根据梯度方向来进行模的极大值提取，获得本文需要的物体边缘。传统的计算方法使用模板在每个图像点的相邻区域里进行卷积运算，如Robert, Prewitt, Sobel的计算方法，这也是口前图像处理中经常采用的方法，这些算法的主要缺点是对噪声敏感，而在实际图像中噪声难以避免的，所以这些传统方法是不能取得令人满意的结果。尽管Sobel算子计算简单，但它对噪声敏感，边缘检测精度不高，不利于精确配准。同时，边缘检测信息依赖于阈值的选择，而阈值的自适应选择并不容易。而Canny边缘检测方法对于阶跃边缘类型有很好的检测效果和边缘定位精度，在一定程度上被视为最优的边缘检测方法，所获得的边缘为单像素宽度，利于实现像素级图像配准精度，为本文的配准方法采用。
4.2.1Canny边缘检测算法
本文中具体实现步骤为：
1)按照递增的标准差ff，重复(2)到((6)步骤;
2)将图像与尺度为Gaussian的滤波器做卷积:
3)对图像中的每个点，估计出局部边缘的法向n(梯度方向)，求出图像中各点的梯度方向:
4)找到边缘的位置，采用非最大抑制((non-maximal supppression)在边缘垂自方向上寻找局部最大值，确定边缘位置:
5)计算出图像各边缘点的边缘强度:
6)对边缘图做滞后闽值化处理，消除虚假响应:
7)进行特征综合处理，收集来自多尺度的最终的边缘信息。
这里分别采用Sobel算子和Canny算子对同一幅图像进行边缘检测后得到如4.2所示的边缘图，a)为原始图像，b)为采用Sobel方法检测出的边缘图，c)为采用Canny方法检测出的边缘图。从图中可以看出Canny算子获得的边缘图确实具有较高的边缘定位精度和较好的检测效果。
a)原始图像 b）Seobel算子检测结果 c）canny算子检测结果
图4.2 Sobel和Canny边缘检测方法效果对比图
4.2.2模板匹配
灰度信息包含了最大量的图像信息，但边缘信息则反映了图像内在的性质，它不易受外界光照条件的影响而产生剧烈的变化。因此相比灰度信息，边缘信息的抗灰度和几何畸变能力强，采用边缘信息构建模板在图像拼接应用中可获得更加可靠的稳定性。所以本文在图像的边缘图中提取模板进行模板匹配，可显著提高匹配的可靠性。另外，边缘的二值性也可使对比相似性的计算简化。本文采用前文所述的基于最优化边缘检测准则的Canny算子，该方法对于阶跃边缘类型有很好的检测效果和边缘定位精度，在一定程度上被视为最优的边缘检测方法，有利于提高配准的精度。
本文使用差值图像的方法进行图像匹配，自接在锐化过边缘特征的相邻图像中搜索重叠的区域，而不需要任何频域上的运算，根据相似距离进行搜索，相似距离函数定义为
（1）
由于匹配搜索之前锐化了图像样本的边缘特征，大大减小了陷入局部极值的概率。此算法计算精度很高，山于计算相似距离的极小值，因此对于图像样本间的光线变化不敏感，有较好的抗噪声能力。
采用上述算法，用普通数码相机在三脚架上水平旋转一周，拍摄一组相邻照片相互有交叠部分的照片，拼接成一幅全景图，如下图所示。
