基于影视拍摄现场的合成处理系统_中国电影科技网 - 科技前沿
您现在的位置： >>
基于影视拍摄现场的合成处理系统
　　浙江大学 王勇超 关晓青
　　浙江传媒学院 金晟
　　【摘要】本文设计一种新的影视现场处理软件，该项目设计旨在解决当前数字影视创作过程中，后期制作流程无法有效掌控前期拍摄，虚拟合成场景效率低、失误率高等问题。一方面，软件在保证合成精度的基础上，提供抠像合成、颜色校正、摄像机反求、重光照等后期制作过程中常用的功能和技术；另一方面，软件具有实时性高、操作简单、上手快等优点。现场试验结果表明，该软件能极大地节省拍摄过程的人力物力，提高影视创作的效率。
　　【关键词】 数字合成技术 现场处理软件 实时性
　　一、背景及问题
　　数字电影作为我国支柱型文化产业之一，具有市场规模大、产业链带动能力强等特点［1］。目前，在数字电影的拍摄过程中，虚拟化技术已经被广泛地应用，并在承担着越来越重要的作用［2］。它的作用主要体现在以下两个方面：一是直接用数字技术构建三维虚拟元素；二是用电脑对摄像机实拍的影像进行处理，即以实拍影像为基础，添加虚拟元素，构建现实中并不存在的虚拟场景。
　　虽然当前数字电影与虚拟化电影制作手段日益普及，但是在实际过程中，由于实际现场拍摄存在着大量不确定因素，而给导演、摄影的创作带来诸多不便，可以在拍摄现场进行实时特效合成的需求越来越迫切［3］。这主要表现在以下几个方面：
　　1想象空间受到很大制约：导演心目中许多凭想象的虚拟空间与场景，因无法获知后期是否可以CG制作实现，而导致无法决策是否现场拍摄。
　　2存在着很大的拍摄风险性：许多现场实拍的场景，由于存在着后期虚实配对制作环节，而导致现场导演、摄影无法最终确定实景拍摄是否能够满足后期制作的要求，从而在实际拍摄环节，经常会出现因合成效果不好而翻拍，但是翻拍不仅耗钱耗力，而且还经常会因为某些演员档期调不过来而无法拍摄。
　　3拍摄思想无法达成一致：电影制作是个团队合作的过程，导演、摄影、美工等各类人员因机位、思维等主客观因素，经常对于拍摄虚拟场景时想象力会出现不一致现象，而虚拟场景又往往无法实时预览，从而造成了最终的效果与每个人的想象存在着较大的差异。
　　4跟踪效果无法预测：在拍摄许多需要实时跟踪场景与摄像机运动轨迹的虚实结合影像时，导演往往无法明确背景定标点需要多少，少了可能出现跟踪不准，多了又怕情节穿帮，摄像师也往往很难把握运动速度是多少，太快怕无法跟踪，慢了又怕效果不好，因此往往只能凭经验来决策，带来了很大的不确定性。
　　5演员表演很难到位：虚拟场景的拍摄，往往是在蓝箱或绿布前完成，演员无法看到实际的场景、道具以及虚拟角色的表演互动，这就为演员演技的发挥带来了很大的难度，往往无法演得细腻传神。
　　6多地同时拍摄效果不佳：电影拍摄过程中，为了提高效率，同一部戏的不同场景，许多时候会在不同的地方同时开拍，而总导演往往只有一个，管了这边，往往无法顾及另一面，只能靠副手支持，从而经常无法同时保证各场戏的质量，风格也无法完全统一。
　　此外，数字电影数据量巨大，要想处理如此庞大的数据运算，并完成特效预览、虚拟互动等工作，都需要更加先进的后台软硬件，以及大量的特效制作人员来辅助完成。电影前期拍摄简陋而多变的拍摄现场，根本无法为要求越来越高的前后期互动流程提供设备、场地以及人员上的支持。而现今行业内较受欢迎的合成软件如Flame、After Effects、Nuke等也都普遍存在操作繁杂、上手门槛较高等问题，对现场操作人员的技术有一定要求，均不适用于拍摄现场对合成软件的实时性和简易操作的需求［4］。
　　正是因为以上这些问题的存在，在拍摄虚实结合的影像时，电影创作人员经常希望有一种效果可显现的方式来明确告知创作人员，到底实景拍摄效果如何。因此，如何致力于研发一款为现场提供实时性拍摄效果预览与辅助支持等功能的现场合成软件，成为当前数字电影前期拍摄过程中迫切需要解决的一大问题。
　　二、系统架构与功能
　　图2-1Special Effect软件界面本项目设计实现的影视现场处理软件Special Effect，旨在解决当前数字影视创作过程中，后期制作流程无法有效掌控前期拍摄、虚拟合成场景效率低、失误率高等问题。一方面，Special Effect软件在保证合成精度的基础上，提供抠像合成、颜色校正、摄像机反求、重光照等后期制作过程中常用的功能和技术［5］；另一方面，软件具有实时性高、操作简单、上手快等特点。本项目的实施将有助于打通当前电影虚拟化制作过程中存在的前期拍摄与后期制作脱节等瓶颈问题，加快虚拟化电影的创作效率，提升虚拟化电影拍摄的可靠性。
　　在项目开发实现过程中，基于程序运行效率和后期拓展性的考虑，并借鉴现有的影视处理软件，使用C++作为主开发语言，并尽量使用现有的跨平台的开源库，目前涉及到的库有：
　　表2-1研发所涉及的开源库
　　一般从文件内读取到的图像每个通道上像素表示为0-255的整数，为提高软件处理的精度，首先将图像转换为0.0-1.0的浮点数据，每个通道上的像素值用一个32bit的浮点数表示，在将图像存储到硬盘前，软件也将图像转化到常规表示。在完成数据转化之后，即待处理视频序列打开之后进入软件的核心功能影视处理过程，软件的功能流程图如图2-2。
　　Special Effect软件提供目前行业内采用度较高的时间线和节点两种模式相结合的方式来完成各种处理操作，并集合两者优点；在处理过程中，软件提供集成模板接口，将某些系列处理步骤集合成一个操作接口，实现一键处理的功能，使操作快速高效。
图2-2 软件的功能流程图
&&&&& 21颜色校正
　　颜色校正，用于视频或者图像的色彩校正。该功能模块提供了在四个域 Master、Hightlight、Midtones、Shadows 上调整五种参数Saturation、Contrast、Gamma、Gain、Lift的功能，同时还提供四个参数来影响调整的比例和范围，分别是midtones的下界、midtones的上界、选择的通道、mask。参数Master可进行全局调整，Hightlight调整图像中比较亮的区域，Midtones调整图像中间亮度的区域，Shadows调整图像中比较暗的区域；参数Saturation可调整某些域的饱和度，Contrast调整域的对比度，Gamma调整域的gamma系数，Gain调整域的增益系数，Lift调整域的补偿系数；设置参数midtones的上下界可确定三个域的边界，设置要调整的通道来选择调整单个或多个通道，设置mask来选择图像中需要调整的区域。五种调整参数的数学描述如下：设某个像素点上某通道上的数值为P，该点上的亮度值为luma，mask上对应点值为Pmask，对应域中调整系数分别为Psaturation，Pcontrast，Pgamma，Pgain，Plift，调整后的像素值为P'，计算P'的公式如下：
　　工作流程首先针对图像或者视频帧上的某个像素点，根据其R、G、B各通道的值求得均值进而得到该像素点的level，通过设置midtones的上下界确定该像素点所在的域Hightlight、Midtones或者Shadows，并根据用户对该域的调整参数来改变该像素点上三个通道的值。
　　22抠像
　　Special Effect软件共设计实现四种抠像方式，包括基于图像HSL空间中H通道的Hue Keying、Chroma Keying，基于HSL空间的三通道的HLS Keying、3D Keying。每种抠像方法提供有交互选择或自动计算两种模式，下面介绍两种主要的抠像方式。
　　221Hue Keying
　　Hue Keying指的是忽略HSL空间中的亮度L和饱和度S通道，并在色度H的通道中选择一个背景的色度值作为key value。但由于光照的影响，不可能所有的背景都恰好等于key value，由此需要用户针对该key value设置一个容差值tolerance来控制key value附近值作为背景的范围，如果图像中某像素点H通道的值在该范围内则被视为背景，对应生成的matte在该点值为0。设图像中的某个像素上的H通道值为Hpixel，tolerance值为Th，则对应的matte生成的公式如下：
　　除了tolerance外，还有一个控制渐变的参数柔软度softness，在超出tolerance的范围后，对于与key value接近的像素点，不能全部当做前景，也不能直接被抠去，应该根据像素值与key value的距离决定其不透明度。
　　222Chroma Keying
　　Chroma Keying的核心思想是将与背景像素值的色相相同或者相近的像素点做背景，否则看作前景，通过将前景的不透明度设为1，背景部分设为0，与背景相近的部分不透明度设为0-1的中间值，从而生成一副与源图像大小相同的mask图像。
　　其工作流程首先将图像转化到YCrCb颜色空间，用户先指定一个像素值或者颜色值作为背景色表示为key value，根据不同通道的值计算Cbkey、Crkey、Ykey分别代表色相的key值和亮度的key值，设源图像像素点的三个通道值分别为Ypixel、Cbpixel、Crpixel，其中Y通道为亮度信息，Cb和Cr通道为Chroma信息，和背景色完全相等的像素点一定是背景，由于光照和拍摄角度的影响，不可能图像中所有的背景的颜色完全与设置的背景色相同，因此要设置tolerance来指定背景色跨越的范围，在这个范围内的像素点均被看做背景，Cb和Cr通道代表色相信息，对应的tolerance表示为Tc，Y通道代表亮度信息，对应的tolerance表示为Ty,对应的mask为Mpixel，在tolerance区间内的像素点对应的Mpixel为0。超出tolerance的范围后，对于在tolerance边缘上的像素值不能看做前景或者背景，应该设置一个参数softness（设为s），在softness范围内，根据该像素值与key value的差值计算相应的Mpixel，距离key value越远的Mpixel越大。数学表达式:
　　23形变
　　Special Effect软件提供形变的操作包括Flip、Rotate、Crop、Displate、Transform、Translate六种方式。Flip为翻转操作，提供给用户翻转二维图像的操作，用户在使用时需要指定翻转的轴，然后沿指定的X轴、Y轴或X&Y轴来实现对图像的Flip操作；Rotate为旋转操作，相当于Flip操作的升级，是沿图像中心点固定度数的旋转，需要两个参数，旋转的度数和插值的类型，系统提供有最近邻插值、双线性插值、双三次插值、Lanczos插值四种常用的插值方式；Crop为裁剪操作，提供指定区域的裁剪操作;Translate为偏移操作，通过输入参数为沿X轴和Y轴的偏移坐标，先计算变换矩阵，再利用变换矩阵对图像进行仿射变换；Scale为缩放操作，输入参数为沿X轴和Y轴的缩放比例，实现方法类似Translate；Transform相当于Scale、Translate、Rotate三种操作的集合，提供对图像进行各种仿射变换的操作，输入的参数有偏移坐标、缩放比例、旋转角度，实现方法同Translate。
　　24跟踪
　　241单点跟踪
图2-3 单点追踪
　　通过权衡计算速度和算法精度，选取harri特征点作特征点的提取匹配，并使用基于图像金字塔的光流法来做帧间匹配。在较大的帧间运动上，这种方法比普通的光流法更稳定。实现过程中先根据用户的输入建立一个二维点向量，并优化二维点坐标到浮点精度，针对指定的两帧图像和点坐标计算后一帧上点对应的坐标值。考虑到连续帧的点跟踪过程需要用户参与来优化，因此该功能提供两个操作接口，一个为计算单帧上的匹配点坐标，一个为计算连续的多帧上的匹配点坐标，跟踪的流程如图2-3所示。
　　242四点跟踪
　　结合点跟踪算法和图像形变算法来实现四点跟踪功能。使用了上文中的点跟踪算法，设置初始点坐标后，再对后续帧中利用光流法跟踪得到新的点坐标。通过利用四个点的坐标和待映射图像或视频帧的四个顶点坐标计算得到图像的透视变换矩阵，再对待映射图像或帧进行透视变换后与原帧进行合成，跟踪的流程如图2-4所示。
图2-4 四点追踪
　　243物体跟踪
　　物体跟踪指在视频的初始帧上指定一个矩形区域和跟踪目标，得到后续帧上该跟踪目标出现的位置的功能。视频中物体跟踪是长久以来计算机视觉解决的目标之一，最近几年，由于机器学习的理论成熟及在计算机视觉领域的广泛应用，基于机器学习方法的物体跟踪相比过去直接基于像素或者模板的跟踪，在鲁棒性上有很大的提高。
　　项目中我们采用了基于机器学习的方法，核心思想是根据当前帧中跟踪区域和跟踪区域周围区域的像素通过机器学习方法训练一个模型，在下一帧中利用学习好的模型对每块区域做预测，去预测值最高的区域作为当前的对象位置，再重新进行训练［6］。
　　25摄像机路径反求
　　在影视制作中，如果需要在场景中插入虚拟的三维物体，首先要得到当前场景的信息以及拍摄相机的运动轨迹，这相当于计算机视觉中的SFM(Structure from Motion)或者SLAM(simultaneous localization and maping)问题。路径反求的流程图如图2-5所示。
图2-5 摄像机路径反求
　　除待反求的高清视频，系统还需要视频采集设备的内参数，三维物体合成过程中需要制定要加入的三维模型以及三维模型在map中的姿态。根据影视中相机路径的需求，我们选取了类似于［6］的方案，方案的主要特点有：
　　1Tracking和Mapping分离，分别运行在不同的线程中；
　　2Mapping是基于关键帧的，利用批优化技术进行处理；
　　3通过两个视点进行初始化；
　　4map中的点非常稠密；
　　5不需要场景中包含特定的标记物。
　　其中Mapping用来管理map结构，map中包含了稠密的三维点坐标、包含map中特征点的关键帧的四层灰度图像金字塔、采集关键帧时的手机姿态、特征点二维坐标、包含特征点的patch的法向。map的管理主要包括系统开始运行时map的初始化和加入新的关键帧后的稀疏映射。
　　Mapping可采用两个视点进行其初始化。系统开启后，当惯性跟踪部分检测到惯性测量单元已经移动一定的距离后，利用初始视点和移动后的视点对map进行初始化。在初始化的过程中，为增强特征点匹配的精度和提高初始化的效率，我们将初始化分成两步。首先提取两个视点下各自的ORB特征点［7］，根据特征点匹配算法对两视点下的特征点进行特征匹配，根据匹配的结果计算两视点间的本质矩阵，在本质矩阵的求解计算中加入RANSCA(随机采样一致性)算法以降低错误匹配的干扰。将本质矩阵进行SVD分解（奇异值分解）可以得到两视点的偏移和旋转，根据偏移、旋转以及特征点的二维坐标，利用三角法计算特征点的三维坐标，从而得到一个特征点数量不多的三维点集合。
　　Tracking用来优化从运动模型中得到的姿态估计并且用来消除漂移误差。设在t时刻得到新的视频帧，根据一个简单的运动模型可以得到一个先验的相机姿态，再通过一个两步的从粗糙到精确的过程得到更精确的相机姿态。利用相机的估计姿态和相机内参就可以将map中的三维点投影到图像上得到特征点估计的二维坐标，同时，为了使map中patch的形状与当前帧相似，还需要通过一个仿射变换将map中的patch变换到当前帧相同形状，然后在当前帧中的估计出的二维坐标附近区域中通过ZSSD查找最优匹配点。查找到所有的匹配后可使用levenberg-Marquart［8］最小化投影误差来计算优化后的相机姿态。
　　三、应用示范
　　项目由浙江横店影视制作中心某公司承担试点示范，从而构成完整的产学研服务链条。通过发挥实时交互虚拟化电影协同制作系统平台的作用，充分为电影创作和生成人员提供贯穿电影生产全过程提供非常便捷的服务，同时优化电影制作流程，提高电影制作效率与质量。现场制作处理流程如图3-1。
图3-1 现场制作示范流程
图3-2 抠像
　　以抠像中Chroma Keying为例展示软件的使用过程，通过调整参数来达到要实现的效果。
　　四、结论
　　为解决当前数字影视创作过程中，后期制作流程无法有效掌控前期拍摄、虚拟合成场景效率低、失误率高等问题，本文设计了一种新的影视现场处理软件Special Effect，在保证合成精度的基础上，提供抠像合成、颜色校正、摄像机反求、重光照等影视制作过程中常用的功能，该软件具有实时性高、操作简单、上手快等优点，虽然应用试验结果表明，该软件能极大地节省拍摄过程的人力物力，提高影视创作的效率，但是要想更好更快地为影视制作工作人员服务仍有很多事情要做。为了设计出更高效的现场处理软件，接下来的工作主要有两个方面：一是更多的集成处理操作，使集成模板尽可能包含现场拍摄过程中工作人员的所有需要，进而达到一键工作的目标，使软件更易上手、操作；另一方面是在保证效率的基础上，优化算法提高处理精度。
　　*本项目论文由《实时交互虚拟化电影协同制作系统及装置的研发》课题支撑，课题编号：2012BAH70F01。
　　参考文献
　　［1］朱虹.中国数字电影的现状与发展战略［J］.现代传播(中国传媒大学学报),-7
　　［2］栾毅之.中国数字电影产业体系的构建［D］.山东师范大学,2009
　　［3］赵鹤玲.数字技术给电影带来的变革与展望［D］.河北大学,2006
　　［4］杨静.影视后期数字视频技术中AE的运用［J］.无线互联科技,-70
　　［5］王磊.论影视特效处理技术［J］.中国传媒科技,-203
　　［6］Babenko B, Yang M H, Belongie S. Visual tracking with online Multiple Instance Learning［J］.IEEE Trans Pattern Anal Mach Intell,
　　［7］Rublee, E,Willow Garage, Menlo Park,Rabaud, V.,Konolige, K,Bradski, G.ORB: An efficient alternative to SIFT puter Vision (ICCV), 2011 IEEE International Conference on, Page2564 C 2571
　　［8］Shanthi S, Balamurugan P, Kumar D.Performance comparison of featured neural network with gradient descent and levenberg-marquart algorithm trained neural networks for prediction of blood glucose values with continuous glucose monitoring sensor data［C］// Emerging Trends in Science, Engineering and Technology (INCOSET), 2012 International Conference on.IEEE,
京公网安备15号中国电影科学技术研究所 国家广电总局电影技术质量检测所 版权所有，未经许可不得转载上海蓝歌专业音响设计公司
公司名称: 上海蓝歌专业音响设计公司
地址：上海市明中路1010弄万科白马花园192号1-3层
联系人:刘志强
传真：021-
电话：021-
上海会议音响系统、上海会议音响设计，上海会议音响价格、上海会议音响报价、上海会议音响专业系统集成公司——上海蓝歌影音数码科技有限公司，坐落在国际大都市上海。是经国家工商局、国家税务局核准运营的企业法人，专业从事会议音响、会议室音响、灯光、视频、监控、VOD电脑点歌、会议系统、中控系统的工程设计和安装、企业网站建设和DISCO文化策划和推广、娱乐场所装饰装潢设计为一体的系统集成公司。 由于公司在经营中重合同，守信誉，在音响界有着良好的业绩和口碑！ 上海蓝歌影音科技有限公司是国内音响灯光行业的知名企业，蓝歌公司已经在福建福州和浙江杭州都有自己的分公司! ...您好，欢迎来到中国供应商！
当前位置:&企业首页
angela 女士 (多媒体事业部 多媒体事业部副理)
公司注册地址：
主营产品：
供应信息分类
联系人:angela 女士 (多媒体事业部 多媒体事业部副理)
电 话 :传 真 :9
地 址 :江苏 苏州 江苏 苏州市 相成经济开发区澄阳路28号
供应信息为空，为你推荐的是：
免责声明：
本商铺内所展现的公司信息、产品信息及其他相关信息均由商铺所属企业自行提供，信息的真实性、准确性和合法性由商铺所属企业完全负责。中国供应商对此不承担任何保证责任。
友情提醒：
建议您在购买相关产品前务必确认供应商资质及产品质量，过低的价格有可能是虚假信息，请谨慎对待，谨防欺诈行为。
地址：江苏 苏州 江苏 苏州市 相成经济开发区澄阳路28号
按拼音检索：
||||||||||||||||||||||||||
技术支持：智能家居影音
已有0位业主团购智能家居影音
400-800-0011转0
地址：山西省 长治市 城区 昌盛电脑城一层A4[]
推荐指数：
推荐理由：长治市城区中欣科技部是一家专业从事于智能家居控制，家庭影院影音集成的专业公司。 中欣本着以客户为中心的服务理念，质量信誉至上的服务宗旨，致力于为客户量身定做完整的解决方案。
长治市城区中欣科技部是一家专业从事于智能家居控制，家庭影院影音集成的专业公司。 中欣本着以客户为中心的服务理念，质量信誉至上的服务宗旨，致力于为客户量身定做完整的解决方案。现已...
评价内容：
好评中评差评
400-800-0011转0
抢购价：1950元
市场价：2600元
照片·案例
招聘职位人数待遇发布时间到期时间操作
留言内容：
联系电话：
联系电话,只有该会员才能看到
联系方式：139********装一网网友
17:24:55 留言
你好！欧必德集成热水器《不挂墙的坦热水器》期待您的关注。共赢
联系方式：139********装一网网友
17:18:46 留言
你好！欧必德集成热水器《不挂墙的坦热水器》期待您的关注。共赢
装一网网友
18:19:53 留言
不错加油吧
本月访问量352|
总访问量18954|
产品展示个|
公司新闻篇|
荣誉证书个
照片·案例个|