从计算机视觉的实际应用上来看，运动目标检测与识别、分析所面临主要挑战和需解决问题可以归结为三个方面，即算法的鲁棒性、准确性、实时性。

　　鲁棒性

　　鲁棒性就是系统的健壮性，用以表征控制系统对特性或参数摄动的不敏感性。运动目标检测算法的鲁棒性是能够在各种环境条件下实现对运动目标持续、稳定的检测、分析和识别。

　　影响算法鲁棒性的最主要原因有如下几项：目标状态的改变、环境光照的变化、部分遮挡引起的目标不规则变形和全部遮挡引起的运动目标暂时消失。

　　准确性

　　运动目标检测和识别针对不同应用情况，其检测识别率不同，几乎无法实现100%检测成功，即存在误检和漏检情况。由于实际的监控场景环境复杂、千变万化，其中存在大量噪声和干扰情况，通过算法的优化可提高一定的检测准确率，同时往往只能根据实际需求，在误检率（虚警率）和漏检率（漏警率）之间寻求平衡折中。

　　实时性

　　一个实用的智能视频 ，必须具备能够对视频图像序列进行实时处理的能力。由于对视频动态图像的处理方法是建立在二维数字信号的处理基础上，所处理的对象包含巨大的数据量和信息量，要求算法不能计算太复杂，必须快速、实时。对于实时分析预警任务，计算复杂度是至关重要的，这样才能把系统更多的资源分配给更高级的任务。而这其中实时性和鲁棒性又常常是矛盾的，如何寻求平衡发展是技术的关键。

　　尤其指出，目前已有公司自主研发的视频运动检测算法，相比经典的运动检测算法，受光线和镜头抖动的影响较小，而且计算时间更少，更加适合实时产品的开发。同时在自主算法基础上封装开发包（SDK），在该公司数字安防系统软件平台、网络摄像机系列产品中集成，实现了系统级和产品级的可靠应用。同时，项目组正在广泛地建立多种场景的视频库，针对多种场景的视频使用自有算法做测试，以便更好完善算法，减少需要调整参数的个数，从而更好地满足实际应用需求。

　　绝大多数智能视频分析都是基于运动目标检测技术，即首先智能分析系统能准确地完成对运动目标的检测，将运动物体与图像背景有效分离，提取出运动目标信息。