LY/T 3127-2019 林业应用系统质量控制与测试
LY/T 3127-2019 Specifications for forestry application system quality control and test
基本信息
本标准适用于林业应用系统的开发和维护,也适用于系统开发商的内控管理、自测以及第三方测试机构的测评。
注: 林业应用系统仅指林业应用软件。
发布历史
-
2019年10月
文前页预览
研制信息
- 起草单位:
- 北京林业大学、国家林业和草原局信息中心、北京大学软件工程国家工程研究中心
- 起草人:
- 李冬梅、顾红波、刘学洋、檀稳、苏翔、庄婷婷、李东远、林丹琼、张琪、李鹭
- 出版信息:
- 页数:32页 | 字数:50 千字 | 开本: 大16开
内容描述
ICS65.020.99
B60
LY
中华人民共和国林业行业标准
LY/T3127—2019
林业应用系统质量控制与测试
Specificationsforforestryapplicationsystemqualitycontrolandtest
(发布稿)
2019-10-23发布2020-04-01实施
国家林业和草原局发布
LY/T3127—2019
目次
1范围1
2规范性引用文件1
3术语和定义1
4林业应用系统质量控制1
4.1概述1
4.2质量保证计划制定1
4.3质量保证计划执行2
4.4质量评测2
4.5质量问题管理2
5林业应用系统质量测试2
5.1概述2
5.2测试目的2
5.3测试类别3
5.4测试内容3
5.5测试活动4
5.6测试方法4
5.7测试用例5
5.8测试管理6
5.9测试评审6
附录A(资料性附录)测试文档常用模板8
附录B(规范性附录)单元测试说明10
附录C(规范性附录)系统测试说明14
附录D(规范性附录)回归测试说明21
参考文献25
I
LY/T3127—2019
前言
本标准按照GB/T1.1—2009给出的规则起草。
本标准由国家林业和草原局信息中心提出。
本标准由全国林业信息数据标准化技术委员会(SAC/TC386)归口。
本标准负责起草单位:北京林业大学,国家林业和草原局信息中心,北京大学软件工程国家工程研
究中心。
本标准主要起草人:李冬梅、顾红波、刘学洋、檀稳、苏翔、庄婷婷、李东远、林丹琼、张琪、李
鹭。
II
LY/T3127—2019
林业应用系统质量控制与测试
1范围
本标准规定了林业应用系统开发和维护过程中的质量控制、质量测试要求。
本标准适用于林业应用系统的开发和维护,也适用于系统开发商的内控管理、自测以及第三方测试
机构的测评。
注:林业应用系统仅只林业应用软件。
2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T8566信息技术软件生存周期过程
GB/T12504计算机软件质量保证计划规范
LY/T2265林业信息术语
LY/T2925林业信息系统质量规范
3术语和定义
GB/T8566—2007、GB/T12504—1990和LY/T2265—2014中界定的术语和定义适用于本文件。
3.1
林业应用系统forestryapplicationsystem
解决林业信息化工作中应用问题的软件或程序。
4林业应用系统质量控制
4.1概述
林业应用系统的质量控制的内容包括质量保证计划制定、质量保证计划执行、质量评测、质量问题
管理。
4.2质量保证计划制定
质量保证计划制定指项目开发人员根据项目开发计划文档的内容,确定项目实施过程中过程活动、
工作产品检查的内容、方式和时间等要素。
开发不同的林业应用系统,其质量保证计划应根据实际业务需求体现不同的侧重点。
质量保证计划的内容应包括:
a)管理,描述负责林业应用系统质量保证的组织、任务以及相关职责;
1
LY/T3127—2019
b)文档,列出在林业应用系统开发、验证、确认以及使用与维护等阶段中需要编制的文档,并描
述对其进行评审与检查的准则;
c)评审与检查,描述为实现质量保证而开展的技术和管理方面的评审和检查工作,列出项目不同
阶段的质量控制活动,并编制或引用有关的评审和检查规程、技术判定准则;
d)配置管理,描述有关林业应用系统配置管理的内容;
e)工具、技术和方法,指明用以支持林业应用系统项目质量保证工作的工具、技术和方法,描述
并说明其目的和用途;
f)控制,描述林业应用系统相关的控制内容;
g)记录的收集、维护和保存,指明需要保存的质量保证活动记录,规定用于汇总、保护和维护记
录的方法和设施以及保存期限。
4.3质量保证计划执行
质量保证计划执行指质量保证人员根据质量保证计划的内容,按照时间节点或项目里程碑组织质量
保证计划中规定的质量保证活动。
4.4质量评测
质量评测指根据系统开发的相关文档和程序等工作产品对系统的功能和性能进行评价。
对林业应用系统开展质量评测的侧重点应包括:
a)功能特征;
b)可靠特征;
c)易用特征;
d)效率特征。
应通过测试等方式,对林业应用系统的具体能力进行全方位评价,并确保评价过程和结果的正确、
客观、简明和完备。
4.5质量问题管理
质量问题管理指针对审查或测试过程中发现的系统问题进行系统化管理。其要求包括:
a)发现问题,在审查或测试过程中发现系统存在的问题并记录,对问题的描述应全面、具体;
b)分析原因,分析记录的问题产生的原因,分析过程中应考虑程序、设备等客观因素和人员等主
观因素,并形成问题的详细原因描述;
c)制定纠正措施,根据问题发生的原因,系统性制定合理、有效的解决方案,并明确相关负责人
员和时间节点;
d)问题归零,实施已制定的纠正措施,避免问题的重复出现,若纠正措施无法达到预期效果,应
重新执行b)-c)步骤。
5林业应用系统质量测试
5.1概述
林业应用系统质量测试过程应有完整的测试计划指导,且应按照测试目的、测试类别、测试内容、
测试过程、测试方法、测试用例和测试管理形成完整的闭环,保证测试工作的效率。
5.2测试目的
2
LY/T3127—2019
应明确林业应用系统进行每项测试工作的目的,测试目的包括:
a)发现林业应用系统开发中的错误,并确保其得以修复;
b)验证系统是否满足项目开发合同、需求说明、系统设计文档规定的质量要求;
c)为评价系统质量状况提供依据。
5.3测试类别
测试类别包括:
a)单元测试,指对林业应用系统的最小可测单元进行测试,检测其是否符合需求并发现存在的错
误,具体测试内容及说明见附录B;
b)系统测试,指对林业应用系统进行测试,检测在真实工作环境下是否能够正常运行并符合系统
设计文档规定要求,具体测试内容及说明见附录C;
c)回归测试,指对未通过单元测试或系统测试的对象,以及被更改的对象进行测试,具体测试内
容及说明见附录D。
5.4测试内容
测试内容包括:
a)功能特性,测试项目开发合同、需求说明、系统设计文档规定的功能;
b)能力特性,测试开发的林业应用系统满足业务需求的程度和可靠运行的能力;
c)日期/时间特性,测试开发的林业应用系统在日期/时间控制方面的能力,其要求见LY/T2925
—2017中的4.2.1;
d)吞吐量特性,测试林业应用系统完成任务的效率,其要求见LY/T2925—2017中的4.2.14;
e)互操作性,测试林业应用系统进行交互能力,其要求见LY/T2925—2017中的4.2.23;
f)准确度特性,测试林业应用系统中事件、情况或数据的正确性,其要求见LY/T2925—2017
中的4.2.24;
g)回弹力特性,测试林业应用系统提供的服务出现差错时得恢复能力,其要求见LY/T2925—2017
中的4.2.29;
h)保护特性,测试林业应用系统对资源或信息的安全保护能力,其要求见LY/T2925—2017中的
4.2.34;
i)安全特性,测试林业应用系统安全使用的能力,其要求见LY/T2925—2017中的4.2.35;
j)访问控制特性。测试林业应用系统对未授权访问资源的保护能力,其要求见LY/T2925—2017
中的4.2.36;
k)数据保护特性,测试林业应用系统对无授权访问数据的保护能力,其要求见LY/T2925—2017
中的4.2.37;
l)鉴别特性,测试林业应用系统中认证策略的能力,其要求见LY/T2925—2017中的4.2.39;
m)可用性,测试的林业应用系统提供服务的用户满意能力,其要求见LY/T2925—2017中的
4.2.40;
n)可靠性,测试林业应用系统无故障工作的能力,其要求见LY/T2925—2017中的4.2.44;
o)故障包容特性,测试林业应用系统在故障存在情况下正常提供服务的能力,其要求见LY/T2925
—2017中的4.2.45;
p)可维护性,测试林业应用系统出现不可用情况时可修复能力,其要求见LY/T2925—2017中的
4.2.48;
q)共享特性,测试林业应用系统的可共享能力,其要求见LY/T2925—2017中的4.2.50。
3
LY/T3127—2019
5.5测试活动
5.5.1概述
林业应用系统质量测试活动包括测试策划、测试设计与实现、测试执行和测试总结。
5.5.2测试策划
测试策划工作内容包括:
a)确定需要测试的内容或质量特性;
b)确定测试的充分性要求;
c)提出测试的基本方法;
d)确定测试的资源和技术需求;
e)制定测试资源计划和测试进度计划。
应根据林业应用系统的业务关联程度选择合理的测试方案,确保测试的全面性和完整性。
5.5.3测试设计与实现
测试设计与实现工作内容包括:
a)分析测试用例集的层次结构,选取和设计测试用例;
b)获取并验证测试数据;
c)根据测试资源、风险等约束条件,确定测试用例执行顺序;
d)获取测试资源,如有要求,应开发相应的测试软件;
e)建立并校准测试环境;
f)进行测试就绪审查,指审查测试计划的合理性、测试用例的正确性、有效性以及覆盖的充分性,
审查测试组织、环境和设备工具是否齐备并符合要求。
5.5.4测试执行
测试执行工作内容包括:
a)执行测试用例,获取测试结果;
b)分析并判定测试结果,根据不同的判定结果采取相应的措施;
c)对测试过程中正常或异常终止情况进行核对,并根据核对结果,对未达到测试终止条件的测试
用例,给出停止测试,或者修改、补充测试用例集并进一步测试的判定。
5.5.5测试总结
测试总结工作内容包括:
a)评估测试效果和被测试项,描述测试状态,包括实际测试与测试计划和测试说明的差异、测试
的充分性分析、未能解决的测试事件等;
b)描述被测试项的状态,包括被测试项与需求的差异、发现的系统错误等;
c)完成系统的测试报告,并通过测试评审。
5.6测试方法
5.6.1静态测试方法
静态测试方法包括:检查单和静态分析法,其中:
a)对文档的静态测试方法应以检查单的形式进行;
4
LY/T3127—2019
b)对代码的静态测试方法应采用代码审查、代码走查和静态分析的形式进行。静态分析包括:控
制流分析、数据流分析、接口分析和表达式分析。
测试人员应对系统代码进行审查、走查或静态分析。
5.6.2动态测试方法
动态测试方法包括:白盒测试方法和黑盒测试方法,其中:
a)白盒测试方法可采用控制流测试(包括:语句覆盖测试、分支覆盖测试、条件覆盖测试、条件
组合覆盖测试、路径覆盖测试)、数据流测试、程序变异、程序插桩、域测试和符号求值等。
b)黑盒测试方法可采用功能分解、边界值分析、判定表、因果图、随机测试、错误推测法和正交
试验法等。
在动态测试过程中,应采用适当的测试方法,实现测试要求,其中:系统测试主要采用黑盒测试方
法,单元测试主要采用白盒测试方法,并辅助以黑盒测试方法。
5.7测试用例
5.7.1测试用例设计原则
测试用例的设计遵循:
a)基于测试需求的原则,应按照测试类别的不同要求,设计测试用例。其中:单元测试依据系统
的详细设计说明文档,系统测试依据用户需求相关文档;
b)基于测试方法的原则,应明确所采用的测试用例设计方法,为达到不同的测试充分性要求,应
采用等价类划分、边界值分析、错误推测法、因果图等方法;
c)兼顾测试充分性和效率的原则,测试用例集应兼顾测试的充分性和测试的效率,每个测试用例
的内容应完整,具有可操作性;
d)测试执行的可重复性原则,应保证测试用例执行的可重复性。
5.7.2测试用例要素
测试用例要素包括:
a)名称和标识,每个测试用例应有唯一的名称和标识;
b)测试追踪,说明测试所依据的内容来源,如:系统测试的依据是用户需求,单元测试的依据是
系统设计;
c)用例说明,简要描述测试的对象、目的和所采用的测试方法;
d)测试的初始化要求,主要包括:
1)硬件环境,被测系统运行的硬件环境;
2)软件环境,被测系统所需的软件环境,包括测试的初始条件;
3)测试配置,测试系统的配置情况,包括用于测试的模拟系统和测试工具等的配置情况;
4)参数设置,测试开始前的设置,包括标志、第一断点、指针、控制参数和初始化数据等的
设置;
5)其他对于测试用例的特殊说明。
e)测试的输入,包括在测试用例执行中发送给被测对象的所有测试命令、数据和信号等,主要包
括:
1)每个测试输入的具体内容(包括确定的数值、状态或信号等)及其性质(包括有效值、无
效值、边界值等);
2)测试输入的来源(包括测试程序产生、磁盘文件、通过网络接收、人工键盘输入等),以
5
LY/T3127—2019
及选择输入所使用的方法(包括等价类划分、边界值分析、错误推测、因果图、功能图方
法等);
3)说明测试输入是真实的或模拟的;
4)测试输入的时间顺序或事件顺序。
f)期望测试结果,说明测试用例执行中由被测试系统所产生的期望测试结果,即经过验证,认为
正确的结果。期望测试结果应有具体内容,包括确定的数值、状态或信号等,不应是不确切的
概念或笼统的描述;
g)评估测试结果的标准,判断测试用例执行中产生的中间和最后结果是否正确的标准。主要包括:
1)实际测试结果所需的精度;
2)实际测试结果和期望结果之间差异允许的上限、下限;
3)时间的最大和最小间隔,或事件数目的最大和最小值;
4)实际测试结果不确定时,进行再测试的条件;
5)与产生测试结果有关的出错处理;
6)此处未提及的其他判断标准。
h)操作过程,实施测试用例的执行步骤,把测试的操作过程定义为一系列按照执行顺序排列的相
对独立的步骤,主要包括:
1)每一步所需的测试操作动作、测试程序的输入、设备操作等;
2)每一步期望的测试结果;
3)每一步的评估标准;
4)程序终止伴随的动作或错误指示;
5)获取和分析实际测试结果的过程。
i)前提和约束,在测试用例说明中施加的所有前提条件和约束条件,如果有特别限制、参数偏差
或异常处理,应标识出来,并说明它们对测试用例的影响;
j)测试终止条件,说明测试正常终止和异常终止的条件。
应依据测试用例要素编写测试样例要素描述(参见附录A.1)
5.8测试管理
5.8.1过程管理
测试应由相对独立的人员进行。根据项目的规模等级和测试类别等,测试工作可由不同机构组织实
施。
应对测试过程中的测试活动和测试资源进行管理。
5.8.2配置管理
应按照林业应用系统配置管理的要求,将测试过程中产生的各种工作产品纳入配置管理,其中:
a)由林业应用系统开发组织实施的测试工作,应将测试工作产品纳入项目的配置管理;
b)由独立测试组织实施的系统测试,应建立配置管理库,将被测试对象和测试工作产品纳入配置
管理。
5.9测试评审
在测试完成后,审查测试过程和测试结果的有效性,确定是否达到测试目的。主要对测试记录(其
格式参见附录A.2)、测试报告进行审查,具体内容和要求包括:
a)审查文档和记录内容的完整性、正确性和规范性;
6
LY/T3127—2019
b)审查测试活动的独立性和有效性;
c)审查测试环境是否符合测试要求;
d)审查测试记录、测试数据以及测试报告内容与实际测试过程和结果的一致性;
e)审查实际测试过程与测试计划和测试说明的一致性;
f)审查未测试项和新增测试项的合理性;
g)审查测试结果的真实性和正确性;
h)审查对测试过程中出现异常的处理的正确性。
7
LY/T3127—2019
A
A
附录A
(资料性附录)
测试文档常用模板
A.1林业应用系统测试用例描述
测试用例文档应详细描述测试用例的信息,其格式见表A.1:
表A.1林业应用系统测试用例描述模板
用例名称用例标识
测试追踪
用例说明
硬件配置
软件配置
用例的初始化
测试配置
参数设置
操作过程
序号输入及操作说明期望测试结果评估标准备注
前提和约束
过程终止条件
结果评估标准
设计人员设计日期
8
LY/T3127—2019
A.2林业应用系统测试记录
测试记录应描述测试过程中出现的情况,其格式见表A.2:
表A.2林业应用系统测试记录
用例名称用例标识
业务关键程度
用例说明
硬件配置
软件配置
用例的初始化
测试配置
参数设置
操作过程
序号输入及操作说明期望测试结果评估标准备注
是否发生重启动是是否发
是否发生故障
重启动否成功生失效
测试结论
测试人员测试日期
9
LY/T3127—2019
附录B
(规范性附录)
单元测试说明
B.1测试对象和目的
B.1.1测试对象
单元测试的对象是林业应用系统的最小可测试单元。在面向对象的测试方法中,应包括类、子系统
和构件等,在结构化测试方法中,应包括过程、函数和构件等。
B.1.2测试目的
单元测试的目的是检查林业应用系统中每个单元能否正确地实现设计文档中说明的功能、性能、接
口和其他设计约束等要求,并发现单元内可能存在的各种错误。
B.2测试的组织和管理
一般由林业应用系统的开发方组织并实施单元测试,也可委托第三方进行单元测试。
单元测试的工作产品应纳入项目的配置管理中。
B.3技术要求
单元测试包括以下技术要求:
a)对林业应用系统设计文档规定的系统单元的功能、性能、接口等应逐项进行测试;
b)每个系统特性应至少被一个正常测试用例和一个被认可的异常测试用例覆盖;
c)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值;
d)在对林业应用系统单元进行动态测试之前,一般应对单元的源代码进行静态测试;
e)语句覆盖率达到100%;
f)分支覆盖率应达到100%;
g)对输出数据及其格式进行测试。
B.4测试内容
B.4.1总则
当采用静态测试方法时,所测试的内容与选择的测试方法有关,包括:
a)采用代码审查方法,通常要对程序格式、代码入口和出口的连接、程序语言的使用、代码是否
符合编程规范、代码效能、可读性等内容进行检查;
b)采用静态分析方法,通常应对林业应用系统单元的控制流、数据流、接口、表达式等内容进行
分析。
当采用动态测试方法时,包括:
a)对林业应用系统单元的功能、性能、接口、局部数据结构、独立路径、错误处理、边界条件和
内存使用情况进行测试;
10
LY/T3127—2019
b)对林业应用系统单元接口的测试应优先于其他内容的测试;
c)对具体的林业应用系统单元,应根据测试计划、系统设计文档的要求及选择的测试方法确定测
试的具体内容。
B.4.2接口
接口测试包括:
a)调用被测试单元时的实际参数与该单元的形式参数的个数、属性、顺序等是否一致;
b)被测单元调用子模块时,传递给子模块的实际参数与子模块的形式参数的个数、属性、顺序等
是否一致;
c)调用内部函数的参数个数、属性、顺序等是否正确;
d)被测单元在使用全局变量时是否与全局变量的定义一致;
e)在单元有多个入口的情况下,是否引用了与当前入口无关的参数;
f)输入或输出文件属性的正确性;
g)规定的输入或输出格式说明与输入或输出语句是否匹配;
h)文件是否先打开后使用;
i)文件结束条件的判断和处理的正确性;
j)输入或输出错误是否检查并做了处理以及处理操作的正确性。
B.4.3局部数据结构
测试林业应用系统单元内部的数据能否保持其完整性,包括内部数据内容、格式及相互关系,检查
的错误有:
a)不正确或不一致的数据类型说明;
b)错误的变量名,包括变量名拼写错误或缩写错误;
c)使用尚未赋值或尚未初始化的变量;
d)错误的初始值或错误的缺省值;
e)不一致的数据类型;
f)数据溢出或是地址错误;
g)全局数据对系统单元的影响。
B.4.4独立路径
独立路径是在程序中至少引进一个新的处理语句集合或一个新条件的任一路径,在程序的控制流图
中,一条独立路径是至少包含有一条在其他独立路径中从未有过的边的路径。应设计适当的测试用例,
对林业应用系统单元中的独立路径进行测试,特别是对独立路径中的基本路径进行测试,基本路径是在
程序控制流图中,通过对控制构造的环路复杂性分析而导出的基本的、可执行的独立路径集合。
B.4.5边界条件
测试林业应用系统单元在边界处能否正常工作,包括:
a)测试处理n维数组的第n个元素的情况;
b)测试循环执行到最后一次执行循环体的情况;
c)测试取最大值或最小值的情况;
d)测试数据流、控制流中刚好等于、大于或小于边界值的情况。
B.4.6错误处理
11
LY/T3127—2019
测试林业应用系统单元在运行过程中发生错误时,其错误处理措施是否有效。良好的单元设计要求
能预见到程序投入运行后可能发生的错误,并给出相应的处理措施,作为林业应用系统单元功能的一部
分。林业应用系统单元的错误处理功能应对的是系统可能发生的错误或缺陷,检查的问题包括:
a)错误的描述难以理解;
b)在对错误进行处理之前,错误条件已经引起系统的干预;
c)所提供的错误描述信息不足以确定造成错误的位置或原因;
d)显示的错误提示与实际错误不符;
e)对错误条件的处理不正确;
f)意外的处理不当;
g)交互处理等不正确。
B.4.7功能
应对设计文档规定的林业应用系统单元的功能逐项进行测试。
B.4.8性能
应按照设计文档的要求,对林业应用系统单元的性能进行测试。
B.4.9内存使用
检查内存的使用情况,特别是动态申请的内存在使用上的错误,包括对空指针赋值、指针使用越界、
内存泄露等。
B.5测试环境
测试环境包括测试的运行环境和测试工具环境,运行环境应符合测试计划的要求,通常是开发环境
或仿真环境,测试工具应为经过认可的工具。
B.6测试方法
单元测试应采用静态测试方法和动态测试方法,通常静态测试先于动态测试。
B.7进入条件
进入单元测试应满足:
a)具有测试计划或说明文档;
b)具有林业应用系统设计文档;
c)所提交的被测林业应用系统单元在受控范围内;
d)林业应用系统单元代码通过编译或汇编。
B.8结束条件
结束条件用来评价林业应用系统单元的测试工作是否达到要求,包括:
a)已按要求完成了规定的测试任务;
b)实际测试过程遵循了原定的单元测试计划文档的要求;
12
LY/T3127—2019
c)客观、详细地记录了测试过程和测试中发现的所有问题;
d)测试文档齐全且符合规范;
e)测试的全过程在控制范围内进行;
f)测试中的问题或异常有合理解释或正确有效的处理;
g)测试工作通过单元测试评审;
h)全部测试文档、被测试林业应用系统单元、测试环境和评审结果已纳入配置管理。
B.9文档
单元测试完成后至少应形成以下文档:
a)单元测试计划;
b)单元测试记录;
c)单元测试问题报告;
d)单元测试总结报告。
13
LY/T3127—2019
附录C
(规范性附录)
系统测试说明
C.1测试对象和目的
C.1.1测试对象
系统测试的对象是完整的、集成的林业应用系统。
C.1.2测试目的
系统测试的目的是在真实系统工作环境下检查林业应用系统能否满足设计文档规定的要求。
C.2测试的组织和管理
系统测试一般由林业应用系统的需方组织,由具有资质的第三方测试机构实施。应加强系统测试的
配置管理,已通过测试的系统状态和各项参数应详细记录,归档保存,未经测试管理人员授权,其他人
无法改变。
系统测试应严格按照由小到大、由简到繁、从局部到整体的原则进行。
C.3技术要求
系统测试应符合以下技术要求:
a)系统的每个特性应至少被一个正常测试用例和一个被认可的异常测试用例所覆盖;
b)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值;
c)应逐项测试系统设计说明规定的系统功能、性能等特性;
d)应测试系统配置项之间及配置项与硬件之间的接口;
e)应测试系统的输出及其格式;
f)应测试运行条件在边界状态和异常状态下,或在人为设定的状态下,系统的功能和性能;
g)应测试系统访问和数据安全性;
h)应测试系统的全部存储量、输入或输出通道和处理时间的余量;
i)应按照系统设计文档的要求,对系统的功能、性能进行强度测试;
j)应测试设计中用于提高系统安全性、可靠性的结构、算法、容错、冗余、中断处理等方案;
k)对有恢复或重置功能需求的系统,应测试其恢复或重置功能和平均恢复时间,并且对每一类导
致恢复或重置的情况进行测试;
l)对不同的实际问题应增加专门测试。
C.4测试内容
C.4.1概述
系统测试内容包括:功能特性、能力特性、日期/时间特性、吞吐量特性、互操作性、准确度特性、
回弹力特性、保护特性、安全特性、访问控制特性、数据保护特性、鉴别特性、可用性、可靠性、故障
14
LY/T3127—2019
包容特性、可维护性、共享特性等方面。
C.4.2功能特性方面
测试林业应用系统项目开发合同、需求说明、系统设计文档规定的功能。
C.4.3能力特性方面
测试内容包括:
a)可根据实际使用的概率分布随机选择输入,运行林业应用系统,测试林业应用系统满足需求的
程度;
b)在最大负载下运行系统,测试林业应用系统正常满足业务需求的程度;
c)并发执行规定的多个任务,测试林业应用系统的传输能力和可靠程度;
d)执行大量的并发任务,测试系统输入/输出设备的利用时间;
e)并发执行大量任务,测试用户等待输入/输出设备操作完成需要的时间;
C.4.4日期/时间特性方面
测试内容包括:
a)测试系统的响应时间和平均响应时间,且需标识涉及响应时间的主要系统功能模块;
b)测试系统的响应极限时间;
c)测试系统在最大负载条件下,完成一项任务需要的极限时间。
C.4.5吞吐量特性方面
测试内容包括:
a)测试在给定的时间周期内,系统能成功完成的任务数量;
b)测试在一个单位时间内,系统能处理的并发任务的平均数;
c)测试在系统最大负载条件下,系统在给定的时间周期内能处理的最多并发任务数。
C.4.6互操作性方面
测试内容包括:
a)针对林业应用系统设计文档等规定的系统与外部设备或其他系统之间的接口,测试其格式和内
容;
b)测试接口之间的协调性;
c)测试系统从接口接收和发送数据的能力;
d)测试数据的约定、协议的一致性;
e)测试系统对外围设备接口特性的适应性。
C.4.7准确度特性方面
测试系统中具有准确性要求的项(包括数据处理精度、时间控制精度、时间测量精度等)。
C.4.8回弹力特性方面
测试内容包括:
a)根据系统的实际使用环境,向系统中植入一部分错误,测试系统能正常工作的概率;
b)测试系统出现异常或故障时,系统能够正常恢复的概率;
c)测试用户有误操作情况下,系统能正常恢复使用的概率。
15
LY/T3127—2019
C.4.9保护特性方面
测试内容包括:
a)测试系统对未经授权的访问拒绝失败的概率;
b)测试系统中用户访问超出范围的数据成功的概率;
c)测试系统中用户获取正常资源或信息失败的概率。
C.4.10安全特性方面
应测试系统及其数据访问的可控制性,测试内容包括:
a)测试防止非法操作的能力;
b)测试系统的加密和解密功能;
c)测试系统的数据传输正确且完整的概率。
C.4.11访问控制特性方面
应根据林业应用系统设计文档中的访问控制策略进行测试,测试内容包括:
a)测试未授权的用户能否登入系统;
b)测试未授权的用户能否访问数据资源或信息;
c)测试符合访问控制策略的操作正常进行的概率。
C.4.12数据保护特性方面
测试内容包括:
a)测试非正常的数据访问能否进行;
b)测试数据能够正常访问的概率;
c)测试访问的数据完整性符合要求的概率;
d)测试系统防止数据被破坏的能力。
C.4.13鉴别特性方面
应测试系统对互鉴别和数据始发鉴别的保护,测试内容包括:
a)测试系统中“用户名-口令”认证方式正常的概率;
b)测试认证方式的复杂程度;
c)测试双因素认证等复杂的认证方式正常工作的概率。
C.4.14可用性方面
应测试系统的易操作性和易理解性,测试内容包括:
a)测试系统是否对输入数据进行有效性检查;
b)测试包含参数设置的功能中,参数是否易于选择、是否有缺省值;
c)系统中要求有解释的消息,测试其内容是否明确;
d)测试系统中具有界面提示的界面元素是否有效;
e)测试系统中有容错能力的功能和操作,系统能否提示错误的风险、能否容易纠正错误的输入以
及能否从错误中恢复;
f)测试具有定制能力的功能和操作,其定制能力的有效性;
g)测试具有运行状态监控能力的功能的有效性;
h)测试系统的各项功能是否容易被识别和理解;
16
LY/T3127—2019
i)测试具有演示能力的功能,其演示是否容易被访问,演示是否充分和有效;
j)测试系统界面的输入和输出的格式和含义是否容易被理解。
C.4.15可靠性方面
应测试系统的平均无故障工作时间。
C.4.16故障包容特性方面
测试内容包括:
a)系统对中断发生的反应;
b)系统在边界条件下的反应;
c)系统的功能、性能的降级情况;
d)系统的各种误操作模式;
e)系统的各种故障模式,包括数据超出范围、死锁等;
f)测试多机系统出现故障需要切换系统时,系统的功能和性能的连续平稳性。
C.4.17可维护性方面
测试内容包括:
a)对具有自动修复功能的系统,测试自动修复的时间;
b)系统在特定时间范围内的平均宕机时间;
c)系统在特定时间范围之内的平均恢复时间;
d)系统的可重启动并继续提供服务的能力;
e)系统的还原功能的有效性。
C.4.18共享特性方面
测试内容包括:
a)测试系统中可共享的模块占的比值;
b)测试系统中可共享的子系统所占的比值;
c)测试系统中共享数据所占的比值。
C.5测试环境
测试环境包括测试的运行环境和测试工具环境,其中:
a)运行环境应符合测试计划的要求,通常是开发环境或仿真环境;
b)测试工具应为经过认可的工具。
C.6测试方法
系统测试通常采用动态测试方法中的黑盒测试方法。
C.7进入条件
进入条件包括:
a)具有林业应用系统测试计划或说明文档;
17
LY/T3127—2019
b)具有林业应用系统设计文档、系统需求文档、用户手册、被测系统的源程序和可执行代码;
c)林业应用系统的所有配置项已通过测试;
d)所提交的被测系统为本阶段最终版本,且在受控范围内;
e)对需要固化运行的系统已提供运行条件。
C.8结束条件
评价系统测试工作是否达到要求,包括:
a)已按要求完成了规定的测试任务;
b)实际测试过程遵循了原定的林业应用系统测试计划文档的要求;
c)客观、详细地记录了测试过程和测试中发现的所有问题;
d)测试文档齐全且符合规范;
e)测试工作通过了系统测试评审;
f)测试的全过程在控制范围内进行;
g)测试中的问题或异常有合理解释或正确有效的处理;
h)全部测试文档、测试用例、被测试系统、测试环境和评审结果已纳入配置管理。
C.9测试过程
C.9.1测试策划
C.9.1.1确定测试要求
测试分析人员应根据测试计划文档或林业应用系统设计文档分析被测试系统,并确定:
a)测试充分性要求,确定测试应覆盖的范围及每一范围所要求的覆盖程度;
定制服务
推荐标准
- DB35/T 1789-2018 质量监督信息资源数据交换接口规范 2018-09-11
- DB35/T 1135-2018 生活用纸单位产品能源消耗评价指南 2018-09-11
- DB35/T 1787-2018 LED防震灯技术规范 2018-09-11
- DB35/T 1788-2018 道路智能照明电力线载波模块技术规范 2018-09-11
- DB35/T 1134-2018 文化办公用纸( 含新闻纸)单位产品能源消耗评价指南 2018-09-11
- DB35/T 516-2018 益胶泥通用技术条件 2018-09-11
- DB35/T 1790-2018 市场监管电子数据釆集规范 2018-09-11
- DB35/T 1785-2018 农村土地承包经营权信托管理与服务规范 2018-09-11
- DB35/T 1786-2018 母婴护理培训机构服务规范 2018-09-11
- DB35/T 1791-2018 网络交易平台经营者信用评价指南 2018-09-11