编制单位:软件绿色联盟·技术与标准工作组
2021年10月

前 言

本标准由软件绿色联盟技术与标准工作组提出并归档。
本标准主要起草单位:华为、阿里巴巴、百度、中国信息通信研究院泰尔终端实验室。
本标准主要起草人:姚鑫、朱勇、闫诗文、阳际荣、沈柯、谢柏渊、曾晨曦。

1.范围

本标准规定了运行于泛智能终端操作系统的应用基础性能质量和体验要求。
本标准适用于软件的设计、开发及检测。

2.规范性引用文件

规范性引用《软件绿色联盟应用体验标准 3.0 – 性能标准》。

3.术语和定义

3.1.泛智能终端

泛智能终端是指能连入互联网、智能化、自动化的设备,因此可以认为泛智能终端其中一种类型便是移动智能终端。移动智能终端拥有接入互联网能力,通常搭载各种操作系统,可根据用户需求定制化各种功能。生活中常见的智能终端包括移动智能终端、车载智能终端、智慧屏、可穿戴设备等。

3.2.冷启动时间

应用首次启动时间,即系统从开始应用启动处理到完成运行进入应用主界面的时间。

3.3.热启动时间

应用非首次启动时间,即打开应用,按HOME键将应用置于后台后再次启动的时间。

3.4.启动窗口(Starting Window)

启动窗口(Starting Window)是指应用在启动时,应用主界面窗口显示出来之前,显示的一个启动窗口。启动窗口可以显著提升点击图标启动应用的反馈速度。

3.5.帧率( Frame Per Second,简称 FPS)

FPS指应用每秒渲染的帧数。

3.6.分布式

分布式是泛智能终端操作系统提供的跨设备操作能力,能够打破传统单设备界限,实现多设备相互感知和联动。应用可以跨设备流转,如当使用场景发生变化时,用户可以选择新的设备来继续当前的任务;多个设备上的应用同时或交替运行实现完整的业务。

4.概述

4.1.适用范围及测试范围

本标准适用于运行于泛智能终端操作系统的各类应用的性能衡量与判断。应用类型涉及:便捷生活、出行导航、购物比价、拍摄美化、社交通讯、实用工具、新闻阅读、学习办公、影音娱乐、游戏、主题个性、金融理财、医疗健康等。
对于以上各个类型的应用,标准涉及的测试只对其核心场景进行测试。各类应用核心场景定义如下:
a. 便捷生活类:进入应用主功能界面
b. 出行导航类: 进入位置搜索页面
c. 购物比价类: 进入购物首页,页面含商品列表、搜索栏等。
d. 拍摄美化: 进入应用主功能界面
e. 社交通讯类:登陆后进入主界面收/发消息 或:登陆后进入主界面
f. 实用工具: 邮箱类:启动应用 – 登陆邮箱 – 收取邮件(邮箱内已有邮件列
表超过10封)
g. 新闻阅读类:启动应用 – 进入首页 – 刷新新闻列表 –滑动新闻列表
h. 学习办公: 进入应用主功能界面
i. 影音娱乐: 进入应用主功能界面
j. 游戏: 进入应用主功能界面
测试标准维度包含:启动时延类、滑动帧率类,资源占用类,显示及时性类,分布式典型操作类。

5.性能测试方法

5.1.应用启动时间

5.1.1.冷启动时间

用例编号5.1.1 冷启动时间
用例描述 测量点击应用图标到打开应用的冷启动响应时间(毫秒)
预置条件 a. 被测应用在测试之前从未创建过进程; b. 测量从点击图标到界面全部显示的时间
测试方法 起点:点击应用图标;终点:应用主界面显示完成
判定标准 各类应用(不含游戏类、影音娱乐)的冷启动时间应 ≤2000毫秒;游戏类应用冷启动时间 ≤3000毫秒;影音娱乐类应用冷启动时间 ≤3000毫秒;界面加载过程中白屏/黑屏停留时间 ≤ 200毫秒
需考虑的特殊事项

5.1.2.热启动时间

用例编号5.1.2 热启动时间
用例描述 测量点击应用图标到打开应用的热启动响应时间(毫秒)
预置条件 被测应用之前已经被打开过,无关闭应用行为,测试时被重新切换到前台
测试方法 起点:点击应用图标;终点:应用主界面显示完成
判定标准 各类应用(不含游戏类、影音娱乐)的热启动时间应 ≤600毫秒;游戏类应用热启动时间 ≤1000毫秒;影音娱乐类应用热启动时间 ≤1000毫秒;界面加载过程中白屏/黑屏停留时间 ≤ 200毫秒
需考虑的特殊事项

5.1.3.启动窗口(Starting Window)

用例编号5.1.3 启动窗口(Starting Window)
用例描述 测量点击应用图标启动应用时显示启动窗口(Starting Window)
预置条件 被测应用在测试之前从未创建过进程
测试方法 起点:点击应用图标;终点:启动窗口(Starting Window)第一帧
判定标准 点击应用图标后显示启动窗口(Starting Window)≤ 500毫秒
需考虑的特殊事项

5.2.界面帧率

5.2.1.界面帧率

用例编号5.2.1 界面帧率
用例描述 测量应用内界面时屏幕的帧率(FPS)
预置条件 测量被测应用的滑动帧率
测试方法 1、启动应用,进入应用内界面;2、开展界面滑动(正常使用滑动速度)或刷新;3、统计每秒渲染的帧数(FPS)
判定标准 a. 普通应用的帧率应 ≥ 55FPS;b. 游戏类、地图类和视频类的帧率应 ≥ 25FPS
需考虑的特殊事项

5.3.内存占用

5.3.1.前台内存占用

用例编号5.3.1 前台内存占用
用例描述 测量应用在前台且运行稳定时的内存占用
预置条件 被测应用完全启动30秒后,测量内存消耗
测试方法 被测应用运行或者启动30秒后,测量应用进程内存消耗
判定标准 各类应用在前台的内存占用应 ≤ 500MB
需考虑的特殊事项

5.3.2.后台且亮屏内存占用

用例编号5.3.2 后台且亮屏内存占用
用例描述 测量应用在后台且亮屏一段时间时的内存占用
预置条件 被测应用切换到后台5分钟后亮屏状态下测量内存消耗
测试方法 被测应用切换到后台5分钟后亮屏状态下测量应用进程内存消耗
判定标准 各类应用在后台且亮屏5分钟的内存占用应 ≤ 400MB
需考虑的特殊事项

5.3.3.后台且灭屏内存占用

用例编号5.3.3 后台且灭屏内存占用
用例描述 测量应用在后台且灭屏一段时间时的内存占用
预置条件 被测应用切换到后台,灭屏1分钟后测量内存消耗
测试方法 被测应用切换到后台,灭屏1分钟后,测量应用进程内存消耗
判定标准 各类应用在后台且灭屏1分钟的内存占用应 ≤ 400MB
需考虑的特殊事项

5.4.CPU 占用

5.4.1.后台且亮屏 CPU 占用

用例编号5.4.1 后台且亮屏CPU占用
用例描述 测量应用在后台且亮屏一段时间时的CPU占用
预置条件 被测应用切换到后台,等待5分钟稳定后,检测被测应用5分钟内CPU userTime+systemTime
测试方法 被测业务切换到后台,等待5分钟稳定后,检测被测业务5分钟内CPU 瞬时负载占比
判定标准 各类应用在后台且亮屏5分钟的CPU占用应 ≤ 2%
需考虑的特殊事项

5.4.2.后台且灭屏 CPU 占用

用例编号5.4.2 后台且灭屏CPU占用
用例描述 测量应用在后台且灭屏一段时间时的CPU占用
预置条件 被测应用切换到后台,灭屏后等待5分钟稳定,检测被测应用5分钟内CPU userTime+systemTime
测试方法 被测应用切换到后台,等待5分钟稳定后,检测被测应用5分钟内CPU 瞬时负载占比
判定标准 各类应用在后台且灭屏5分钟的CPU占用应 ≤ 2%
需考虑的特殊事项

5.5.应用滑动白屏

5.5.1.应用滑动白屏

用例编号5.5.1 应用滑动白屏
用例描述 衡量应用图片列表持续滑动交互过程中,对交互结果完整性的体验。
预置条件 网络信号强度在-50db左右
测试方法 测量应用图片列表界面滑动,滑动时长20秒;度量未出现空白占位符时长/用户滑动交互时长比例
判定标准 完整率 > 90%
需考虑的特殊事项 滑动速度在300毫米/秒 到 600毫米/秒之间

5.6.分布式业务

5.6.1.设备连接

用例编号5.6.1 设备连接
用例描述 测量连接远端设备耗时
预置条件 网络条件良好的情况下,被测应用未连接远端设备,非首次条件
测试方法 1、非首次连接分布式组网的设备;例如,手机基于腾讯视频连接车机;2、开始录屏(使用高速摄像机对两个设备同时录像);3、设备连接完成清晰展现第一帧。例如,腾讯视频车机上清晰展示;4、分析步骤3占用的视频帧数,计算时间延迟起点:点击连接入口,例如,手机基于腾讯视频连接车机终点:设备连接完成清晰展现。例如,腾讯视频车机上清晰展示
判定标准 被测应用连接远端设备时延 ≤ 3000毫秒
需考虑的特殊事项

5.6.2.跨设备切换

用例编号5.6.2 跨设备切换
用例描述 测量应用切换到远端设备耗时
预置条件 网络条件良好的情况下,被测应用已连接远端设备,非首次条件
测试方法 1、已经连接应用所支持的分布式设备。例如:音乐;2、开始录屏(使用高速摄像机对两个设备同时录像);3、点击切换到远端设备,流转完成。例如:音乐在远端设备开始正常播放;4、分析步骤3占用的视频帧数,计算时间延迟;起点:点击切换入口。例如:音乐;终点:流转完成的第一帧。例如:音乐在远端设备开始正常播放
判定标准 被测应用切换远端设备时延≤1000毫秒
需考虑的特殊事项

5.6.3.应用协同操作响应时延

用例编号5.6.3 应用协同操作响应时延
用例描述 测量被测应用在本地操作,远端设备响应的时延,A、B两个设备连接,A端操作,B端响应的时延。
预置条件 A、B两个设备连接,并且网络条件良好。非首次条件
测试方法 1、连接分布式设备,打开应用相关的分布式场景。例如:音乐;2、操作应用功能,并计算被测应用在本地操作,远端设备响应的时延。例如:远端响应音乐播放或暂停;3、采用录屏数帧方式计算时长(使用高速摄像机对两个设备同时录像);起点:点击协同;终点:远端设备响应完成(响应的第一帧)。例如:远端响应音乐播放或暂停
判定标准 响应时延 ≤ 150毫秒
需考虑的特殊事项

6.修订记录

日期 修订内容
2017年5月 安卓绿色联盟应用体验标准1.0发布
2018年7月 无修订跟随安卓绿色联盟应用体验标准2.0发布
2019年7月 更名为《软件绿色联盟应用体验标准3.0_性能标准》增加启动窗口规范
2021年9月 更名为《软件绿色联盟应用体验标准5.0-性能标准》增加应用滑动白屏性能要求增加分布式应用相关性能要求:设备连接、应用跨设备切换、远端操作响应

By licc

11 thoughts on “软件绿色联盟应用体验标准5.0性能标准”

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注