刘宁
京东资深测试开发专家
演讲主题:京东埋点质量保障体系建设
主题简介:随着互联网和信息化技术的高速发展,各种应用程序在人们的工作和生活中得到了非常广泛的应用。为了研究功能是否满足用户的期望,通常会在应用程序中预先设置埋点数据。若用户在使用应用程序的过程中,触发预先设置了埋点的功能模块,应用程序会发送相应的埋点数据到服务器。通过处理埋点数据以及进一步的分析,能够推测出应用程序功能是否被用户广泛使用,并可根据埋点数据结果对应用程序进行调整或改善,从而更好的满足用户需求,提高用户体验。 为了保证埋点数据分析结果的正确性,通常在应用程序发版之前,测试人员需要对埋点数据进行测试。现有技术中,埋点测试方法一般如下:应用程序在设置埋点数据后,测试人员通过抓包工具(Fiddler、Whistle等)截获网络传输的数据包,并在数据包中提取出埋点数据进行校验。具体的校验方法,应用程序上报的埋点数据与预先规定的埋点数据需求文档是否一致,一致则测试通过,否则应用程序需要重新设置埋点数据,测试人员重新触发埋点进行验证。 现有技术中,埋点测试方法存在的问题是:测试人员通过抓包工具(Fiddler、Whistle等)截获网络数据包后,需要和埋点数据需求文档进行一一对比,耗时耗力,且容易出错;同时,当老埋点数据在应用程序升级过程中被修改出问题时,由于测试人员精力有限且主要集中在新埋点的测试中,导致老埋点数据问题遗留到线上环境,影响了埋点数据的统计结果,最终导致产品决策的不正确性。 本次分享,我们将介绍京东在埋点质量的一些经验,并且分别介绍在埋点方案、埋点冒烟、埋点测试、埋点全自动化、线上埋点诊断等环节的一些探索和实践案例。 演讲提纲: 1. 京东埋点质量保障平台历史 2. 埋点方案管控 埋点方案管控痛点 埋点方案管控实践 3. 埋点测试探索 埋点测试痛点 埋点分层测试:质量卡点 埋点自动化:0脚本、无人值守、场景化 埋点智能化:规则库 4. 线上埋点诊断
个人简介:
2016年从美团离职加入京东,先后负责京东代码扫描、移动端稳定性、埋点质量、大促活动效能提升等方向。从0到1主导构建了京东埋点质量保障平台,降低埋点测试成本,提高质量;同时实时监控线上埋点,进一步保证业务策略和判断。
参加 2021年11月18日-19日 上海 GOPS2021全球运维大会