安全场景数据标注实训教程

《安全场景数据标注实训教程》 第一章 数据标注概述 ◆ 人工智能领域研究智能机器人、图像识别、专家系统、自动程序设计、自动推理、信息检索、自然语言处理、机器学习、深度学习、人工神经网络等。 ◆ 人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统来模拟人类某些行为的基本理论、方法和技术 ◆ 数据标注是人工智能产品诞生的第一个环节，接下来，还要经历模型训练与优化、模型管理、推理应用等。训练人工智能产品需要如上所述的数以亿计的数据，这些数据会最先流向“数据标注人员”的电脑。 ◆ 数据标注的概念，是借助软件标注工具，对图像、视频、语音、文本等未处理的原始数据进行归类、整理、编辑、纠错、标记和批注等加工处理，为原始数据增加标签，生成满足计算机学习训练要求的可读数据的工作，目的是让计算机不断识别数据特征，强化特征与标签之间的关联，最终实现人工智能自主识别 ◆ 数据标注与人工智能相伴而生，只要人工智能没有获得真正的“判断”能力，数据标注行业就会一直存在。 ◆ 数据标注的体量和质量越高，算法模型的性能就越好， ◆ 标签主要是标识数据的特征、类别和属性等 ◆ 人工智能训练师的主要工作任务如下： (1)标注和加工图片、文字、语音等业务的原始数据； (2)分析提炼专业领域特征，训练和评测人工智能产品相关算法、功能和性能； (3)设计人工智能产品的交互流程和应用解决方案； (4)监控、分析、管理人工智能产品应用数据； (5)调整、优化人工智能产品参数和配置。 人工智能训练师职业包含但不限于数据标注员、人工智能算法测试员。 数据标注工作从业者从此有了统一职业名称——人工智能训练师。 ◆ 无论是全职人数还是兼职人数，数据标注人员数量之所以创新高，是因为呈现指数级增长的人工智能的发展，以及随之而来的日趋多样化的数据标注应用场景。 ◆ 人工智能结合高质量的标注数据，可以提高金融业务的执行效率和准确性。 ◆ 结合安全场景要求，数据标注涉及数据需求方、标注管理方及数据标注方三方人员，主要流程包括标注前期准备、标注任务执行、标注结果输出三个阶段 ◆ 数据标注是人工智能领域最基础、最重要的工作，工作量较大，人是这项工作中最大的影响“因素”，因此人们逐渐为数据标注行业贴上了“劳动密集型”的标签 ◆ 标注好的最终数据是要为计算机服务，一个算法模型往往需要上百万乃至数以亿计的标注数据来进行学习训练，所以为确保海量精细的标注数据对算法的训练产生价值和效果，就要求标注人员有认真的工作态度，要做到细心、耐心、责任心， 第二章 数据标注分类 ◆ 对于2D拉框的贴合度一般要求框的四边要与被标注物紧密贴合 ◆ 如将人物身体轮廓的上、下、左、右最大边缘与框的四边紧密贴合，并完全包裹整个人体。2D拉框一般允许误差在5个像素范围内，具体根据任务要求而定，遮挡比例过大（一般超过90%）无须标注，如果是部分遮挡，则只标注可见部分；有时也需要预估被遮挡区域进行脑补（在头脑中对特定情节进行补充想象的行为）标注 ◆ 语义分割是一种像素级别的标注方法。与拉框标注只关注目标的大致位置和大小不同，语义分割需要对图像中的每个像素进行标注。 ◆ 文本标注是自然语言处理(Natural Language Processing，NLP)的一个关键步骤 第十二章 安全场景数据标注实训案例 ◆ 标注员可通过选择倍速播放来提高标注效率。虽然系统支持视频倍速播放，但标注员要合理利用。视频可以分为顾客作决定过程、对比过程、拿取过程，前两个过程可适当使用高倍速播放，对于顾客拿取过程使用正常播放速度，这样操作可提升标注效率。 ◆ 手势21点骨骼标注涉及点标注和点属性选择，若在标注点的时候兼顾调整点属性，会影响标注连贯性。拆分标注过程，先完成点标注，再调整点属性，有利于提升标注效率。 ◆ 1)标注任务中有很多图存在上下关联帧，在标注时仅依据当前帧的标注对象情况进行标注，不进行多帧联想记忆。 (2)标注车辆时，针对车体进行标注，标注框不包含车辆的附属物，比如行李架、开着的车门、工程车伸出的吊臂、车载货物等。 ◆ 3)锥桶、水马、防撞桶这三种类型的路障物，只要在图中出现，就需要标注。这三种路障之外的其他路障，只标注车辆可行驶区域范围内的目标，即存在影响通行或存在碰撞风险的目标。 ◆ D点云标注要点 以下标注要点为一般3D点云标注要点，不同项目存在差异： (1)所有标注物体需要贴合地面，障碍物的点和地线的点分不清时，可以压点地线；地面倾斜，为了达到障碍物不漏点，可以框入地线；障碍物的点离地线比较远时不得压地线。 (2)如果物体点云数少于10个点，则不标注。 (3)如果点云数较少，则需要根据物体实际尺寸进行脑补。 (4)贴近点密集的边拉框，点云数比较完整的时候贴合点云标注。 (5)车辆残影不标注。 (6)只标注范围内的物体，一般是采集车200米内的圆形区域。 (7)2D框要贴合实际物体，如果2D框调整比较困难，可以删除后重画。 (8)方向一般指车头方向，当遇到特殊的车辆，依据其车头和车尾无法判断方向时，参考前后帧或者所处车道线来判断。 (9)3D点云标注通常要求合格率达到97%以上。（注：按标注物计算，如果一张图中包含多个标注物，单个标注物的某一部分标注不贴合或者属性选择不正确，则此标注物按错误计算。） ◆ 3D点云连续帧标注要点 以下标注要点为一般3D点云连续帧标注要点，不同项目存在差异： (1)3D点云图中，车辆、行人等能区分正反面的物体，正面/车头朝向为物体方向；车体的一侧边缘，需要和3D框的一边保持平行。 (2)每个标注任务，只需手动标注第一帧图上的物体，其余帧调整方向、 ◆ 3)所有物体的3D标注框须贴合地面，不能高于地面或低于地面，若有斜坡，则以贴地面最低点为准，以保证点云的完整性。 (4)属于目标的所有点都应被完整地包含在目标框内，被标注的目标不能有漏点。 (5)标注连续帧时，上下帧同一标注物ID必须一致。 (6)同一辆车，前一帧出现，后一帧消失，标注为离开；完全离开标注范围后标注为离开。 (7)车辆后视镜、打开的车门或后备厢，都应该包含在车体内一并标注。如果行人携带物体（包、雨伞、工具等），则该物体应包含在行人的边界框中。 (8)物体点云数少于10个点不标注。 (9)脑补。无法确定车辆大小、位置时，需要参考标准尺寸表进行脑补，以达到最低尺寸。 (10)在非机动车道上，无人接触的非机动车，不标注。 ◆ 3)标注时尽量标在车道线的中间位置，标注点要尽可能密集，尤其是在弯道处，点的连线要保证与弯道同步。对于直线车道，如果其跨越整个图像，则至少要有5个打点。 (4)道路边缘线的标注参考车道线标注规则，区别在于选线属性标签时，选为道路边缘线。 (5)斑马线标注顶点作为起点，以斑马线长边作为起始边开始标注，顺逆时针不限，连结最后一个顶点后结束，最终标注结果为短边不闭合的矩形框。 ·4D车道线标注要点 (1)精确性：在进行4D车道线标注时，精确性是至关重要的。一条车道线的宽度、长度、高度以及其在时间上的变化都需要准确地标出。 (2)连续性：车道线应被标注为连续的线段，而不是一系列的离散点。 (3)时间序列一致性：4D车道线标注包括时间维度，因此在标注过程中需要保证不同时间点的车道线标注是一致的。在整个标注时间序列中，每一帧的车道线都应该与前一帧和后一帧的车道线相连。 (4)各种道路状况：在进行4D车道线标注时，需要考虑各种可能的道路状况，包括但不限于施工区域、交通事故、突然变窄的车道等。城市街道复杂，可以采用分层标注策略，先进行粗标注，然后进行细标注。 (5)各种天气和光照条件：4D车道线标注需要考虑各种可能的天气和光照条件。例如，雨天、雾天、夜晚等情况下的车道线可能与晴天、白天的车道线有所不同。 ◆ 下2D标注要点 (1)线下2D标注，涉及标注种类多，标注过程可拆解为以下步骤：第一步，确定车辆类别，选择2.5D矩形框或者2D矩形框进行标注，并选择车辆的遮挡属性；第二步，确定2.5D框的中轴线位置，添加中轴线；第三步，确定车辆姿态，标注车头、车尾、车身、车辆行驶方向；第四步，标注接地点。 (2)线下2D标注，每张图涉及的标注内容比较多，一般容易出错的标注点出自漏标、错标。正常情况下，可以采用由远到近、由左到右的顺序进行标注，按照一定的方向顺序标注可以有效减少漏标。标注错误，主要体现在遮挡属性选错、中轴线位置画错、接地点位置标错，要针对这些错误类型建立错题集，进行有针对性的训练，减少标注错误。