开始处理操作问题
地图可以实现高整体准确度,同时缺失最罕见的目标,因为共同的背景主导评价. 对于定位小扰动补丁等任务,失守目标以及假警报,其操作后果不同. 评估应明确报告目标类,并保持样品设计。
工作问题是:分类分数是否揭示出对罕见检查目标重要的错误? 在调查开始前确定稀有目标评价单位,并确定由谁审查。 商定哪些证据将改变检查、取样或管理决定。 这让地图与可测试的任务联系在一起,并使得可以区分有用观察和无法解决问题的有吸引力输出.
了解图像实际观察到的
仅从明显实例中选择的测试集可以提升明显的性能. 参考样本中的类比例也可能与地图比例不同,因此未加权的计数不会自动估计全区数量.
对于稀有目标评价单位,计量定义是结果的一部分. 保持测量支持的清晰度:像素,分块对象,样本图和管理块代表不同的变化区域和来源. 改变像素大小不会创建独立信息,也不会改善基础传感器观测. 决定任务是否涉及定位目标、估计面积、比较数字观测结果或预测一个字段属性。 每个评价标准都需要不同的评价分母。 保留不确定的标签和无法观察的区域,因此一个完整的分类不能隐藏缺失的证据. 最后的质量要求应当参照实际任务,地理和条件检验.
设计捕捉目标及其制造者
稀有目标评价单位的捕获规划应从预期的比较开始。 设计观测和参考文献集。 列出目标,能区分它的传感器反应,预期的混淆表面和作出决定的规模. 抓住具有代表性的简单和困难的条件,而不仅仅是一个视觉清洁的示威。 保留购置时间,摄像头信息,校准记录和相关环境背景. 在涉及多个频段或日期的情况下,计划一种方法来评价其一致性和可比性。 小型试点应披露拟议特征是否实际可观测,然后将更大的自动化分析视为可靠的衡量。
建立可追踪的处理和分析工作流程
定义目标和非目标类别,然后设计独立的参考样本,包括罕见和困难的病例. 报告一个混淆矩阵,连同目标精确度和召回,解释其分母。 检查错误, 以补丁大小和位置 。 在从分层样本中估计全地图类区域时应用适当的区域加权。
稀有目标评价单位的质量审查在完成处理后,必须继续进行. 保留原始或原始数字投入与显示产品。 验证公式,带状身份,口罩,协调参考和再样选择. 审查有代表性的源对输出地点,检查缝隙、边缘像素或混合表面是否占利益特征的主导地位。 记录预处理和模型版本,这样更新就可以复制. 使用反映部署的独立评价单位,而不仅仅是方便的随机像素. 将拟议中的精密特征与更简单的基线相比较;只有在根据公平评价改进规定的衡量或决定时,才有理由增加复杂性。
通过一个示例开展工作
在 1,000 个地点的一组说明中,只有10个地点载有目标。 将所有东西都标为背景的分类器整体精确度为99%,但检测不到目标. 对于一个寻找这10个地点的检查小组来说,这一分数是无用的。
稀有目标评价单位的这一例子具有说明性,而不是报告的结果或准确的承诺。 将其假设改为项目计量值,然后在业务上使用推理。 保持数字,分母,观测日期和排除的清晰可见. 如果一个合理的界限、可见度或参考值的改变改变了决定、收集缺失的证据或保留案件为未决案件,而不是报告小数点后的额外位数。
以独立的实地证据验证
独立核查标签,检查有分歧的案件。 包括小目标或模糊目标,而不是依赖明确的大例子。 记录引用是否代表点、多边形或管理对象。
对稀有目标评价单位的评价应包括标注的目标和适当的无标注的参考地点。 检查最明显的候选人既无法估计错过的目标,也无法估计完全的虚假警报模式。 用于调整方法的观测与用于评价的方法分开。 明确取样单位和选择方法,报告困难或无法观察的病例,而不是默不作声地放弃。 当现场时间与图像时间不同时,解释一下网站在访问之间是否可能有所改变. 分歧是调查的证据,而不是迫使地面记录与地图相符的指示.
解决特定专题的解释风险
稀有目标评价应区分物体的定位和其全程的测绘。 探测器可能在估计其区域时发现大多数扰动补丁,或者在将任务分成重复时绘制良好的地图。 报告外地工作流程所需的措施,并在影响数量时增加补充措施。 解释如何处理不确定的参考标签。 如果样本对稀有目标进行过度抽样,则对全地图区域使用适当的估计器,而不是将样本类频率作为真实的景观比例。
交出接收小组可以使用的证据
选择关于未达到目标以及不必要的访问的业务费用的接受标准。 公布等级不确定性和评价范围,而不是使用单一百分比作为一般质量索赔。
对于稀有目标评价单位移交,保留稳定的识别标志,源观测日期,坐标参考,分析边界和有效观测状态. 必要时既提供无障碍概览,又提供相关地理空间数据。 附加一个简短的例外寄存器, 以解释未解决的特性和下一个有用的检查 。 如果数据被修改,请保留理由和版本,以便追踪数量或状态。 请接收团队找到一个样本并解释其信任度;这一实际审查往往揭示出文件完整性检查无法发现的缺失上下文.
在评价稀有目标评价单位的云光测量软件时,用具有代表性的数据集评估完整的工作流程. 可以在编制摄影测量绘图产出时考虑DroneCollab,而针对具体任务的判读和实地验证仍然至关重要。 在为经常性工作选择工作流程之前,先比较所需出口、审查过程和实际试验证据。
