开始处理操作问题
无人机分类评价应当反映地图使用地点. 邻接像素和重叠的图像瓦片共享纹理,照明和物体. 随机将这些像素分割在培训和测试之间,可以使性能看起来比在新领域、区块或调查日期的性能更强。
工作问题是:分类器能识别新的位置而不是背负附近的图像纹理吗? 在调查开始前确定分类评价区块,并确定由谁来审查这些区块。 商定哪些证据将改变检查、取样或管理决定。 这让地图与可测试的任务联系在一起,并使得可以区分有用观察和无法解决问题的有吸引力输出.
了解图像实际观察到的
树冠分为训练与测试,会泄露特定对象的信息. 放大的图像副本会导致类似的渗漏. 分数高的分数不一定能证明一般化到另一个站点.
对于分类评估区块,测量定义是结果的一部分。 保持测量支持的清晰度:像素,分块对象,样本图和管理块代表不同的变化区域和来源. 改变像素大小不会创建独立信息,也不会改善基础传感器观测. 决定任务是否涉及定位目标、估计面积、比较数字观测结果或预测一个字段属性。 每个评价标准都需要不同的评价分母。 保留不确定的标签和无法观察的区域,因此一个完整的分类不能隐藏缺失的证据. 最后的质量要求应当参照实际任务,地理和条件检验.
设计捕捉目标及其制造者
对分类评估区块的捕获规划应从所计划的比较开始。 设计观测和参考文献集。 列出目标,能区分它的传感器反应,预期的混淆表面和作出决定的规模. 抓住具有代表性的简单和困难的条件,而不仅仅是一个视觉清洁的示威。 保留购置时间,摄像头信息,校准记录和相关环境背景. 在涉及多个频段或日期的情况下,计划一种方法来评价其一致性和可比性。 小型试点应披露拟议特征是否实际可观测,然后将更大的自动化分析视为可靠的衡量。
建立可追踪的处理和分析工作流程
在选择培训数据之前定义独立的空间单位。 持有与预定应用程序匹配的完整块、对象或日期。 保持标签规则的一致性,防止被搁置单位与训练瓷砖之间的重叠. 按土地覆盖类别和购置条件审查错误,而不是只列出一个总数。
分类评价区块的质量审查在完成处理后必须继续进行. 保留原始或原始数字投入与显示产品。 验证公式,带状身份,口罩,协调参考和再样选择. 审查有代表性的源对输出地点,检查缝隙、边缘像素或混合表面是否占利益特征的主导地位。 记录预处理和模型版本,这样更新就可以复制. 使用反映部署的独立评价单位,而不仅仅是方便的随机像素. 将拟议中的精密特征与更简单的基线相比较;只有在根据公平评价改进规定的衡量或决定时,才有理由增加复杂性。
通过一个示例开展工作
说明性数据集包含来自五个字段的100块相邻的瓷砖. 随机的瓦片分割可以将每个字段放在两个子集中. 保留一个完整的领域,而提出一个更相关的问题,即所学规则是否转移到一个看不见的领域。
分类评价区块的这个例子有意说明问题,而不是报告的结果或准确的许诺。 将其假设改为项目计量值,然后在业务上使用推理。 保持数字,分母,观测日期和排除的清晰可见. 如果一个合理的界限、可见度或参考值的改变改变了决定、收集缺失的证据或保留案件为未决案件,而不是报告小数点后的额外位数。
以独立的实地证据验证
在搁置地区收集独立的参考标签,记录观察员的不确定性,并分别审查模糊的界限。 如果模式反复调用相同的阻断,则建立一套新的最终评价。
对分类评价区块的评价应包括标有标记的目标以及适当的无标记参考地点。 检查最明显的候选人既无法估计错过的目标,也无法估计完全的虚假警报模式。 用于调整方法的观测与用于评价的方法分开。 明确取样单位和选择方法,报告困难或无法观察的病例,而不是默不作声地放弃。 当现场时间与图像时间不同时,解释一下网站在访问之间是否可能有所改变. 分歧是调查的证据,而不是迫使地面记录与地图相符的指示.
解决特定专题的解释风险
空间评估区块应反映预期的部署距离和条件。 拥有一个小的邻里地带仍可能与培训区共享土壤、照明和管理,而一个新的地点可能有很大差异。 记录分几何,使审查人员能够评估这种匹配。 当特定物体泄漏引起关注时,将重复捕获同一物体的情况合并在一起。 如果一个模型在被搁置的块上失败,则检查导致故障的类和条件,而不是用较简单的块来平均去掉. 这一分析有助于界定一个可防守的应用领域。
交出接收小组可以使用的证据
随地图发布评价地理和类级错误. 描述试验所代表的地区和条件,而不是从一个有利的分法中声称普遍准确。
对于分类评价区块移交,保留稳定的识别标志,源观测日期,坐标参考,分析边界和有效观测状态. 必要时既提供无障碍概览,又提供相关地理空间数据。 附加一个简短的例外寄存器, 以解释未解决的特性和下一个有用的检查 。 如果数据被修改,请保留理由和版本,以便追踪数量或状态。 请接收团队找到一个样本并解释其信任度;这一实际审查往往揭示出文件完整性检查无法发现的缺失上下文.
在评价Drone绘图软件进行分类评价块时,用具有代表性的数据集评估完整的工作流程. 可以在编制摄影测量绘图产出时考虑DroneCollab,而针对具体任务的判读和实地验证仍然至关重要。 在为经常性工作选择工作流程之前,先比较所需出口、审查过程和实际试验证据。
