業務上の質問から始める
一般的な背景が評価を優認しているため、最もまれなターゲットを欠落している間、マップは全体の精度を高く達成することができます。 小さな障害パッチの位置、ミスターゲット、虚偽のアラームなどのタスクは、異なる動作結果を持っています。 評価は、ターゲットクラスの明示的に報告し、サンプリング設計を保持する必要があります。
作業質問は:分類スコアは、まれな検査対象の問題のエラーを明らかにするのですか? 調査開始前のレアターゲット評価ユニットを定義し、誰がそれらを見直します。 証拠が検査、サンプリング、または管理決定を変更するかを同意します。 これにより、マップがテスト可能なタスクに縛られ、質問を解決できない魅力的な出力から有用な観察を区別することが可能となります。
実際に観察するイメージを理解する
明らかな例からのみ選択したテストセットは、明らかなパフォーマンスを膨らませることができます。 参照サンプルのクラス比率はマップの割合と異なる可能性があるため、重量を絞ったカウントは自動的に全面積量を推定しません。
希少ターゲット評価ユニットでは、測定の定義は結果の一部となります。 測定サポートの明示的:ピクセル、セグメント化されたオブジェクト、サンプルプロット、管理ブロックは異なる領域とバリエーションのソースを表します。 ピクセルサイズの変更は独立した情報を作成したり、基礎的なセンサーの観察を改善しません。 タスクがターゲットの位置、推定領域を懸念するか、数値の観察を比較するか、フィールドプロパティを予測するかを決定します。 それぞれは、異なる評価の除染器が必要です。 不確実なラベルと不適切な領域を保存するため、完全な参照分類は欠落しない証拠を隠すことはできません。 最終的な品質要求は、実際のタスク、地理および条件のテストを参照する必要があります。
ターゲットとその創設者を包括するデザインキャプチャ
希少ターゲット評価ユニットのキャプチャ計画は、意図した比較から始めるべきです。 観察と参照コレクションを一緒に設計する。 ターゲット、それを区別できるセンサー応答、期待される複雑な表面と決定が行われるスケールをリストします。 視覚的にきれいなデモではなく、代表的な簡単かつ困難な条件をキャプチャします。 取得時間、カメラ情報、校正記録、環境関連状況を保持します。 複数のバンドや日付が関与する場合には、そのアライメントと比較性を評価する方法を計画します。 提案された機能が実際により大きい自動化された分析が信頼できる測定として扱われる前に観察可能であるかどうか小さいパイロットは明らかにするべきです。
トレーサブルな処理と解析ワークフローの構築
ターゲットクラスと非ターゲットクラスを定義し、希少で困難なケースを含む独立した参照サンプリングを設計します。 ターゲット精度とリコールを合わせ、解体を解説するコンフュージョンマトリクスをレポートします。 パッチサイズと位置によるエラーを調べます。 地図全体クラスエリアを stratified サンプルから推定する際に適切な面積の重みを適用します。
希少ターゲット評価ユニットの品質管理レビューは、処理完了後に続行しなければなりません。 ディスプレイ製品と一緒に生または元の数値入力を保存します。 式、バンドのアイデンティティ、マスク、調整の参照および再サンプリングの選択を検証して下さい。 代表的なソース・ツー・アウトプットの場所を確認し、継ぎ目、エッジピクセル、または混合された表面が関心の機能を支配するかどうかを調べます。 レコードのプリプロセッシングとモデルのバージョンを再現することで、更新を再現できます。 単なる便利なランダムピクセルではなく、展開を反映した独立した評価ユニットを使用してください。 提案された洗練された機能と、よりシンプルなベースラインを比較します。特定の測定値や決定を公平な評価で改善するときにのみ、追加の複雑性が正当化されます。
イラストの一例を通した作業
1,000ヶ所のイラストセットでは、対象者10個のみが対象となります。 背景としてすべてのものをラベル付けする分類器は、全体的に99%正確ですが、ターゲットを検知しません。 検査チームでは10拠点の探査に役立てるスコアは役に立ちません。
まれにターゲット評価ユニットのこの例は、報告された結果や精度の約束ではなく、意図的に説明的です。 プロジェクトの測定値に、運用上の理由をつかまえて、その仮定を置き換えます。 数値子、分母器、観察日時、除外を可視します。 盗用可能な境界線、可視性または参照変更が決定を変更する場合、欠損証拠を収集するか、または余分小場所を報告するのではなく、未解決としてケースを保持します。
独立したフィールド証拠で検証
ラベルを独立して確認し、同意のケースを検査します。 明確な大きな例に依存するよりも、小さなターゲットや難読ターゲットを含める。 参照がポイント、ポリゴン、または管理オブジェクトを表すかどうかを録音します。
希少ターゲット評価ユニットの評価には、フラグが付けられたターゲットと、適切なアンフルな参照場所の両方が含まれる必要があります。 必見の候補だけをチェックすると、見逃されたターゲットやフル偽造パターンも推測できます。 使用する方法を調整するために使用される別の観察で評価します。 見本抽出ユニットと選択方法の明示的を保持し、それらを静かに低下させるよりもむしろ困難または不観察可能なケースを報告してください。 フィールドタイミングが画像のタイミングと異なる場合、サイトが訪問間で変更できるかどうかを説明します。 意見は、地図にマッチする地上記録を強制する指示ではなく、調査する証拠です。
トピック固有の解釈リスクを解決する
レアターゲットの評価は、オブジェクトをマッピングから完全に範囲をマッピングすることを明確にする必要があります。 検出器は、自分の領域を予期せず、あるいはタスクを重複に分割しながら、よくマップ領域を見つけることができる。 フィールドワークフローで必要な測定をレポートし、量に影響する際の補完的な測定を追加します。 参照ラベルが処理されていないかを説明します。 サンプルが稀にターゲットをオーバーサンプルする場合、サンプルクラス周波数を真の景観比として扱うのではなく、マップ全体領域に適した推定器を使用してください。
受取チームが使用できる証拠を渡して下さい
見逃されたターゲットおよび不必要な訪問の運用コストの周りの受諾基準を選択します。 一般的な品質要求として単一の割合を使用してではなく、クラスレベルの不確実性と評価カバレッジを公開します。
希少ターゲット評価ユニットのハンドオーバーでは、安定した識別子、ソースの観察日、座標参照、解析境界および有効観察ステータスを保持します。 必要な場所にある、アクセス可能な概要と関連する地理空間データの両方を供給します。 未解決の機能と次の便利なチェックを説明する短い例外レジスタを添付します。 データの修正が行われる場合、その理由とバージョンを維持し、量やステータスを追跡することができます。 受取チームにサンプル項目を見つけて自信を解釈するように依頼してください。実用的なレビューは、ファイルインテグレーションチェックが検出できないという不在なコンテキストを明らかにすることが多いです。
希少ターゲット評価ユニットのクラウドフォトグラメトリーソフトウェアの評価を行うと、代表的なデータセットで完全なワークフローを検証します。 DroneCollabは、タスク固有の解釈とフィールド検証が不可欠である一方で、フォトグラメトリクスマッピングの出力を準備するために考慮することができます。 必要なエクスポート、レビュープロセス、実際の試験証拠を比較して、作業を再帰するためのワークフローを選択。
