Iniziare con la questione operativa
Una mappa può raggiungere un'elevata precisione complessiva, mentre manca obiettivi più rari perché lo sfondo comune domina la valutazione. Per compiti come la localizzazione di piccole patch di disturbo, obiettivi mancati e falsi allarmi hanno diverse conseguenze operative. La valutazione dovrebbe segnalare esplicitamente la classe target e mantenere la progettazione del campionamento.
La domanda di lavoro è: un punteggio di classificazione rivela gli errori che importano per un bersaglio di ispezione raro? Definire unità di valutazione rare-target prima dell'indagine inizia e identificare chi li esaminerà. D'accordo su quali prove cambierebbe una decisione di ispezione, campionamento o gestione. Questo mantiene la mappa legata ad un compito testable e consente di distinguere un'osservazione utile da un'output attraente che non può risolvere la domanda.
Capire cosa l'immagine osserva realmente
Un set di test selezionato solo da esempi evidenti può gonfiare le prestazioni apparenti. Le proporzioni di classe nel campione di riferimento possono anche differire dalle proporzioni della mappa, quindi i conti non ponderati non stimano automaticamente le quantità dell'intera area.
Per le unità di valutazione a raggi rari, la definizione di misura fa parte del risultato. Mantenere esplicito il supporto di misura: un pixel, un oggetto segmentato, un diagramma di campionamento e un blocco di gestione rappresentano diverse aree e fonti di variazione. Il cambiamento delle dimensioni dei pixel non crea informazioni indipendenti o migliora l'osservazione del sensore sottostante. Decidi se l'attività riguarda la localizzazione di obiettivi, la stima dell'area, il confronto delle osservazioni numeriche o la previsione di una proprietà di campo. Ciascuno richiede un denominatore di valutazione diverso. Conservare etichette incerte e regioni non osservabili, quindi una classificazione dall'aspetto completo non può nascondere le prove mancanti. La domanda di qualità finale dovrebbe riferirsi al compito reale, geografia e condizioni testate.
Cattura di design intorno al bersaglio e i suoi confondatori
La pianificazione della captazione per le unità di valutazione rare-target dovrebbe iniziare con il confronto previsto. Progettare insieme la collezione di osservazione e riferimento. Elenca il bersaglio, la risposta del sensore che potrebbe distinguerlo, le superfici di confondamento previste e la scala a cui viene presa una decisione. Catturare le condizioni facili e difficili, piuttosto che solo una dimostrazione visivamente pulita. Mantenere tempo di acquisizione, informazioni della fotocamera, record di calibrazione e contesto ambientale rilevante. Se sono coinvolte più bande o date, pianificare un modo per valutare il loro allineamento e la loro comparabilità. Un piccolo pilota dovrebbe rivelare se la funzione proposta è effettivamente osservabile prima che un'analisi automatizzata più grande sia trattata come una misura affidabile.
Costruire un flusso di lavoro tracciabile di elaborazione e analisi
Definire le classi target e non-target, quindi progettare campionamento di riferimento indipendente che include casi rari e difficili. Segnala una matrice di confusione accanto alla precisione e al richiamo, spiegando i loro denominatori. Esaminare gli errori per dimensione e posizione della patch. Applicare un'area di peso adatto quando si stimano aree di classe a livello di mappa da campioni stratificato.
La revisione della qualità per le unità di valutazione a livello raro deve continuare dopo la lavorazione completa. Conservare gli input numerici grezzi o originali accanto ai prodotti di visualizzazione. Verifica formule, identità di banda, maschere, riferimenti di coordinate e scelte di risampling. Verificare le posizioni di sorgente-output rappresentative e verificare se cuciture, pixel di bordo o superfici miste dominano la caratteristica di interesse. Registrare le versioni preprocessing e modello in modo da poter riprodurre un aggiornamento. Utilizzare unità di valutazione indipendenti che riflettono la distribuzione, non solo i pixel casuali. Confrontare una funzione sofisticata proposta con una linea di base più semplice; la complessità aggiuntiva è giustificata solo quando migliora la misura o la decisione specificate in una valutazione equa.
Lavorare attraverso un esempio illustrativo
In un set illustrativo di 1,000 posizioni, solo dieci contengono l'obiettivo. Un classificatore che etichetta tutto come sfondo è 99% esatto complessivo, ma non rileva obiettivi. Quel punteggio sarebbe inutile per un team di ispezione alla ricerca di quei dieci posti.
Questo esempio per le unità di valutazione a scopo rara è deliberatamente illustrativo, non un risultato segnalato o una promessa di accuratezza. Sostituire le sue ipotesi con i valori misurati del progetto prima di utilizzare il ragionamento in modo operativo. Tenere visibile l' numeratore, il denominatore, la data di osservazione e le esclusioni. Se un limite plausibile, la visibilità o il cambiamento di riferimento altera la decisione, raccogliere le prove mancanti o mantenere il caso come non risolto piuttosto che segnalare luoghi decimali extra.
Valida con prove di campo indipendenti
Verificare le etichette in modo indipendente e ispezionare i casi di disaccordo. Includere obiettivi piccoli o oscurati piuttosto che affidarsi a esempi chiari grandi. Registra se il riferimento rappresenta punti, poligoni o oggetti di gestione.
Una valutazione delle unità di valutazione a carattere raro dovrebbe includere sia gli obiettivi contrassegnati che le posizioni di riferimento non infiammate adatte. Controllare solo i candidati più evidenti non può stimare né gli obiettivi mancati né il modello completo di falsa arma. Osservazioni separate utilizzate per regolare il metodo da quelle utilizzate per valutarlo. Tenere l'unità di campionamento e metodo di selezione esplicito, e segnalare casi difficili o non osservabili piuttosto che lasciarli silenziosamente. Quando il temporizzazione del campo differisce dal tempismo dell'immagine, spiega se il sito potrebbe essere cambiato tra le visite. Un disaccordo è la prova per indagare, non un'istruzione per costringere il record di terra a corrispondere alla mappa.
Risolvere i rischi di interpretazione specifici per l'argomento
La valutazione Rare-target dovrebbe distinguere l'individuazione di un oggetto dalla mappatura della sua portata completa. Un rivelatore può trovare la maggior parte delle patch di disturbo mentre stima le loro aree in modo non corretto, o area mappa bene mentre si dividono i compiti in duplicati. Segnala la misura necessaria dal flusso di lavoro sul campo e aggiungi la misura complementare quando colpisce i quantitativi. Spiegare come siano state gestite le etichette di riferimento incerte. Se il campione supera i rari obiettivi, utilizzare un estimatore appropriato per la zona mappa-wide piuttosto che trattare le frequenze di classe campione come le proporzioni del paesaggio vero.
Consegnare le prove che il team ricevente può usare
Scegli i criteri di accettazione per il costo operativo di obiettivi mancati e visite inutili. Pubblicare l'incertezza di livello di classe e la copertura di valutazione invece di utilizzare una singola percentuale come un reclamo di qualità generale.
Per la consegna delle unità di valutazione rare-target, conservare identificatori stabili, la data di osservazione della fonte, il riferimento di coordinate, il confine di analisi e lo stato di valida osservazione. Fornire sia una panoramica accessibile che i dati geospaziali rilevanti, dove necessario. Attaccare un registro di eccezione breve che spiega le caratteristiche non risolte e il successivo controllo utile. Se i dati vengono rivisti, conservare la ragione e la versione in modo da poter tracciare quantità o stati. Chiedi al team ricevente di individuare un oggetto campione e interpretarne la fiducia; quella recensione pratica spesso rivela il contesto mancante che un controllo di integrity file non può rilevare.
Quando si valuta il software di fotogrammetria Cloud per le unità di valutazione a raggi rari, valutare il flusso di lavoro completo con un set di dati rappresentativi. DroneCollab può essere considerato per la preparazione di uscite di mappatura fotogrammetrica, mentre l'interpretazione specifica delle attività e la validazione del campo rimangono essenziali. Confronta le esportazioni richieste, il processo di revisione e le prove pilota effettive prima di selezionare un flusso di lavoro per il lavoro ricorrente.
