(articolo redatto da Nicola Francesco Tallarino)
Aletheia è la soluzione Nexsoft di automazione e reporting delle attività di test, tramite la quale è possibile conoscere immediatamente lo stato di avanzamento di un progetto e, attraverso funzionalità specifiche, impostare e monitorare i KPI d’interesse.
Se vuoi prima di inziare, leggi anche l’articolo introduttivo su Aletheia.
Indice dei contenuti
Il sistema di monitoraggio Aletheia
Aletheia integra un’entità di monitoraggio, controllo e reportistica, responsabile di collezionare, memorizzare, aggregare, elaborare e visualizzare dati.
Ciò consente agli esecutori di un’attività, ai responsabili e a qualsiasi stakeholder di avere una vista completa delle attività eseguite e dello stato del processo, per prevenzione, tracciamento interno, o per supportare scelte strategiche e avviare risposte/azioni quando i valori raggiungono target specifici.
L’idea alla base di Aletheia parte dalla considerazione del Testing come punto focale del percorso continuo di mitigazione del rischio nello sviluppo software, che miri a raggiungere gli obiettivi/indicatori chiave di prestazione (KPI aziendali) attraverso un confronto costante tra avanzamento reale e pianificato, e l’implementazione di eventuali azioni correttive. Per raggiungere l’obiettivo sono state compiute attività di ricerca e di analisi di indicatori e algoritmi di calcolo per impostare i criteri di valutazione delle performance di un prodotto Software.
Le sorgenti dei dati
Le sorgenti di dati sono i sistemi di gestione dei requisiti, dei test e delle anomalie.
Da questi si possono derivare riferimenti per metriche e KPI: le basi di test (requisiti e casi di test) e i difetti riscontrati durante la verifica del prodotto.
I dati relativi alle attività del testing, svolte o da svolgere, sono usati per calcolare metriche, da cui possono originare KPI, ossia metriche in linea con gli obiettivi di business più significativi: i KPI evidenziano rapidamente che cosa sta – o meno – funzionando e le restanti metriche contribuiscono a comprenderne le motivazioni.
Il monitoraggio delle metriche può essere considerato come l’estrazione di informazione dai dati:
<<i dati sono composti da “fatti non processati”, laddove l’informazione è ottenuta analizzando e organizzando i dati per costruire un contesto che fornisce valore>>.
Aletheia colleziona dati che sono rappresentativi di un’informazione puntuale, storicizzata allo scopo di poterne analizzare l’evoluzione – con indicazioni utili sull’andamento e le relative variazioni – attraverso una visualizzazione di valori numerici o grafici di sintesi, all’interno di finestre temporali personalizzabili.
Le metriche
I principali indicatori di performance che Aletheia mette a disposizione sono raggruppati in categorie, che accomunano le metriche in base alle loro caratteristiche:
- indicatori di “test effort” permettono di misurare costi, tempi ed effort richiesti per lo sviluppo del prodotto;
- metriche di “test tracking & efficiency” assicurano, attraverso il tracciamento dei test e delle anomalie, che tutte le attività di test siano condotte in modo efficiente (ROI vs costi dell’attività);
- metriche di “defect distribution” hanno lo scopo di monitorare la distribuzione dei difetti e identificare aree specifiche verso le quali indirizzare gli effort di sviluppo e testing;
- strumenti di “test coverage” evidenziano le percentuali di completamento del test del prodotto software.
Metriche di test effort
Partendo dal concetto di “sforzo” (effort) come misura del quantitativo di lavoro umano necessario per svolgere un lavoro relativo ad un processo di sviluppo software, le misure di “test effort” sono utili per valutare la bontà della stima effettuata prima di avviare il processo di test, ad esempio in fase di pianificazione, rapportandola all’effort reale impiegato, tracciato nei casi di test eseguiti e nei difetti rilevati.
Il tracciamento dei casi di test fa riferimento alla misurazione della velocità di esecuzione dei test (numero di test eseguiti in un periodo di tempo, ad es. test / ora oppure test / giorno), per assicurare che il ciclo di test sia in linea con il piano di rilascio. Allo stesso modo, il tracciamento dell’impegno legato alle anomalie passa attraverso la misurazione del “bug find rate”, come tasso di difetti rilevati in un’unità di tempo (ad es. numero di anomalie per ora di test), del numero di difetti per test eseguiti o scritti (in percentuale, come 
) e, ancora, del tempo medio per verificare che un’anomalia sia stata risolta (tempo per ri-testare tutte le anomalie risolte diviso per il numero totale di difetti) o per risolvere un difetto (rapporto tra tempo per risolvere tutti i difetti e numero totale di difetti risolti).
Metriche di test tracking & efficiency
Il loro monitoraggio consente di valutare il Ritorno di Investimento dell’attività di test rispetto ai suoi costi, se/quanto contribuisca agli obiettivi del team di test, se sia utile ad eliminare i difetti, se copra l’intero ambito del progetto.
Aletheia propone metriche per ottenere informazioni sullo stato di esecuzione dell’attività (ad es. la percentuale dei casi di test eseguiti o ancora in sospeso, rispetto al totale dei casi di test pianificati) e per monitorarne l’esito (percentuale dei casi di test superati, falliti o bloccati, rispetto al numero dei casi di test eseguiti). Più nello specifico, la soluzione permette di tracciare la percentuale dei casi di test eseguiti (e superati con successo, piuttosto che falliti o bloccati) per diversi item del prodotto, ad esempio per funzionalità, modulo o requisito.
Analogamente, la valutazione dell’efficienza del test attraverso il monitoraggio dei difetti segnalati è supportata da metriche quali la percentuale dei difetti accettati o meno (in relazione a quanti sono stati riportati), oppure l’efficienza di rimozione dei difetti (DRE, come frazione dei difetti rilevati durante le fasi di test QA/FAT rispetto a quelli individuati anche dall’utente finale).
Metriche di “defect distribution”
I difetti sono categorizzati per tipo, severità / priorità e per modulo / componente / area funzionale.
Durante il test di un prodotto mediamente complesso, che consti di diversi moduli o funzionalità, è utile monitorare il numero di anomalie riscontrate per ciascun componente (frazione del numero di difetti per specifico modulo rispetto al numero totale di difetti), ad es. come indice del grado di maturità di ogni singola funzionalità del prodotto o per evidenziare cluster di difetti, che possano andare ad indirizzare una sessione di test di regressione focalizzandola su moduli ad alta concentrazione di anomalie.
Altro indice di performance disponibile è la distribuzione di difetti per severità (DSI, Defect Severity Index), ossia basata sul livello di gravità (ad esempio basso, medio, alto, molto alto) del bug:
Metriche di test coverage
Chiaro indicatore della qualità del piano di test, definiscono la percentuale o il livello di completamento del test del prodotto software, usabile come criterio di uscita per stabilire se una sessione (o un livello) di test possa considerarsi concluso.
Aletheia offre un sistema di misurazione della percentuale di copertura dei casi di test eseguiti (n. di test eseguiti / n. totale di test scritti), ma anche della “percentuale di non esecuzione”, distinguendola dalla frazione realmente eseguibile – la “percentuale di backlog attivo”, che rappresenta la “parte emergente” del test, ossia la quota non ancora lavorata e che necessita di ulteriore verifica.
In base alle proprie esigenze, Aletheia permette di “ignorare” casi di test bloccati per fattori esterni al team e, quindi, di fatto, non realmente eseguibili.
Conclusioni
La copertura dei casi di test prevede anche di monitorare il mapping bi-direzionale tra casi di test e requisiti, per garantire che nessun requirement sia sprovvisto di opportuna verifica: oltre alle metriche relative alla “percentuale di copertura dei requisiti” (rapporto tra numero di requisiti coperti e numero totale di requisiti), al numero totale di casi di test per requisito e alla densità di difetti per requisito (n. totale di difetti / n. totale di requisiti), Aletheia ha sviluppato una logica di monitoraggio dei requisiti di progetto, con indicazione – per ciascuno di essi – del numero di test pianificati ed eseguiti (con riferimento ai rispettivi stati di esecuzione) e relativa percentuale di copertura.
Se anche tu vuoi occuparti di progetti di testing process
dai un’occhiata alle nostre opportunità di lavoro e conosciamoci subito!
