Conversione via software di camere tradizionali in camere iperspettrali

La gamma visibile dello spettro elettromagnetico contiene informazioni oltre i tre valori RGB generalmente attesi dalle immagini a colori tradizionali. Queste informazioni aggiuntive sono contenute nelle immagini iperspettrali.

La cattura di immagini iperspettrali può essere fatta utilizzando telecamere iperspettrali costruite ad hoc. Tuttavia, questi dispositivi sono di solito costosi, ingombranti, lenti (non in tempo reale) e a bassa risoluzione spaziale. Ci sono diversi tentativi di migliorare la velocità e la risoluzione spaziale dei dispositivi di cattura iperspettrali che però portano ad una significativa riduzione nell’accuratezza del colore.
In alternativa, la ricostruzione spettrale da immagini RGB può essere utilizzata come mezzo di cattura di immagini iperspettrali. Questo paradigma di acquisizione delle immagini iperspettrali ha recentemente visto un aumentato interesse con l’organizzazione di challenge internazionali. Tuttavia i migliori metodi presentati hanno tempi di elaborazione proibitivi per applicazioni realtime. Inoltre gli algoritmi sono così pesanti in termini di occupazione di memoria da rendere impossibile la loro implementazione all’interno di dispositivi (sistemi embedded).

I metodi tradizionali possono impiegare diversi minuti per ricostruire un’immagine spettrale di pochi megapixel. Il nostro metodo impiega pochi millisecondi per ricostruire un’immagine 4K.

I metodi fin qui sviluppati si basano sul concetto di apprendere una mappatura tra i valori RGB e la corrispettiva risposta spettrale da un opportuno insieme di addestramento costituito da coppie di valori RGB-spettro. Diversi metodi di apprendimento di questa mappatura sono stati riportati in letteratura, tra cui Radial Basis Functions (RBF), sparse coding e Convolutional Neural Networks (CNN), con i migliori metodi basati su CNN/deep learning.

Tali metodi sono estremamemtne onerosi in termini di risorse di calcolo e tempi computazionali.

Il metodo software da noi sviluppato e brevettato permette una ricostruzione spettrale a partire da dati RGB accurata ed estremamente efficiente.

Le performance in termini di accuratezza colore sono comparabili ai migliori metodi presentati in letteratura, mentre dal punto di vista computazionale il metodo da noi sviluppato è migliaia di volte più efficiente dei metodi dello stato dell’arte. L’ occupazione di memoria del nostro metodo è estremamente ridotta e permetterebbe facilmente l’integrazione dello stesso in un dispositivo di acquisizione embedded.

Il nostro metodo potrebbe quindi permettere lo sviluppo di camere iperspettrali a partire da camere tradizionali RGB (o RGB+IR) semplicemente implementando il nostro metodo nel firmware della camera stessa (embedding del software) o come post-processing dell’acquisizione immagine e/o video.

Stabilita la partnership i tempi per l’integrazione del nostro software nella camera sarebbero estremamente ridotti (qualche settimana), non presenta rischi di impresa e potrebbe essere portato sul mercato in tempi ridotti. Vediamo inoltre diverse opportunità di ulteriore sviluppo a partire dal nostro metodo e dalle nostre conoscenze nell’ambito delle immagini (www.ivl.disco.unimib.it).