Amerykańskie laboratorium szpiegowskie chce oznaczyć każde zdjęcie. Wyobraź sobie, że ktoś może zeskanować każdy obraz na Facebooku, Twitterze i Instagramie, a następnie natychmiast ustalić, gdzie każde ze zdjęć zostało zrobione. Przeraża Cię taka myśl? Możliwość połączenia tych danych lokalizacyjnych z informacjami o tym, kto pojawia się na tych zdjęciach – i wszelkie powiązane z nimi kontakty w mediach społecznościowych – umożliwiłyby agencjom rządowym szybkie śledzenie grup terrorystycznych publikujących zdjęcia propagandowe. I to już się dzieje.
Taki właśnie pomysł realizowany jest poprzez program FINDER, będący programem badawczym agencji rządowej USA o nazwie Intelligence Advanced Research Projects Agency (IARPA), biura dyrektora organizacji badawczej National Intelligence.
W przypadku wielu zdjęć wykonanych smartfonami (i niektórymi aparatami cyfrowymi) informacje geolokalizacyjne są domyślnie zapisywane z obrazem. Lokalizacja jest przechowywana w danych Exif (Exchangable Image File Format) samego zdjęcia, chyba że usługi geolokalizacji są wyłączone, nie zawsze to jest takie proste i oczywiste, czasami wręcz zakamuflowane w ustawieniach. Jeśli korzystałeś ze sklepu ze zdjęciami Apple iCloud lub Zdjęć Google, prawdopodobnie stworzyłeś bogatą mapę swojego stylu życia dzięki geotagowanym metadanym. Jednak te dane lokalizacji są usuwane ze względów prywatności, gdy zdjęcia są przesyłane do niektórych serwisów społecznościowych, a świadomi prywatności fotografowie (szczególnie ci, którzy są zaniepokojeni potencjalnymi atakami dronów) celowo wyłączą geotagowanie na swoich urządzeniach i kontach w mediach społecznościowych.
Jest to problem dla analityków wywiadu, ponieważ próba zidentyfikowania lokalizacji zdjęcia bez metadanych geolokalizacji może być „wyjątkowo czasochłonna i pracochłonna”, jak zauważa opis programu Finder w IARPA. Wcześniejsze projekty badawcze próbowały oszacować lokalizację, w której wykonano zdjęcia, ucząc się na podstawie dużych istniejących zestawów zdjęć ze znacznikami geograficznymi. Takie badania doprowadziły do powstania systemów takich jak Google PlaNet – oparty na sieci neuronowej system przeszkolony na 126 milionach obrazów ze znacznikami geolokalizacyjnymi Exif. Amerykańskie laboratorium szpiegowskie chce oznaczyć każde zdjęcie ma jednak problem i system gubi się w miejscach, w których nie było zbyt wielu zdjęć z włączoną geolokalizacją – w miejscach, do których turyści zwykle nie wędrują, jak np. Wschodnia Syria.
Program Finder stara się wypełnić luki w geolokalizacji zdjęć i wideo, opracowując technologie oparte na własnych umiejętnościach geolokalizacyjnych analityków, pobierając zdjęcia z różnorodnych, publicznie dostępnych źródeł w celu zidentyfikowania elementów terenu lub widocznej linii horyzontu. Oprócz zdjęć system pobierze swoje zdjęcia ze źródeł takich jak komercyjne zdjęcia satelitarne. Celem kontrahentów programu – Applied Research Associates, BAE Systems, Leidos (firma znana wcześniej jako Science Applications Incorporated) oraz Object Video – jest system, który może zidentyfikować lokalizację zdjęć lub wideo „w dowolnym naziemnym miejscu na zewnątrz”.
Finder to tylko jeden z kilku projektów przetwarzania obrazu realizowanych w IARPA. Inny, o nazwie Aladdin Video , ma na celu wyodrębnienie informacji wywiadowczych z klipów wideo w mediach społecznościowych poprzez oznaczenie ich metadanymi dotyczącymi ich treści. Kolejna aplikacja, zwana Deep Intermodal Video Analytics (DIVA), koncentruje się na wykrywaniu „działań” w filmach, takich jak ludzie działający w sposób, który można określić jako „niebezpieczny” lub „podejrzany” – umożliwiający monitorowanie ogromnej liczby inwigilacji wideo jednocześnie