III računska fotografija: Računarska rasvjeta, 3D scena i povećana stvarnost: Pregled digitalne fotografije

Objavljeno 9. juna 2020
|

Vasily Zubarev

Napomena urednika: Ovo je treći članak u trodijelnom nizu, gostujući saradnik Vasily Zubarev. Prva dva dijela možete pronaći ovdje:

Možete posetiti Vasilijeva web stranica gde takođe demistificira druge složene predmete. Ako smatrate da je ovaj članak koristan, ohrabrujemo ga da mu date mala donacija kako bi mogao pisati o drugim zanimljivim temama.

Članak je lagano uređen radi jasnoće i kako bi odražavao nekoliko ažuriranja industrije od kada se prvi put pojavio na vlastitoj web stranici autora.


Računarska rasvjeta

Uskoro ćemo proći toliko prokleto ludi da ćemo htjeti kontrolirati i osvjetljenje nakon što je fotografija snimljena. Da biste promijenili oblačno vrijeme u sunčano ili promijenili svjetla na licu modela nakon snimanja. Sad se čini pomalo divljim, ali hajde da razgovaramo ponovo za deset godina.

Već smo izmislili glupi uređaj za kontrolu svjetla – bljeskalice. Došli su daleki put: od velikih kutija lampe koje su pomogle u izbjegavanju tehničkih ograničenja ranih kamera, do modernih LED bljeskalica koje pokvare naše slike, tako da ih uglavnom koristimo kao svjetiljku.

Programibilni Flash

Prošlo je puno vremena od kada su svi pametni telefoni prešli na dvostruku LED bljeskalicu – kombinaciju narančastih i plavih LED-ova, pri čemu se svjetlina prilagođava temperaturi boje snimka. Na primjer, u iPhoneu se zove True Tone, a kontrolira ga mali senzor ambijentalnog svjetla i komad koda sa sjeckanom formulom.

Tada smo počeli razmišljati o problemu svih bljeskova – prekomjerno izloženih lica i prednjeg plana. Svi su to radili na svoj način. iPhone je dobio Slow Sync Flash, zbog čega je kamera povećala brzinu zatvarača u mraku. Google Pixel i drugi Android pametni telefoni počeli su koristiti svoje senzore dubine za kombinovanje slika sa i bez bljeskalice, brzo su napravili jednu po jednu. Prednji plan je snimljen s fotografije bljeskalicom, dok je pozadina ostala osvijetljena ambijentalnim osvjetljenjem.

Daljnja upotreba programabilnog multi-blica je nejasna. Jedina zanimljiva primjena pronađena je u računalnom vidu gdje je jednom korišten u shemama sklapanja (kao na policama Ikea knjiga) za preciznije otkrivanje granica predmeta. Pogledajte članak u nastavku.

Lightstage

Svetlost je brza. Uvijek je lagano kodiranje jednostavno učiniti. Osvjetljenje možemo promijeniti sto puta po snimku i još uvijek ne približiti brzinu. Tako je nastao Lighstage 2005. godine.

Suština metode je istaknuti objekt iz svih mogućih uglova u svakoj snimci pravog filma od 24 fps. Da bismo to postigli, koristimo 150+ svjetiljki i kameru velike brzine koja snima stotine snimaka s različitim uvjetima osvjetljenja po snimku.

Sličan pristup se sada koristi kada snimate kombiniranu CGI grafiku u filmovima. Omogućuje vam potpunu kontrolu osvjetljenja objekta u postprodukciji, postavljanje u scene s apsolutno nasumičnim osvjetljenjem. Mi samo zgrabimo snimke osvijetljene iz potrebnog ugla, malo ih zatamnimo, urađeno.

Nažalost, teško je to učiniti na mobilnim uređajima, ali vjerovatno će se nekome ideja svidjeti i izvršiti. Vidio sam aplikaciju od momaka koji su snimali 3D model lica, osvjetljavajući je telefonskom lampom sa raznih strana.

Lidar i kamera za vrijeme leta

Lidar je uređaj koji određuje udaljenost do objekta. Zahvaljujući nedavnom prepucavanju samovozećih automobila, sada možemo pronaći jeftini lidar u bilo kojem smeću. Vjerovatno ste vidjeli ove rotirajuće stvari na krovu nekih vozila? Ovo su lidari.

Još uvijek ne možemo uklopiti laserski lidar u pametni telefon, ali možemo ići s njegovim mlađim bratom – kamera za vreme leta. Ideja je smiješno jednostavna – posebna zasebna kamera sa LED bljeskalicom iznad nje. Kamera mjeri koliko brzo svjetlost dopire do objekata i stvara kartu dubine prizora.

Tačnost modernih ToF kamera je oko centimetar. Najnoviji modeli Samsung i Huawei koriste ih za izradu bokeh mape i za bolji autofokus u mraku. Potonje je, usput rečeno, prilično dobro. Volio bih da svaki uređaj ima takav.

Znajući tačnu dubinu polja bit će korisno u narednom dobu proširene stvarnosti. Bit će mnogo preciznije i jednostavnije snimati na površinama lidrom kako bi se prvo mapiranje u 3D napravilo nego analizirali slike kamera.

Osvetljenje projektora

Da bismo se konačno ozbiljno pozabavili računarskom rasvjetom, moramo se prebaciti s običnih LED bljeskalica na projektore – uređaje koji na površinu mogu projicirati 2D sliku. Čak i jednostavna jednobojna mreža biće dobar početak za pametne telefone.

Prva prednost projektora je ta što može osvetliti samo onaj deo slike koji treba osvetliti. Nema više izgorelih lica u prvom planu. Predmeti se mogu prepoznati i zanemariti, baš kao što laserski farovi nekih modernih automobila ne zasljepljuju vozače koji dolaze, već osvjetljavaju pješake. Čak i uz minimalnu rezoluciju projektora, poput 100×100 točaka, mogućnosti su uzbudljive.

Danas dijete ne možete iznenaditi automobilom sa kontrolisanom lampicom.

Druga i realnija upotreba projektora je projektiranje nevidljive rešetke na sceni kako bi se napravila mapa dubine. Pomoću ove rešetke možete sigurno baciti sve svoje neuronske mreže i guštere. Sve udaljenosti do objekata na slici sada se mogu izračunati pomoću najjednostavnijih algoritama računarskog vida. Rađeno je to u Microsoft Kinect puta (počivaj u miru), i bilo je odlično.

Naravno, ovdje se valja sjetiti Dot projektora za Face ID na iPhoneu X i novijim. To je naš prvi mali korak prema tehnologiji projektora, ali prilično uočljiv.

Dot-projektor u iPhone X.

Vasily Zubarev je berlinski programer Python-a te hobistički fotograf i bloger. Da biste vidjeli više njegovih djela, posjetite njegov veb stranica ili ga pratite dalje Instagram i Twitter.

Leave a Reply

Your email address will not be published. Required fields are marked *