인공지능 기술의 발전에 따라 사진복원 기술도 나날이 발전하고 있다. 인공지능 기술을 이용해 흑백 사진을 컬러 사진으로 변환하는 기술은 여러 전문가들에 의해 이미 많은 시도를 거쳐 웹사이트로 상용화 되어 누구나 변환하고 싶은 이미지를 해당 사이트에 업로드하면 흑백 이미지를 컬러 이미지로 변환하여 돌려준다.
위의 사이트(https://demos.algorithmia.com/colorize-photos)는 Richard Zhang(UC Berkeley Ph.D.)이 만든 ALGORITHMIA의 Colorize Photos 라는 웹서비스이다.
그런데 이러한 채색기술에도 한계점이 있었는데, 바로 과장된 주름, 플라스틱처럼 보이는 피부 표현과 같이 과거에 촬영된 이미지들의 경우 채색만으로 초고해상도로 재구현하는 건 어렵다는 것이다. 이는 과거 카메라 촬영 기술과 현대 카메라 촬영 기술 간의 간극에서 발생한다. 과거의 촬영 이미지들은 주름을 많이 과장하거나 붉은 색의 경우 표면을 흩뿌려놓는 등 사진의 품질이 우수하지 않다. 이때 붉은 색이 이렇게 나타나는 이유는 과거의 카메라가 피부 표면에서 발생하는 빛의 산란을 표현하지 못해 발생한다. 결국 빛을 산란이 일어나는 부분은 마치 플라스틱처럼 보이기까지 한다.
2020년 12월 22일 발표된 논문 'Time-Travel Rephotography(Xuan Luo 외 5명)'에 따르면 위의 문제점을 해결하여 과거의 흑백 이미지들을 초고해상도의 컬러 이미지로 변환시키는 기술을 제시하였다. 본 프로그램의 개발 목적은 역사적 인물을 현대 카메라로 재촬영하는 것이다. 역사적 인물들은 신구 이미지 쌍이 없다보니 비교 및 학습에 대한 데이터셋이 갖춰지지 않아, 기술 구현이 더욱 어렵게 느껴진다. 그렇다면 어떤 데이터들을 가지고 신경망 훈련을 수행할까?
훈련에 사용되는 이미지는 원본 이미지(antique image)와 형제 이미지(sibling image)이다. 이때 형제 이미지는 실제 대상 이미지 속 인물의 형제를 말하는 것이 아니라 대상 이미지와 비슷하게 만들어 낸 가상 인물에 대한 이미지를 말한다. 원본 이미지(antique image)를 신경망을 통해 공급하면 매우 사실적인 형제 이미지(sibling image)생성한다. 이때 사용하는 기술은 'StyleGAN2'를 이용한다. 'StyleGAN2'는 매우 사실적으로 가상 인물에 대한 이미지를 생성하는 적대적 신경망 방식이다. 이제 생성된 형제 이미지(sibling image)를 가지고 두 이미지간의 손실을 최소화하며 모핑을 수행한다.
위 영상은 토마스 에디슨의 유년기, 청년기, 장년기의 이미지를 통해 노화과정을 구현해낸 영상이다. 이처럼 변환하고자하는 역사적 인물의 사진이 여러 장이 있다면 이때의 사진들은 모두 척도가 되며 알고리즘을 통해 해당 인물의 노화과정까지 파악할 수 있다.
본 기술은 기존의 'StyleGAN2'에서 완벽히 구현 해내지 못한 미해결과제를 해결해 냈다는 데서 매우 큰 의의가 있으며 앞으로의 기술 발전에 더욱 기대가 되는 바이다.
본 기사는 모두 2020년 12월 22일 발표된 논문 'Time-Travel Rephotography'을 바탕으로 작성했습니다.
[Time-Travel Rephotography]
2020.12.22.
Xuan Luo (University of Washington)
Xuaner Zhang (UC Berkeley)
Paul Yoo (University of Washington)
Ricardo Martin-Brualla (Google Research)
Jason Lawrence (Google Research)
Steven M. Seitz (University of Washington, Google Research)
본 논문 전문 및 프로그램 전체 코드는 아래 링크를 통해 볼 수있습니다.
Time-Travel Rephotography
Abstract Many historical people are captured only in old, faded, black and white photos, that have been distorted by the limitations of early cameras and the passage of time. This paper simulates traveling back in time with a modern camera to rephotograph
time-travel-rephotography.github.io
[AI 논문 소개] 링컨·에디슨, 현대 카메라로 재촬영하다 - 코딩월드뉴스
인공지능 기술의 발전에 따라 사진복원 기술도 나날이 발전하고 있다. 인공지능 기술을 이용해 흑백 사진을 컬러 사진으로 변환하는 기술은 여러 전문가가 이미 많은 시도를 한 덕분에 웹사이
www.codingworldnews.com
( ᵘ ᵕ ᵘ ⁎)
Copyright ⓒ Kim PP All Rights Reserved
무단 복사 및 사용을 금합니다.
'📰 IT Issue' 카테고리의 다른 글
| [보안 이슈] 수익금을 기부하는 해커 집단, 다크사이드 (0) | 2021.05.17 |
|---|