[PIE] 연구 주제 - Personalized Image Enhancement

게시 2024/08/07

By Jaemin Park 3 분읽는 시간

개요

2024년 7월을 시작으로 새로운 주제인 PIE(Personalized Image Enhancement)에 대해 연구를 시작했습니다.

PIE의 경우 Image Enhancement의 하위 task 중 하나로 볼 수 있습니다. 기존의 Image Enhancement 분야에서는 안 좋은 이미지, 예를 들면 Low-Light, Blur, Noise, Moire 가 있는 이미지에 대해 Enhancement Network 를 이용해 정상적인 이미지를 얻는 연구가 대부분 이었습니다.
PIE는 Enhancement 와 ‘개인적 선호도’ 가 같이 개선되는 분야입니다. 어떤 안좋은 이미지 A에 대해 A’ 로 개선을 진행했지만 사람의 개인적인 미적 평가에 따라 A’ 개선되는 것보다 A’’ 로 개선되는 것이 더 만족스러울 수 있습니다. PIE는 이와 같이 사용자가 입력으로 자신이 선호하는 style의 이미지를 함께 넣어주면, 이를 개선할 이미지에 적용하는 것입니다.

2023년 까지의 진행으로는 PIE를 두 단계에 걸쳐서 진행하는 연구가 주를 이루고 있습니다.
먼저 다양한 이미지에서 style code를 얻는 network를 학습시키고 나서, 이를 바탕으로 Enhancement Network를 학습시키는 것입니다. 더 자세한 내용은 관련 논문을 하나씩 리뷰해보면서 기록해볼 예정입니다.

Dataset

PIE의 경우 대부분 MIT Adobe 5K Dataset을 사용합니다. Adobe 5K의 경우 개선되지 않은 Raw Image와 각각 5명의 전문가들이 개선한 이미지 Expert A,B,C,D,E 가 있습니다.
이미지는 총 Raw, A,B,C,D,E 각각 5천장으로 총 3만장입니다. 이 외에도 Camera, Lightroom 을 이용한 추가 데이터가 존재하지만 대부분의 연구는 Raw 와 Expert를 통해 진행됩니다.

PIE에서는 Expert A의 Style을 학습할 경우 A가 개선한 이미지를 GT 로 두고, 나머지 전문가들 (B,C,D,E) 의 이미지를 Negative Image로 설정한 채 학습이 진행되는 경우가 많습니다.
이후 학습된 style-network를 통해 Raw 이미지를 style_network 에서 얻은 style-feature 를 사용하는 Enhance network 를 통해 개선한 후 Expert A의 이미지와 Loss를 계산하는 방식으로 동작합니다.

개요

Dataset

관련 논문

인기 태그