정보부호화및처리연구실의 박서연 박사과정생(1저자)과 강제원 교수(교신저자)가 저술한 논문 “NPE : Neural Pre-Processing Enhancement for Perceptual Video Compression”이 세계적인 권위 국제학술지인 IEEE Transactions on Circuits and Systems for Video Technology에 게재 승인되었다. 해당 학술지는 관련 분야 JCR 상위 3.4%(13/369), Impact factor 10.8의 영향력 있는 저널이다.

본 논문에서는 양자화 과정에서 발생하는 화질 저하를 완화하고 사람이 느끼는 인지화질을 향상시키는 딥러닝 기반 전처리 기법을 제안하였다. 제안 방법은 영상의 시공간적 특성과 주파수 특성을 함께 활용하여 인간의 시각적 인지 특성에 맞게 영상을 최적화한다. 특히, 부호화 전에 영상의 휘도 성분을 이산 웨이블릿 변환(DWT)을 통해 여러 주파수 대역으로 분해하고, 각 주파수 대역의 DWT 계수에 학습 가능한 특징을 직접 주입함으로써 양자화 과정에서 손실되기 쉬운 시각적으로 중요한 주파수 구조와 세부 정보를 선택적으로 강화한다. 

제안 방법은 기존 코덱이나 디코더의 구조를 변경하지 않고 부호화 전 단계에서만 동작하므로, 기존 표준 비디오 코덱 환경과의 완전한 호환성을 유지하면서 추가적인 코덱 구조 변경 없이 기존 비디오 스트리밍 및 전송 시스템에 적용할 수 있다는 점에서 실용적인 의의를 갖는다. 본 논문은 정보부호화및처리연구실과 LG전자와의 산학협력과제를 통한 결과이다.

해당 논문은 아래 링크에서 확인할 수 있다.

NPE: Neural Pre-Processing Enhancement for Perceptual Video Compression | IEEE Journals & Magazine | IEEE Xplore