Editing Conditional Radiance Field는 유저의 scribble을 통해 color, shape를 editing을 하는 방법에 대해서 다루고 있습니다.
구체적으로 shape editing의 경우 원하는 부분을 없애는 removal, shape와 color를 swapping하는 code swapping이 있습니다.
이를 행하기 위해서는 NeRF모델의 전체를 fine-tunning을 할 필요가 있는데, 이를 위해 NeRF모델을 5개의 sub model로 나누게 됩니다.
각 각 F_share, F_inst, F_fuse, F_dens, F_rad 가 있고, F_share의 경우 instances들의 공통된 특징을 뽑아주는 부분,
F_inst는 수정할 instance에 대한 정보를 주는 부분, F_fuse는 instances들의 특징과 수정된 부분의 정보를 혼합해주는 부분,
F_dens, F_rad는 radiance와 density를 뽑아주는 부분으로 설명하고 있으며, 이중 F_fuse, F_dens는 물체를 지울때,
F_rad는 색상을 바꿀 때 사용합니다.
Fine-tunning을 위한 loss로는 해당 사진에 scribbe된 부분의 ray를 원하는 색깔 또는 density가 되도록하는 naive MSE를 사용하게 되며, ablation study를 봤을 때는 위의 모듈 중 가장 F_share가 성능 향상에 가장 큰 영향을 미친것으로 보여집니다.
논문이 깔끔하게 써있고, 내용이 어렵지 않아 재미있게 읽은 논문인 것 같습니다.