Tomas Jakab et al ., University of Oxford, UC Berkeley, Stanford University, Google Research - CVPR 2021 Oral
Task:
3D Shape control (shape manipulation) through automatically discovered 3D points --> unsupervised 3D keypoint detection, 3D shape control (deformation) using the detected 3D keypoints
vs. prior shape deformation methods:
prior methods rely on geometric properties, do not consider semantic attributes or category-specific priors for deformation
- 하지만 geometric property annotation은 비쌈
vs. prior user-guided shape editing:
prior methods rely on generative models -> local details of the original shape may change
- 여기서 제안하는 방법은 source shape 에 direct deformation을 하여, shape detail이 잘 보존됨.
Main points:
Use case of 3D shape manipulation: Applications in AI-assisted 3D content creation
proposes:
- Method for discovering and detecting keypoints
- Deformation model that propagates keypoint displacements to the rest of the shape
Encoder (input: pcd, output: keypoints) : PointNet
3D model to aid deformation: Differential cage-based deformation algorithm (CVPR 2021)
- 3D shape를 감싸는 일종의 mesh를 통해 deformation을 구현한다는 뜻
- unsup방법으로 뽑힌 point와 cage를 이음으로서, point->cage->deformation을 거치는 순서
Losses:
- Similarity Loss (deformed shape & target shape)
- Farthest keypoint regularizer (keypoints to be far from each other for representability)
- Influence matrix loss (not very important, to not overfit on individual shapes)
Evaluation:
- SoTA in unsupervised keypoint correlation score (semantic part correspondence label)
- SoTA in PCK (semantic consistency of keypoints)
- minimum Chamfer distance vs other unsup 3D keypoint detection methods
Demo: https://tomasjakab.github.io/KeypointDeformer/#section-demo
총평: Writing은 깔끔하여 읽는데 큰 문제가 없습니다. 다만 약점들을 교묘히 숨겼다는 느낌을 무시하기 어려웠습니다. 예시로 한 semantic category당 하나의 model을 새로 train해야 한다는 점, ShapeNet과 같은 제한된 shape 모양들에만 적용 가능하다는 점 (이건 약점이라기보다는 확장가능성..?) Unsupervised라고 하지만 train시에 input으로 받는 shape pair가 같은 semantic category에 해당한다는걸 아는 점, demo를 해보면 아시겠지만 point->cage->deformation을 따르는 순서가 그렇게 엄청 잘 되진 않는다는 점 등이 있습니다.
그럼에도 불구하고 oral로 뽑힌 이유는 아마도
- 이 방법론을 통해 얻어진 unsupervised keypoint들이 잘 뽑힌다는 점,
- Explicit하게 keypoint를 통해 shape manipulation한다는 아이디어의 신박함과 구현,
- 새로운 주제이지만 다양하게 확장가능할 정도의 substantial baseline 제공
이라고 생각합니다.