Skip to content

Files

Latest commit

 

History

History
61 lines (43 loc) · 2.97 KB

File metadata and controls

61 lines (43 loc) · 2.97 KB

KeypointDeformer: Unsupervised 3D Keypoint DIscovery for Shape Control

Tomas Jakab et al ., University of Oxford, UC Berkeley, Stanford University, Google Research - CVPR 2021 Oral

Summarized by Seungwook Kim


Task:

3D Shape control (shape manipulation) through automatically discovered 3D points --> unsupervised 3D keypoint detection, 3D shape control (deformation) using the detected 3D keypoints

vs. prior shape deformation methods:

prior methods rely on geometric properties, do not consider semantic attributes or category-specific priors for deformation

  • 하지만 geometric property annotation은 비쌈

vs. prior user-guided shape editing:

prior methods rely on generative models -> local details of the original shape may change

  • 여기서 제안하는 방법은 source shape 에 direct deformation을 하여, shape detail이 잘 보존됨.

Main points:

Use case of 3D shape manipulation: Applications in AI-assisted 3D content creation

proposes:

  1. Method for discovering and detecting keypoints
  2. Deformation model that propagates keypoint displacements to the rest of the shape

Encoder (input: pcd, output: keypoints) : PointNet

3D model to aid deformation: Differential cage-based deformation algorithm (CVPR 2021)

  • 3D shape를 감싸는 일종의 mesh를 통해 deformation을 구현한다는 뜻
  • unsup방법으로 뽑힌 point와 cage를 이음으로서, point->cage->deformation을 거치는 순서

Losses:

  • Similarity Loss (deformed shape & target shape)
  • Farthest keypoint regularizer (keypoints to be far from each other for representability)
  • Influence matrix loss (not very important, to not overfit on individual shapes)

Evaluation:

  • SoTA in unsupervised keypoint correlation score (semantic part correspondence label)
  • SoTA in PCK (semantic consistency of keypoints)
  • minimum Chamfer distance vs other unsup 3D keypoint detection methods

Demo: https://tomasjakab.github.io/KeypointDeformer/#section-demo

총평: Writing은 깔끔하여 읽는데 큰 문제가 없습니다. 다만 약점들을 교묘히 숨겼다는 느낌을 무시하기 어려웠습니다. 예시로 한 semantic category당 하나의 model을 새로 train해야 한다는 점, ShapeNet과 같은 제한된 shape 모양들에만 적용 가능하다는 점 (이건 약점이라기보다는 확장가능성..?) Unsupervised라고 하지만 train시에 input으로 받는 shape pair가 같은 semantic category에 해당한다는걸 아는 점, demo를 해보면 아시겠지만 point->cage->deformation을 따르는 순서가 그렇게 엄청 잘 되진 않는다는 점 등이 있습니다.

그럼에도 불구하고 oral로 뽑힌 이유는 아마도

  1. 이 방법론을 통해 얻어진 unsupervised keypoint들이 잘 뽑힌다는 점,
  2. Explicit하게 keypoint를 통해 shape manipulation한다는 아이디어의 신박함과 구현,
  3. 새로운 주제이지만 다양하게 확장가능할 정도의 substantial baseline 제공

이라고 생각합니다.