Feature/120 new specs #121

seraphr · 2022-11-04T23:24:29Z

プロジェクト作成時に、仕様拡張プラグインを利用したプロジェクトが作成されるようにした
既存プロジェクトの編集時、対象プロジェクトが仕様拡張プラグイン無使用の仕様を用いていた場合、その状態を保持するようにした
- ただ、この機能を試すには、古いcliでプロジェクトを作るか、過去に作ったプロジェクトが要る…

サンプルコマンド

変数を適当に弄って、以下のコマンドを実行
私がテストに利用したデータは以下にアップロードしておいた
https://kurusugawa.jp/nextcloud/f/8863981

ANNO_ID=seraph
ANNO_PASS=****
ANNO_END=https://annofab.com
ANNO_PRJ=3dpc-editor-cli-new-specs3
SCENE_PATH=/vagrant/share/kitti

popy anno3d/app.py project create \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --title ${ANNO_PRJ} \
  --organization_name "Kurusugawa"


popy anno3d/app.py project put_cuboid_label \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ}\
  --label_id "car" \
  --ja_name "車" \
  --en_name "car" \
  --color "(255, 0, 0)"

popy anno3d/app.py project put_cuboid_label \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --label_id "human" \
  --ja_name "人" \
  --en_name "human" \
  --color "(0, 255, 0)"

popy anno3d/app.py project put_segment_label \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --label_id "road" \
  --ja_name "道" \
  --en_name "road" \
  --color "(238, 130, 238)" \
  --segment_type SEMANTIC

popy anno3d/app.py project put_segment_label \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --label_id "wall" \
  --ja_name "壁" \
  --en_name "wall" \
  --color "(0, 182, 110)" \
  --segment_type SEMANTIC

popy anno3d/app.py project put_segment_label \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --label_id "car-seg" \
  --ja_name "車(seg)" \
  --en_name "car-seg" \
  --color "(255, 0, 0)" \
  --segment_type INSTANCE

popy anno3d/app.py project upload_scene \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --frame_per_task 10 \
  --camera_horizontal_fov "calib" \
  --input_data_id_prefix data1 \
  --task_id_prefix data1-task \
  --upload_kind annotation \
  --scene_path ${SCENE_PATH} \
  --force

popy anno3d/app.py project add_preset_cuboid_size \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --key_name smallBox \
  --ja_name 小サイズ \
  --en_name "small size" \
  --width 1 \
  --height 1 \
  --depth 1 \
  --order 1

popy anno3d/app.py project add_preset_cuboid_size \
  --annofab_id ${ANNO_ID} \
  --annofab_pass ${ANNO_PASS} \
  --annofab_endpoint ${ANNO_END} \
  --project_id ${ANNO_PRJ} \
  --key_name bigBox \
  --ja_name 大サイズ \
  --en_name "big size" \
  --width 10 \
  --height 10 \
  --depth 10 \
  --order 2

* anno3d/model/label.pyに定義されていた、MetadataをInfoにして、実際のJson表現とは関係ない型にした * 消えた情報は、LabelSpecifier上に実装された。 * LabelSpecifierは更に抽象化される予定 * label_specifiers.pyに実Json構造に対して中立なインターフェースを追加 * それらを利用して、ProjectModifier / ProjectApi を変更

…うに変更

* 新規にプロジェクトを作る場合、新仕様のプロジェクトが作成されるようにした * 編集時に編集対象プロジェクトが旧仕様プロジェクトだった場合、その状態を維持するようにした * put_segment_labelのdefault_ignoreを必須の引数からはずした

seraphr · 2022-11-07T23:12:15Z

anno3d/annofab/project.py

+    def _project_modifiers(self, project_id: str) -> ProjectModifiers:
+        current = self._modifiers_dic.get(project_id, None)
+        if current is not None:
+            return current
+
+        project: Dict[str, Any]
+        project, _ = self._client.get_project(project_id)
+        conf: Dict[str, Any] = project["configuration"]
+        specs_plugin = conf.get("extended_specs_plugin_id", None)
+
+        # 仕様拡張プラグインが利用されているかどうかでLabelSpecifiersの実装を入れ替える
+        if specs_plugin is None:
+            new = ProjectModifiers(MetadataLabelSpecifiers())
+        else:
+            # TODO Pluginに埋まってるバージョンを読んで選択出来るようにしたい
+            # 現状は、1.0.1しか無い＆pluginのdataclassが存在しないのでやってない
+            new = ProjectModifiers(ExtendedSpecsLabelSpecifiersV1())
+        self._modifiers_dic[project_id] = new
+        return new


基本的に、新旧仕様の動作の切り替えはここで、LabelSpecifiersの実装を入れ替えることで行っている。

ただ、唯一、default_ignoreについてのコードだけ、LabelSpecifiersでは出来ない部分があるので、if書いてある。

seraphr · 2022-11-07T23:12:49Z

anno3d/annofab/project.py

+        ignore_additional: Optional[IgnoreAdditionalDef]
+        ignore_id: Optional[str]
+
+        # 無視属性の追加は仕様拡張プラグインを使ってる場合は行わない
+        # ここでifするの微妙だが、ProjectModifiersまで抽象化するのは手間なので、こうしておく
+        if default_ignore is None or self._label_specifiers.extended_specs_plugin_version() is not None:
+            ignore_additional = None
+            ignore_id = None
+        else:
+            ignore_additional = default_ignore_additional if default_ignore else default_non_ignore_additional
+            ignore_id = ignore_additional.id
+
+        set_ignore = self._label_specifiers.ignore.set(ignore_id)


切り替え用 if その1

seraphr · 2022-11-07T23:15:05Z

anno3d/annofab/project.py

+        ignore_additional: Optional[IgnoreAdditionalDef]
+        ignore_id: Optional[str]
+
+        # 無視属性の追加は仕様拡張プラグインを使ってる場合は行わない
+        # ここでifするの微妙だが、ProjectModifiersまで抽象化するのは手間なので、こうしておく
+        if default_ignore is None or self._label_specifiers.extended_specs_plugin_version() is not None:
+            ignore_additional = None
+            ignore_id = None
+        else:
+            ignore_additional = default_ignore_additional if default_ignore else default_non_ignore_additional
+            ignore_id = ignore_additional.id
+
+        set_ignore = self._label_specifiers.ignore.set(ignore_id)


切り替え用 if その2

その1と全く同じコードだけど、とりあえず２つしかなくて隣り合って定義されているので、そのままにした。
python 関数による抽象化がめんどくさくて…

yuji38kwmt · 2022-11-08T02:13:07Z

pyproject.tomlにannofabapi>=0.65.0を指定して欲しいです。この指定がないと、古いannofabapiを利用している場合、"import error"が発生すると思います。

anno3d/app.py

anno3d/annofab/model.py

yuji38kwmt · 2022-11-08T10:10:12Z

anno3d/annofab/constant.py

+builtin_3d_editor_plugin_id = "bdc16348-107e-4fbc-af4a-e482bc84a60f"
+
+# Annofabで定義されている標準三次元エディタ用仕様拡張プラグインのID（dev / production共通）
+builtin_3d_extend_specs_plugin_id = "703ababa-96ac-4920-8afb-d4f2bddac7e3"


APIに合わせてextendedの方が良いと思います。

Suggested change

builtin_3d_extend_specs_plugin_id = "703ababa-96ac-4920-8afb-d4f2bddac7e3"

builtin_3d_extended_specs_plugin_id = "703ababa-96ac-4920-8afb-d4f2bddac7e3"

https://github.com/kurusugawa-computer/annofab-api-python-client/blob/199131a8fa24f94b3c27f27685bd0a0a3b1efd0c/annofabapi/plugin.py#L6-L29

annofab-api-python-clientでplugin_idを定義しました。これを参照すればplugin_idの定義する必要はないでしょうか？

annofab-api-python-clientでplugin_idを定義しました。これを参照すればplugin_idの定義する必要はないでしょうか？

それはたしかにそうですね。
とはいえ、この情報をannofab-api-python-clientが持つべきかどうかは、ちょっと怪しい気がしますが。

変数名変更しました e319150

…_plugin_id

seraphr · 2022-11-08T13:42:13Z

pyproject.tomlにannofabapi>=0.65.0を指定して欲しいです。この指定がないと、古いannofabapiを利用している場合、"import error"が発生すると思います。

確かに 8a798e6

yuji38kwmt

新しいanno3dコマンドで作成したプロジェクトと、従来のanno3dコマンドで作成したプロジェクトに対して、以下のコマンドを実行できることを確認しました。

project put_cuboid_label
project put_segment_label --segment_type INSTANCE
project put_segment_label --segment_type SEMANTIC

yuji38kwmt · 2022-11-13T22:00:43Z

@seraphr set_rect_annotation_areaコマンドなどを利用すると、アノテーション仕様のメタデータにバージョン情報が格納されます。
バージョン情報がなくても動作するのであれば、バージョン情報は設定しない方が良いと思います。

$ poetry run anno3d project set_rect_annotation_area 7bacc323-c744-4f60-b2b3-c68d87cbe2a5   "(-10.0, 20.0)"   "(-10.0, 20.0)" 
[2022-11-14 06:59:07,130] [17274] [anno3d.app] [INFO] メタデータを更新しました。
[2022-11-14 06:59:07,132] [17274] [anno3d.app] [INFO] {
  "annotationArea": {
    "areaMaxX": "20.0",
    "areaMaxY": "20.0",
    "areaMinX": "-10.0",
    "areaMinY": "-10.0",
    "areaKind": "rect"
  },
  "presetCuboidSizes": {},
  "version": {
    "version": "2"
  }
}

seraphr · 2022-11-13T22:07:59Z

バージョン情報がなくても動作するのであれば、バージョン情報は設定しない方が良いと思います。

どこから、バージョン情報がなくても動作すると判断したかわからないんですが、バージョン情報が無いと動作しないはずです。
バージョン情報がない場合、ここに書かれている設定が完全に無視されます。

yuji38kwmt · 2022-11-13T22:24:24Z

バージョン情報がなくても動作するのであれば、バージョン情報は設定しない方が良いと思います。

どこから、バージョン情報がなくても動作すると判断したかわからないんですが、バージョン情報が無いと動作しないはずです。バージョン情報がない場合、ここに書かれている設定が完全に無視されます。

なるほど。
バージョン情報がなくても3次元エディタの基本的な機能（cuboidやsegmentを付与できる）を利用できるので、「バージョン情報がなくても動作する」と勘違いしていました。
バージョン情報が何にかかっているのか、理解していませんでした。

seraphr added 18 commits November 3, 2022 06:49

bump annofabapi to 0.64.0

f8a1f3e

Annotationのデータ定義と作成をAnnotationV2に対応

a3044f7

コメントを追記

b4a0b67

bump annofabapi to 0.65.0

6795661

SpecsV3での旧3dpc-editor仕様対応

92480a9

KittiLabelのdecode時に対象のファイルが無い場合、ラベルが無いことにした

10aec64

仕様拡張プラグインで必要になるdataclassを定義

0100993

拡張仕様プラグイン対応の準備のため、LabelSpecification / ProjectModifierをインスタンス化して利用するよ…

9286a23

…うに変更

metadataにignore / layerが存在しない時にエラーになるのを修正

fafc9c7

意図したJsonへのエンコードが行われず、アノテーションの登録が出来なくなっていたのを修正

85bcfc7

debugプリントが残っていたのを削除

6942e82

LabelSpecifiersを、抽象基底クラスとそれを継承するMetadataLabelSpecifiersに分離した

1362b44

未使用のDataSpecifier _segment_kindを削除

5de0ebf

ExtendSpecsLabelSpecifiersを追加

508b28d

新仕様のプロジェクトで無視属性が作成されてしまうのを修正

fc82dda

ラベルの情報として、annotation_typeとfield_valuesを出力するようにした

91f336c

seraphr changed the title ~~[WIP] Feature/120 new specs~~ Feature/120 new specs Nov 7, 2022

コマンドサンプルを更新

939ac4b

seraphr marked this pull request as ready for review November 7, 2022 23:05

コメントを追記

faa649a

seraphr commented Nov 7, 2022

View reviewed changes

kencyke reviewed Nov 8, 2022

View reviewed changes

anno3d/app.py Show resolved Hide resolved

anno3d/annofab/model.py Outdated Show resolved Hide resolved

yuji38kwmt reviewed Nov 8, 2022

View reviewed changes

seraphr added 2 commits November 8, 2022 22:22

annofabapi = ">=0.65.0"

8a798e6

拡張仕様プラグインを利用している時に、default_ignoreが指定された場合、警告を出すようにした

934c733

seraphr added 2 commits November 8, 2022 22:35

fix typo

b716f02

rename builtin_3d_extend_specs_plugin_id to builtin_3d_extended_specs…

e319150

…_plugin_id

rename 仕様拡張プラグイン to 拡張仕様プラグイン

75b465b

kencyke approved these changes Nov 8, 2022

View reviewed changes

yuji38kwmt approved these changes Nov 13, 2022

View reviewed changes

seraphr merged commit 8fc09af into master Nov 14, 2022

seraphr deleted the feature/120_new-specs branch November 14, 2022 07:31

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Feature/120 new specs #121

Feature/120 new specs #121

seraphr commented Nov 4, 2022 •

edited

Loading

seraphr Nov 7, 2022

seraphr Nov 7, 2022

seraphr Nov 7, 2022 •

edited

Loading

yuji38kwmt commented Nov 8, 2022

yuji38kwmt Nov 8, 2022

yuji38kwmt Nov 8, 2022

seraphr Nov 8, 2022

seraphr Nov 8, 2022

seraphr commented Nov 8, 2022

yuji38kwmt left a comment

yuji38kwmt commented Nov 13, 2022

seraphr commented Nov 13, 2022

yuji38kwmt commented Nov 13, 2022

	builtin_3d_extend_specs_plugin_id = "703ababa-96ac-4920-8afb-d4f2bddac7e3"
	builtin_3d_extended_specs_plugin_id = "703ababa-96ac-4920-8afb-d4f2bddac7e3"

Feature/120 new specs #121

Feature/120 new specs #121

Conversation

seraphr commented Nov 4, 2022 • edited Loading

サンプルコマンド

seraphr Nov 7, 2022

Choose a reason for hiding this comment

seraphr Nov 7, 2022

Choose a reason for hiding this comment

seraphr Nov 7, 2022 • edited Loading

Choose a reason for hiding this comment

yuji38kwmt commented Nov 8, 2022

yuji38kwmt Nov 8, 2022

Choose a reason for hiding this comment

yuji38kwmt Nov 8, 2022

Choose a reason for hiding this comment

seraphr Nov 8, 2022

Choose a reason for hiding this comment

seraphr Nov 8, 2022

Choose a reason for hiding this comment

seraphr commented Nov 8, 2022

yuji38kwmt left a comment

Choose a reason for hiding this comment

yuji38kwmt commented Nov 13, 2022

seraphr commented Nov 13, 2022

yuji38kwmt commented Nov 13, 2022

seraphr commented Nov 4, 2022 •

edited

Loading

seraphr Nov 7, 2022 •

edited

Loading