Skip to content

Latest commit

 

History

History
152 lines (119 loc) · 8.32 KB

README_zh_TW.md

File metadata and controls

152 lines (119 loc) · 8.32 KB

給海洋一點顏色瞧瞧

摘要🍩

本系統致力於海洋永續發展，結合水下影像的上色與還原、物件偵測等功能，以多種神經網路模型，協助人們更有效地深入研究和認識海洋。

frame9125

最新消息📢

[2023/12/15] 論文正式上線。詳情請查閱 IEEE Xplore。

進行中的工作📋

  • 將 WaterNet 修改為 U-Net 架構，並觀察其表現。詳情請查閱 dev 分支。
  • 將專案移交至新研究團隊。

論文📝

林一; 洪崇維; 王裕傑; 廖致嘉; 蔡宇軒, "Enhancing Underwater Images: Automatic Colorization using Deep Learning and Image Enhancement Techniques," 2023 IEEE International Conference on Marine Artificial Intelligence and Law (ICMAIL) IEEE Xplore

特色

  • 多媒體支援：能夠載入圖片、影片、網路視訊鏡頭。
  • 場景多樣性：提供水下、陸上等場景的權重。
  • 海洋永續科技：協助海洋的觀察與研究。
frame9125frame9125

主要功能

  1. 水下影像還原：WaterNet，使用該作者提供的資料集訓練的權重。

  2. 自動上色：neural-colorization，該作者提供的原始權重與我們訓練的權重。

  3. 載入圖片、影片、網路視訊鏡頭：支援多媒體使用。

  4. 影像的滑塊比對：提供更便利與直觀的比對方式。

  5. 物件辨識：YOLO v8，官方原始權重與我們訓練的魚群、色板的權重。

  6. 色板擷取與分析：透過手動擷取色板，以評估影像中的色板資料。

frame9125frame9125 frame9125

環境建置

  • 若要在您的本地端執行此專案，請依照以下步驟進行：
  1. 執行以下指令來複製此專案的 repository：
git clone https://github.com/NTOU-Arrays-Start-at-One/Give-ocean-a-piece-of-your-mind.git
  1. 執行以下指令安裝所需的套件：
pip install -r requirements.txt

這個指令會安裝此專案所需的所有套件。

注意：此專案使用的 python 版本為 3.8.10 ，若您的 python 版本差距過大，可能會有套件無法正常使用的問題。

使用方法

  • 執行 main.py ：
python3 main.py

注意

  • 開發環境為 Ubuntu 20.04.6 LTS
  • 使用 windows 的用戶需要使用 python main.py 執行，並將程式碼中的所有 python3 改為 python。

範例：

subprocess.call([
                "python", colorization_path,
                "-i", source_path,
                "-m", weights_path,
                "-o", output_path,
                "--gpu", "-1",
            ])

研究方法

使用WaterNet水色還原模型與neural-colorization自動上色模型來進行水下色彩還原、黑白影像上色，再使用數值方法評估影像還原結果，並透過YOLO v8進行物件辨識。

  1. WaterNet水色還原模型 WaterNet是一個基於卷積神經網絡的模型，可以減少水下光散射所帶來的影響。

  2. neural-colorization自動上色模型 由於水下紅光損失嚴重，而自動上色模型，可以在灰階影像中產生出任何顏色，故將其應用至水下色彩還原。

  3. 色彩分析 為了比對影像還原前後的結果，我們將色板照片放入拍攝場景中，來分析評估還原的成效。並使用k-means與CIE-2000來對色塊進行分析。

  4. 物件辨識 透過YOLO v8物件偵測模型，可以對各物件、魚類及色板進行辨識。

其他

潛在問題

過去版本

引用

如果您覺得我們的工作對您的研究有幫助，請考慮引用該論文。您可以使用以下的 BibTeX 條目：

@INPROCEEDINGS{10347502,
  author={Lin, Yi and Hung, Chung-Wei and Wang, Yu-Jie and Liao, Chih-Chia and Tsai, Yu-Shiuan},
  booktitle={2023 IEEE International Conference on Marine Artificial Intelligence and Law (ICMAIL)}, 
  title={Enhancing Underwater Images: Automatic Colorization using Deep Learning and Image Enhancement Techniques}, 
  year={2023},
  pages={48-53},
  doi={10.1109/ICMAIL59311.2023.10347502}}

致謝

該研究主要基於以下開源項目的二次開發。在此，我們對相關的項目和研究開發人員表示感謝：

該研究得到科技部資助，資助編號為MOST-110-2634-F-019-001，以及國家科學及技術委員會資助，資助編號為NSTC 111-2634-F-019-001。

此外，我們感謝國立海洋大學資訊工程學系大數據與深度學習實驗室提供的運算資源與指導，以及電機工程學系智慧生活科技實驗室提供的訓練資料。