SIGGRAPH（シーグラフ）という学会があるのですが、空白部分の画像をきれいに補完してしまうという論文が発表されていました。そのモデルがGithubで公開されていたので、早速試してみる事にしました。

Github image

SIGGRAPH - ディープネットワークによる画像補完

発表された論文については、この記事が詳しいです。

Gigazine - 画像を塗りつぶした部分に一瞬で自然な画像を補完する技術を早稲田大学の研究者が開発 (2017年5月1日)

記事にあるように、画像の空白部分を良い具合に補完してくれるんですね。すごいですね！

論文はこちらです。

公開されたGithubを見てみる

このGithubリポジトリで公開されていました。今年2018年２月に公開されたようです。

Github - https://github.com/satoshiiizuka/siggraph2017_inpainting

学習済みのモデルをダウンロードできるようなので、実行して試してみましょう！

Lua, Torch, OpenCVなどがインストールされた環境が必要なので、Dockerで構築する事にしました。

Dockerで環境構築を行う

何をベースイメージに使おうか迷ったんですが、OpenCVが入っているものを利用して、必要なものをインストールしていきました。（ですが結局、OpenCVの3.1.0が必要という事が分かりインストールしなおしてます…)

思い出しながらDockerfile作りましたが、抜けがあるかも知れないのでご参考まで。

Dockerfile: https://gist.github.com/takp/e3e84ffc6872985134d343353951a83a

FROM jjanzic/docker-python3-opencv

RUN apt-get install lua
    && curl -R -O http://www.lua.org/ftp/lua-5.3.4.tar.gz \
    && tar zxf lua-5.3.4.tar.gz \
    && cd lua-5.3.4 \
    && make linux test \
    && make install

RUN apt-get install sudo

RUN cd \
    && git clone https://github.com/torch/distro.git ~/torch --recursive \
    && cd ~/torch \
    && bash install-deps \
    && ./install.sh

RUN sudo apt-get install build-essential \
    && sudo apt-get install -y cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev \
    && sudo apt-get install -y python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

RUN wget https://github.com/opencv/opencv/archive/3.1.0.tar.gz \
    && mv 3.1.0.tar.gz opencv-3.1.0.tar.gz \
    && tar zxf opencv-3.1.0.tar.gz \
    && cd opencv-3.1.0 \
    && mkdir build \
    && cd build \
    && cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local .. \
    && make -j7 \
    && make install

RUN luarocks install cv

ビルドは結構時間がかかります。

Docker imageをPull

上記のDockerfileで作成したイメージをDocker HubにPUSHしてあるので、これを使ってみてください。（この方が早いです）

$ docker pull takp/torch-opencv:latest

Docker Hub - https://hub.docker.com/r/takp/torch-opencv/

ダウンロードに時間がかかるのでしばらく待ちましょう。

Run: 実行

さて、論文のコードもクローンしましょう。

$ git clone git@github.com:satoshiiizuka/siggraph2017_inpainting.git
$ cd siggraph2017_inpainting

では、先ほど作成したDockerイメージを用いて実行してみましょう。

$ cd siggraph2017_inpainting
$ docker images
takp/torch-opencv    latest     76a6895xxxxx        9 hours ago         4.61GB
$ docker run -it -v `pwd`:/mount takp/torch-opencv  /bin/bash

ここからは、Dockerの起動したコンテナ内で実行していきます。

$ cd /mount
$ bash download_model.sh
$ th inpaint.lua --input example.png --mask example_mask.png
{
  gpu : false
  mask : "example_mask.png"
  input : "example.png"
  nopostproc : false
  maxdim : 500
}
Loding model...	
Inpainting...	
Performing post-processing...	
libdc1394 error: Failed to initialize libdc1394
Done.