【Python/C++】画像を2値化する方法【OpenCV】

画像処理では、画像を白と黒の2種類に分ける2値化処理がよく使用されます。
2値化は、

物体と背景を分離する
輪郭を検出する
文字領域を抽出する
面積や形状を計測する

といった処理の前段として使用される基本的な画像処理です。

OpenCVでは、固定した閾値を使用する方法だけでなく、画像から自動的に閾値を決定すす大津法や、領域ごとに異なる閾値を使用する適応的2値化も利用できます。

今回はOpenCVを使用して画像を2値化する方法を紹介します。

1. 2値化処理の理論

1.1. 2値化とは

2値化とは、画像の画素値をある条件によって2種類の値へ変換する処理です。
例えばグレースケール画像の場合、各画素は通常、

0 ～ 255

の範囲の値を持っています。
ここで、しきい値を TH として、

画素値 < TH  → 0
画素値 >= TH → 255

のように変換すると、画像は黒と白だけで構成された画像になります。
このような画像を2値画像と呼びます。

数式で表すと、入力画素を f(x, y)、出力画素を g(x, y) とした場合、

g(x,y)= \begin{cases} 0 & f(x,y)<TH \\ 255 & f(x,y)\ge TH \end{cases}

となります。
2値化処理では、どの値を閾値として使用するかによって結果が大きく変化します。

1.2. 固定閾値による2値化

最も基本的な方法は、閾値をあらかじめ指定する方法です。
例えば、

TH = 128

とした場合、

0 ～ 127   → 黒
128 ～ 255 → 白

に変換します。

OpenCVではthreshold()を使用して2値化できます。

画像の明るさがほぼ一定で、対象物と背景の画素値が明確に分かれている場合には固定閾値でも十分に分離できます。

一方で、撮影環境によって画像の明るさが変化する場合には、適切な閾値も変化します。
そのため、固定値だけでは安定して2値化できない場合があります。

1.3. 大津法による2値化

大津法は、画像のヒストグラムから適切な閾値を自動的に決定する方法です。
画像のヒストグラムを2つのクラスに分けたとき、2つのクラスが最もよく分離される(クラス間分散が最大になる)値を閾値として選択します。

閾値THによって画素を2つのクラスC₀、C₁に分け、それぞれの画素の割合をω₀、ω₁、平均画素値をμ₀、μ₁とすると、クラス間分散は次の式で求められます。

\sigma_B^2 = \omega_0 \omega_1 (\mu_0 – \mu_1)^2

大津の方法では閾値THを変化させながらクラス間分散を計算し、

TH_{\mathrm{Otsu}} = \argmax_{TH} \sigma_B^2(TH)

となる閾値を採用します。

例えば、

閾値 $TH$	クラス間分散 $\sigma_B^2$
50	120
100	350
130	500
150	420
200	100

だった場合、 $\sigma_B^2$ の最大値が500、その時の閾値THは130なので、

TH_{\mathrm{Otsu}} = \argmax_{TH} \sigma_B^2(TH)=130

となります。

大津法はヒストグラムが2つの山に分かれているような画像で特に有効ですが、対象物と背景の明るさが似ている場合や、照明ムラが大きい場合、画像全体を1つの閾値で分離することが難しく、うまく2値化できないことがあります。

1.4. 適応的2値化

通常の2値化や大津法では画像全体に対して1つの閾値を使用します。
一方、適応的2値化では、各画素の周辺領域から閾値を計算し、場所ごとに異なる閾値を適応して2値化します。

OpenCVの適応的2値化では主に2種類の方法があります。

1.4.1. 平均値(ADAPTIVE_THRESH_MEAN_C)

周辺領域の画素値の平均から定数Cを引いて閾値を求めます。

TH(x,y) = \frac{1}{N} \sum_{(i,j) \in \Omega} f(i,j) – C

$x,y$ ：これから2値化する対象画素の座標
$i, j$ ：対象画素の周辺にある各画素の座標
$\Omega$ ：閾値計算に使う周辺領域
$f(i,j)$ ：座標(i,j) の画素値
$N$ ：周辺領域に含まれる画素数
$C$ ：平均値から引く定数

1.4.2. ガウシアン重み付き平均(ADAPTIVE_THRESH_GAUSSIAN_C)

対象画素に近い画素ほど大きな重みを与えて平均を求めます。

TH(x,y) = \frac{\sum_{(i,j) \in \Omega} w(i,j) f(i,j)}{\sum_{(i,j) \in \Omega} w(i,j)} – C

$x,y$ ：これから2値化する対象画素の座標
$i, j$ ：対象画素の周辺にある各画素の座標
$\Omega$ ：閾値計算に使う周辺領域
$f(i,j)$ ：座標(i,j) の画素値
$w(i,j)$ ：座標(i,j)に対するガウシアンの重み
$C$ ：加重平均から引く定数

例えば、3×3のガウシアンカーネルを考えてみます。

K = \frac{1}{16} \begin{bmatrix} 1 & 2 & 1 \\ 2 & 4 & 2 \\ 1 & 2 & 1 \end{bmatrix}

次に、対象画素 $(x, y)$ を中心とした3×3の画素値を、

F = \begin{bmatrix} f(x-1,y-1) & f(x,y-1) & f(x+1,y-1) \\ f(x-1,y) & f(x,y) & f(x+1,y) \\ f(x-1,y+1) & f(x,y+1) & f(x+1,y+1) \end{bmatrix}

とします。
それぞれの画素値にガウシアンの重みをかけるので、

TH(x,y) = \frac{1}{16} \left[ f(x-1,y-1) + 2f(x,y-1) + f(x+1,y-1) + 2f(x-1,y) + 4f(x,y) + 2f(x+1,y) + f(x-1,y+1) + 2f(x,y+1) + f(x+1,y+1) \right] – C

となります。
例えば画素値が

F = \begin{bmatrix} 100 & 110 & 120 \\ 110 & 150 & 130 \\ 120 & 130 & 140 \end{bmatrix}

だった場合、

TH(x,y) = \frac{ 1 \times 100 + 2 \times 110 + 1 \times 120 + 2 \times 110 + 4 \times 150 + 2 \times 130 + 1 \times 120 + 2 \times 130 + 1 \times 140 }{16} – C

計算すると、

TH(x,y) = \frac{2040}{16} – C

TH(x,y) = 127.5 – C

例えばC=2なら

TH(x,y) = 125.5

となり、対象画素 $f(x, y)=150$ と閾値125.5を比較して2値化するという流れになります。

ここではガウシアンによる重みづけの考え方を分かりやすくするため、3×3のガウシアンカーネルを例として計算しています。
実際には後述するadaptiveThresholdの引数blockSizeで指定したblockSize×blockSizeの周辺画素に対してガウシアンによる重みづけを行います。

2. Pythonによる2値化処理

まず、OpenCVをインストールしていない場合は次のコマンドでインストールします。

pip install opencv-python

2.1. 固定閾値

最も基本的な2値化処理です。

import cv2

# グレースケールで画像を読み込む
image = cv2.imread("shimons_labo.png", cv2.IMREAD_GRAYSCALE)

# 2値化
threshold_value, binary = cv2.threshold(image, 128, 255, cv2.THRESH_BINARY)

# 保存
cv2.imwrite("shimons_labo_binary.png", binary)

2値化処理は、

cv2.threshold(image, 128, 255, cv2.THRESH_BINARY)

で行います。
引数は以下の通りです。

引数	意味
image	入力画像
128	2値化閾値
255	閾値を超えた場合に設定する値
cv2.THRESH_BINARY	モード指定

cv2.THRESH_BINARYの場合、各画素は次のように変換されます。

dst(x,y) = \begin{cases} 255 & src(x,y) > 128 \\ 0 & src(x,y) \leq 128 \end{cases}

つまり、画素値が128より大きければ255(白)、128以下なら0(黒)になります。
また、cv2.THRESH_BINARY_INVを指定すると白と黒が逆になります。

cv2.threshold()は2つの引数を返すので、通常は次のように記述します。

threshold_value, binary = cv2.threshold(image, 128, 255, cv2.THRESH_BINARY)

thresholdは使用された閾値、binaryには2値化後の画像が格納されます。
閾値を受け取らない場合は

_, binary = cv2.threshold(image, 128, 255, cv2.THRESH_BINARY)

と書くこともできます。

2.2. 大津法

次に、大津法を使用して閾値を自動的に決定します。

import cv2

image = cv2.imread("shimons_labo.png", cv2.IMREAD_GRAYSCALE)

threshold_value, binary = cv2.threshold(image, 0, 255, cv2.THRESH_OTSU)
threshold_value_inv, binary_inv = cv2.threshold(image, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)

print("Threshold:", threshold_value)
print("Threshold INV:", threshold_value_inv)

cv2.imwrite("shimons_labo_binary_otsu.png", binary)
cv2.imwrite("shimons_labo_binary_inv_otsu.png", binary_inv)

大津法を使用する場合は

cv2.THRESH_OTSU

を追加します。
また、

cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU

とすることで、白と黒反転したパターンの2値化も可能です。

引数の閾値は使用しないので今回は0を指定しています。

2.3. 適応的2値化

照明ムラなどがある場合には、適応的2値化を使用できます。

import cv2

image = cv2.imread("shimons_labo.png", cv2.IMREAD_GRAYSCALE)

binary_mean = cv2.adaptiveThreshold(
    image,
    255,
    cv2.ADAPTIVE_THRESH_MEAN_C,
    cv2.THRESH_BINARY,
    11,
    2
)

binary_gaussian = cv2.adaptiveThreshold(
    image,
    255,
    cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
    cv2.THRESH_BINARY,
    11,
    2
)

cv2.imwrite("binary_adaptive_mean.png", binary_mean)
cv2.imwrite("binary_adaptive_gaussian.png", binary_gaussian)

引数	意味
src	入力画像。 8bitのグレースケール画像を指定する
maxValue	条件を満たした画素に設定する最大値。 2値画像では通常255
adaptiveMethod	適応的しきい値を求める方法。・`ADAPTIVE_THRESH_MEAN_C` `・ADAPTIVE_THRESH_GAUSSIAN_C`
thresholdType	2値化方法。・`THRESH_BINARY` ・`THRESH_BINARY_INV`
blockSize	閾値計算に使用する近傍領域のサイズ。 3以上の奇数を指定する
C	計算した局所的なしきい値から減算する定数

3. C++による2値化処理

C++でもOpenCVのcv::threshold()やcv::adaptiveThreshold()を使用して画像を2値化できます。

【C++】OpenCV+Visual Studio 2022の環境構築

今回はOpenCVをVisual Studio2022で使用できるように設定していこうと思います。最近は「OpenCV」で検索してもPythonの記事ばかりですがここではC++版の環境構築について解説します。1. OpenCVのダウンロード...

3.1. 固定閾値

最も基本的な2値化処理です。

#include <opencv2/opencv.hpp>

int main(void){
    // グレースケールで画像を読み込む
    cv::Mat mat_img = cv::imread("shimons_labo.png", cv::IMREAD_GRAYSCALE);

    // 2値化
    cv::Mat mat_bin;
    double threshold_value = cv::threshold(mat_img, mat_bin, 128, 255, cv::THRESH_BINARY);

    // 保存
    cv::imwrite("shimons_labo_binary.png", mat_bin);

    return 0;
}

C++では

cv::threshold(mat_img, mat_bin, 128, 255, cv::THRESH_BINARY);

で2値化を行います。
Python版では2値化後の画像が戻り値として返されますが、C++版では第2引数に出力先のcv::Matを指定します。

また、cv::threshold()の戻り値は実際に使用した閾値です。
固定閾値の場合、threshold_valueには指定した128が格納されます。

3.2. 大津法

大津法を使用して閾値を自動的に決定します。

#include <opencv2/opencv.hpp>
#include <iostream>

int main(void){
    cv::Mat mat_img = cv::imread("shimons_labo.png", cv::IMREAD_GRAYSCALE);

    cv::Mat mat_bin;
    cv::Mat mat_bin_inv;

    double threshold_value = cv::threshold(mat_img, mat_bin, 0, 255, cv::THRESH_OTSU);
    double threshold_value_inv = cv::threshold(mat_img, mat_bin_inv, 0, 255, cv::THRESH_BINARY_INV | cv::THRESH_OTSU);

    std::cout << "Threshold: " << threshold_value << std::endl;
    std::cout << "Threshold INV: " << threshold_value_inv << std::endl;

    cv::imwrite("shimons_labo_binary_otsu.png", mat_bin);
    cv::imwrite("shimons_labo_binary_inv_otsu.png", mat_bin_inv);

    return 0;
}

大津法を使用するときは

cv::THRESH_OTSU

を指定します。
また、

cv::THRESH_BINARY_INV | cv::THRESH_OTSU

とすることで、大津法で閾値を求めたうえで白と黒を反転して2値化できます。
大津法では第3引数は使用しないのでここでは0を指定しています。
cv::threshold()の戻り値には大津法で求められた閾値が格納されます。

3.3. 適応的2値化

照明ムラなどがある場合、C++でもcv::adaptiveThreshold()が使用できます。

#include <opencv2/opencv.hpp>

int main(void){
    cv::Mat mat_img = cv::imread("shimons_labo.png", cv::IMREAD_GRAYSCALE);

    cv::Mat mat_bin_mean;
    cv::Mat mat_bin_gaussian;

    // 周辺画素の平均値から閾値を求める
    cv::adaptiveThreshold(mat_img, mat_bin_mean, 255, cv::ADAPTIVE_THRESH_MEAN_C, cv::THRESH_BINARY, 11, 2);

    // ガウシアン重み付き平均から閾値を求める
    cv::adaptiveThreshold(mat_img, mat_bin_gaussian, 255, cv::ADAPTIVE_THRESH_GAUSSIAN_C, cv::THRESH_BINARY, 11, 2);

    cv::imwrite("shimons_labo_binary_adaptive_mean.png", mat_bin_mean);
    cv::imwrite("shimons_labo_binary_adaptive_gaussian.png", mat_bin_gaussian);

    return 0;
}

平均値を使用する場合は