以嘴巴顏色跟走向為基礎的人臉偵測

Abstract

在本論文中，我們提出方法來解決一些自動人臉偵測系統所遇到的問題。在彩色影像之中，膚色資訊主要被用來去除不可能為人臉的區域，但是這些膚色資訊通常都是離線(off-line)的統計結果，這樣的結果可能是一個大範圍的門檻值(threshold)，因此若背景的顏色也在這個範圍之內，那人臉區域跟背景可能就會連結成一大塊不可分的區域，則對於很多以膚色為基礎的人臉偵測演算法則會產生錯誤。因此，本論文要解決的問題包括：嘴巴區域偵測、人臉區域切割、人臉旋轉校正、眼睛區域偵測。 本論文首先提出一個以嘴巴為基礎的人臉膚色估計方法，在燈光均勻的假設條件下，人臉的膚色應該是很均勻的(uniform)。因此我們可以局部地收集人臉膚色的樣本，那即可經由統計的方式估計出整個人臉的膚色分布範圍，而嘴巴則是我們所提出收集樣本的最佳位置。為了在原始彩色影像中找到嘴巴位置，我們首先分析了三個顏色模組(color model)對嘴巴跟膚色區域的分離能力，而HSI則是被歸納出來最適合我們的嘴巴偵測演算法的彩色空間。接下來，我們把原始彩色影像轉換到HSI 而且根據離線(off-line)統計的膚色的hue門檻值(threshold)將其二值化(binarization)，因為嘴巴是包含在臉部區域內的非膚色相連區域，因此我們在二值影像中利用相連元件偵測法(connected-component detection)找出在膚色內部的相連元件，對於每個相連元件我們擷取其在原始彩色影像中的對應區域，然後將其顏色轉換到HSI color space, 接著利用離線統計的嘴巴hue的門檻值將其二值化，最後在利用相連元件偵測法找出嘴巴的候選區塊。 為了解決人臉的旋轉的問題，本論文也提出了一個根據嘴巴走向的旋轉校正方法。在嘴巴的邊線圖(edge image)中，由於上嘴唇至下嘴唇的灰階值(grey value)變化的關係，會形成一條很強烈的邊線(edge)，然而其餘區域由於大都是均勻的膚色，所以形成的邊線會較不明顯。此外這一條強烈的邊線正好近似一條直線而且跟兩眼的中垂線正好垂直，也就是說整個人臉的旋轉方向可以經由其斜率求得，為了估計這條直線，我們計算每個嘴巴的邊點(edge point)到直線的平方誤差，然後找出最小誤差的最適合直線。之後，我們將每個嘴巴候選區塊做旋轉校正，最後再用樣板驗證得到嘴巴位置，我們的旋轉校正比傳統利用兩眼直線以及類神經網路的旋轉校正方法更為準確而且有效率。 在知道嘴巴位置之後，我們接著以嘴巴附近的膚色點為樣本估計整個人臉的膚色門檻值，首先我們先計算嘴巴的中心點位置，然後根據偵測到的嘴巴大小定出一個矩形範圍，在此範圍之內計算膚色樣本的平均值(mean)和變異數(variance)，然後根據估計到的平均值跟變異數定出人臉膚色的門檻值，最後利用此門檻值對原始彩色影像做二值化，然後利用相連元件偵測法切割出人臉區域。 本論文還提出了以嘴巴位置為基礎的人眼偵測方法。因為人眼區域明顯較其他臉部器官的區域為暗而且灰階值的變異度大，因此在臉部邊線圖中，人眼區域相較於其他臉部器官的區域而言，其邊線會更明顯而且數目更多，加上兩個眼睛以嘴巴為中心點具有對稱的性質，所以如果我們把所有臉上的邊線點到嘴巴中心點的距離值收集成一個統計長條圖，則統計圖中具有最多數量的距離值即為兩眼區域到嘴巴中心點的距離。首先，為了強化眼睛區域的邊線偵測結果，我們使用四個方向的Sobel 遮罩，然後將其結果除上一個低頻的過濾子(low pass filter)，這樣的方式可以更加突顯較為暗的區域的邊線偵測結果，然後利用幾個人臉幾何特徵(例如:兩個眼睛跟嘴巴的夾角)去除掉一些不可能的邊線點，所以我們只在這些可能的範圍之內收集每個邊線點到嘴巴中線的距離值，實驗結果顯示我們根據嘴巴位置的眼睛偵測方法對於眼鏡、燈光變化、以及不同比率的人臉具有非常高的準確率。

In this thesis, we propose an automatic face detection system in color images based on the mouth colors and orientation. First, a mouth-based method is presented for estimating the range of face colors. Since the information of skin colors are useful for mouth detection, the input color image is transformed into the HSI color space and binaried according to the hue range calculated from the training face colors. In the binary image, the connected-component extraction is used to find possible mouth regions because that the mouth is a connected non-skin region contained in the face region. Next, the information of mouth colors is used to generate the mouth candidates from these possible mouth regions. Second, we propose a rotation correction method based on the orientation of the mouth region. In the edge image, a strong edge is formed along the mouth orientation due to the variation of grey values between the upper lip and lower lip, while the edges in the other places are unclear due to the low variation of face colors The strong edge can then be fitted as a straight line, which is proximately perpendicular to the bisector of the line connecting two eyes. The straight line defines the rotation angle of the face region. Finally, the mouth candidates are de-rotated according to the rotation angle and confirmed by comparing with the sample intensity mean. Third, a face segmentation algorithm is presented based on the mouth location. In the first stage, a rectangle range is set according to the size of the mouth region.and the face colors are estimated from skin colors within the range. .The source color image is then binarized according to the estimated range. In the binary image, the largest connected-component is defined as a possible face region. In order to accurately extract face pattern, the eye regions are detected based on the mouth location. Since the eye regions are darker, the edge measurements in the eye regions will be enhanced if we divide the edge values by the local intensity mean. Finally, we detect the eye regions by voting the distances from all the edge points to the mouth center.