Face Mask Detector with Deep Learning

by. Jongwon Lee | 246 Views (158 Uniq Views) | over 3 years ago

#OpenCV #Python #DeepLearning

COVID-19: Face Mask Detector with OpenCV, Keras/TensorFlow, and Deep Learning

얼굴 인식 및 마스크 감지 모델 구현

이번 블로그 포스트에서는 OpenCV와 Keras를 사용하여 얼굴을 인식하고, 그 얼굴이 마스크를 착용했는지 여부를 감지하는 간단한 프로젝트 코드를 설명하겠습니다. 이 코드는 기본적인 얼굴 인식과 마스크 감지 모델을 통합하여 실시간으로 마스크 착용 여부를 확인할 수 있는 시스템을 구현하는 방법을 보여줍니다.

코드 설명

필요한 라이브러리 불러오기: 코드 시작 부분에서 필요한 라이브러리를 불러옵니다. cv2는 OpenCV 라이브러리로 이미지 처리와 얼굴 인식에 사용됩니다. tensorflow.keras.models는 학습된 마스크 감지 모델을 불러오기 위한 라이브러리이고, numpy는 배열 및 수치 계산에 사용됩니다.

from tensorflow.keras.applications.mobilenet_v2 import preprocess_input
from tensorflow.keras.models import load_model
import numpy as np
import cv2

2. 모델 로드: 먼저, 얼굴 인식을 위한 FaceNet 모델과 마스크 감지 모델을 로드합니다. cv2.dnn.readNet 함수를 사용하여 deploy.prototxt 파일과 caffemodel 파일을 통해 얼굴 인식 네트워크를 불러오고, load_model 함수를 통해 미리 학습된 마스크 감지 모델을 불러옵니다.

facenet = cv2.dnn.readNet('models/deploy.prototxt', 'models/res10_300x300_ssd_iter_140000.caffemodel')
model = load_model('models/mask_detector.model')

3. 이미지 로드 및 전처리: 이미지 파일을 불러오고 크기를 조정하여 처리할 수 있도록 합니다. 이미지 크기는 960x540으로 리사이즈하고, 이후 이미지의 높이와 너비를 추출하여 얼굴의 위치를 계산하는 데 사용됩니다.

img = cv2.imread('assets/mask.jpg')
img = cv2.resize(img, (960, 540))
h, w, c = img.shape

4. 이미지 전처리 및 얼굴 검출: 얼굴 인식을 위한 전처리 과정에서 cv2.dnn.blobFromImage를 사용하여 이미지 데이터를 네트워크에 입력할 수 있는 형태로 변환합니다. 그 후 facenet.setInput과 facenet.forward를 이용해 얼굴을 검출합니다.

blob = cv2.dnn.blobFromImage(img, size=(300, 300), mean=(104., 177., 123.))
facenet.setInput(blob)
dets = facenet.forward()

5. 검출된 얼굴에 대해 마스크 감지: dets.shape[2]를 이용해 검출된 얼굴의 수만큼 반복문을 돌며, 각 얼굴에 대해 마스크 착용 여부를 예측합니다. model.predict를 사용하여 마스크와 마스크 미착용 확률을 예측하고, 확률이 높은 쪽에 맞춰 텍스트와 색상을 설정합니다.

for i in range(dets.shape[2]):
    confidence = dets[0, 0, i, 2]
    if confidence < 0.5:
        continue
    # face detection and processing code
    mask, nomask = model.predict(face_input).squeeze()

6. 결과 출력: 각 얼굴에 대해 마스크 착용 여부를 색상과 텍스트로 시각화합니다. 마스크를 착용한 얼굴에는 초록색, 마스크를 착용하지 않은 얼굴에는 빨간색으로 표시하고, 해당 확률을 텍스트로 출력합니다.

if mask > nomask:
    color = (0, 255, 0)  # Green for mask
    confidence = 'Mask ' + str(round(mask*100, 2)) + '%'
else:
    color = (0, 0, 255)  # Red for no mask
    confidence = 'No Mask ' + str(round(nomask*100, 2)) + '%'

7. 최종 결과 출력: cv2.rectangle로 얼굴을 둘러싸는 사각형을 그리고, cv2.putText로 마스크 착용 여부와 확률을 표시합니다. 마지막으로 cv2.imshow로 이미지를 화면에 출력합니다.

cv2.rectangle(img, pt1=(x1, y1), pt2=(x2, y2), thickness=2, color=color)
cv2.putText(img, text=confidence, org=(x1, y1 - 10), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=0.8, color=color, thickness=2)
cv2.imshow('result', img)
cv2.waitKey(0)

결과

이 코드는 제공된 이미지를 바탕으로 얼굴을 인식하고, 각 얼굴에 대해 마스크 착용 여부를 예측하여 결과를 화면에 표시합니다. 마스크를 착용한 얼굴은 초록색, 미착용 얼굴은 빨간색으로 표시됩니다. 또한, 각 얼굴 위에 마스크 착용 확률을 텍스트로 보여줍니다.

결론

이번 프로젝트에서는 얼굴 인식과 마스크 감지 모델을 결합하여 실시간으로 마스크 착용 여부를 감지할 수 있는 시스템을 구현했습니다. OpenCV와 Keras를 사용한 이 코드는 얼굴 인식과 딥러닝 모델을 결합하여 다양한 분야에서 활용할 수 있는 좋은 예제입니다. 추후에는 더 다양한 모델을 사용하여 성능을 개선하거나, 실시간 카메라 피드를 처리하는 방식으로 확장할 수 있습니다.

Full Code

from tensorflow.keras.applications.mobilenet_v2 import preprocess_input
from tensorflow.keras.models import load_model
import numpy as np
import cv2

facenet = cv2.dnn.readNet('models/deploy.prototxt', 'models/res10_300x300_ssd_iter_140000.caffemodel')
model = load_model('models/mask_detector.model')

img = cv2.imread('assets/mask.jpg')
img = cv2.resize(img, (960, 540))

h, w, c = img.shape

#preprocess image
blob = cv2.dnn.blobFromImage(img, size=(300, 300), mean=(104., 177., 123.))

#face detection by google
facenet.setInput(blob)
dets = facenet.forward()

#iterate each detected face
for i in range(dets.shape[2]):
    confidence = dets[0, 0, i, 2]

    if confidence < 0.5:
        continue

    #find vertex
    x1 = int(dets[0, 0, i, 3] * w)
    y1 = int(dets[0, 0, i, 4] * h)
    x2 = int(dets[0, 0, i, 5] * w)
    y2 = int(dets[0, 0, i, 6] * h)

    face = img[y1:y2, x1:x2]

    face_input = cv2.resize(face, dsize=(224, 224))
    face_input = cv2.cvtColor(face_input, cv2.COLOR_BGR2RGB)
    face_input = preprocess_input(face_input)
    face_input = np.expand_dims(face_input, axis=0)

    mask, nomask = model.predict(face_input).squeeze()
    
    #write text
    if mask > nomask:
            color = (0, 255, 0)
            confidence = 'Mask ' + str(round(mask*100, 2)) + '%'
    else:
        color = (0, 0, 255)
        confidence = 'No Mask ' + str(round(nomask*100, 2)) + '%'
    
    #draw rectangle
    cv2.rectangle(img, pt1=(x1, y1), pt2=(x2, y2), thickness=2, color=color)
    cv2.putText(img, text=confidence, org=(x1, y1 - 10), fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=0.8, color=color, thickness=2)

cv2.imshow('result', img)
cv2.waitKey(0)

Related Article:
https://www.pyimagesearch.com/2020/05/04/covid-19-face-mask-detector-with-opencv-keras-tensorflow-anddeep- learning/

ChatGPT is a contributing writer for this post.