얼굴 인식 및 검출 기술 활용한 보안 솔루션 구현사례

[보안뉴스= 하마다 야스시, 사카모토 시즈오] 우리는 매일 만나는 사람들이 누구인지 인식하며 산다. 우리는 오랜 소유물과 기억을 바탕으로 신체적 혹은 행동적 특징을 직접 이용하는 생체인식을 사용해 사람을 인식해 왔다.

2001년 9월 11일 미국 뉴욕에서 일어난 동시다발 테러(9.11 테러) 이후 생체인식은 사회적으로 중요성이 높아졌다. 출입국 관리에서 이를 활용한 응용이 활발하다. 한국도 지난해부터 내국인의 입출국 관리에 얼굴인식을 적용하고 있다.


여기에서는 일본전기의 얼굴인증 기술과 미국 국립표준기술연구소(NIST : National Institute of Standards and Technology), 미시간주립대학에 의한 성능 평가에 대해 살펴본다. 이와 함께 이 기술을 탑재한 새로운 얼굴인식 소프트웨어 개발 키트 네오페이스(NeoFace)도 소개한다.

사람을 인식하고 인증하는 데는 소유물(ID 카드 등)과 기억(패스워드 등)을 바탕으로 한 방법과 신체적 혹은 행동적 특징을 직접 이용하는 생체인식이 있는데 최근에는 생체인식이 여러 분야에 활발하게 도입되고 있다.

생체인식은 특히 9.11 테러를 계기로 중요도가 더욱 높아졌다. 카드나 ID·패스워드로 본인을 증명하는 방법만으로는 정보 유출과 범죄 발생을 본질적으로 막을 수 없다고 판단됐기 때문이다. 실제로 9.11 테러를 자행한 19명의 여객기 납치범은 총 62개의 운전 면허증을 테러에 활용했다.

이 사건을 계기로 미국은 물론 세계 각국에서 여권과 출입국 관리에 생체인식을 응용하는 기술 개발에 속도를 내기 시작했다. 일본은 2014년 여름 하네다 공항과 나리타 공항에서 얼굴인증 실증 실험을 추진하며 도입을 검토하고 있다1).

얼굴인증이 특히 주목받는 이유
생체인식에는 지문과 홍채, 정맥, 얼굴 등 다양한 신체 정보가 사용된다. 특히 얼굴인식은 사람간의 커뮤니케이션에서 가장 가까운 인증 수단으로 보안 이외의 다양한 목적에 맞춰 응용할 수 있다.

다른 신체 정보(Modality)를 활용한 생체인식이 전용 센서를 사용해야 하는 것과 크게 다르게 일반 카메라로 촬영한 얼굴로도 얼굴인증을 할 수도 있다. 이용자에게 특별한 인증 동작을 강요하지도 않아 편리하다는 장점도 있다.

일본전기는 1989년부터 얼굴인증 기술을 연구하기 시작했으며 1999년에 얼굴인증 시스템을 출시한 이후에는 다양한 솔루션을 선보이고 있다. 정밀도도 개선을 거듭하고 있다.

그 결과 유력 업체가 많이 참여하는 NIST 주관 얼굴인증 벤치마크 테스트(FRVT2013 : Face Recognition Vendor Test 2013)에 2009년과 2010년, 2013년 참가해 모든 테스트에서 최고란 평가를 받았다.

여기에서는 FRVT2013에서 최고 평가를 획득한 알고리즘을 탑재한 최신 버전의 얼굴 검출·대조 소프트웨어 네오페이스를 소개한다. 이와 함께 네오페이스를 이용한 솔루션과 성과 사례도 공유한다.

NIST 주관 FRVT2013는 어떤 시험인가
FRVT2013은 2001년 9.11 테러 직후 제정된 애국자 법에 따라 미국은 국토를 지키기 위한 중요한 기술로 생체인식을 선정해 NIST가 기술 평가와 조달 등에 필요한 표준화를 실행할 수 있게 한 테스트다. NIST는 지문과 홍채, 얼굴 등 생체인식 정밀도를 평가하는 제3자 벤치마크 테스트를 자주 한다.

FRVT2013은 업체들에게 얼굴인증 알고리즘을 받아 그들에게는 평가용 화면을 일절 공개하지 않고 기술 수준을 평가하는 이른바 블라인드 테스트로 객관적이고 정확히 평가할 목적으로 시행됐다.

NIST가 주관하고 미국 국토안보부(DHS : Department of Homeland Security)와 연방수사국(FBI : Federal Bureau of Investigation)이 지원한다. 이 평가는 미국 내에서 그치지 않고 세계적으로도 신뢰받고 있다.

FRVT2013은 2012년 7월부터 평가를 시작했으며 최종 보고서는 2014년 5월에 공개됐다2). 이 테스트에는 세계 각국의 유력 업체와 대학 등 16개의 단체가 참여했다.

최신 네오페이스에 적용된 인증 알고리즘
2015년 9월 일본전기는 업그레이드된 네오페이스 최신 버전을 출시했다. 이 제품은 FRVT2013에서 최고 평가를 얻은 인증 알고리즘을 적용해 성능을 대폭 강화했다.

정면이 아닌 살짝 측면의 얼굴 화면이나 해상도가 낮은 영상, 조명이 어두운 장소 등 어려운 촬영 환경에서의 인증율을 개선하고 대규모 데이터베이스에서 대조 속도를 향상시키며 성능을 높인 것이다.

FRVT2013 최종 보고서에서 일본전기는 이 얼굴인증 알고리즘의 식별 실패율이 다른 참가자의 절반 이하로 최고라는 평가를 받았다.

최신 네오페이스는 다음과 같은 성능 향상을 실현했다. 등록 화면의 데이터베이스에서 본인의 얼굴을 검색하는 1-N 조합으로 기존 버전보다 인증 정밀도가 28% 향상됐고, 2장 얼굴 화면이 동일 인물인지 아닌지 판정하는 1대 1 조합에서 기존 버전보다 인증 실패율이 2/3 감소한 것이다. 이는 사내 측정 기준에 근거한 성과다.

네오페이스 소프트웨어 개발 키트
솔루션 사례
일본전기는 얼굴인증 애플리케이션의 핵심이 되는 얼굴 검출과 얼굴 대조 소프트웨어 개발 키트인 네오페이스와 이를 이용한 애플리케이션을 제공하고 있다. 여기서 애플리케이션의 핵심이 되는 네오페이스(다른 제품에 대한 얼굴인증은 일본전기 웹사이트3) 참조)는 일본전기가 개발한 고 정밀도의 얼굴 검출·조합 알고리즘으로, 각종 애플리케이션에 활용하기 위한 개발 도구다.


이 키트는 개발에 필요한 SDK 라이브러리와 얼굴인증 애플리케이션의 실행에 필요한 런타임 라이브러리를 각각 제공하며, 윈도우와 리눅스가 탑재된 PC나 서버 등의 환경에 대응한다<그림1>. 네오페이스에 들어가는 일본전기의 얼굴인증 기술은 세 가지 기술로 요약된다<그림2>.

화면의 중앙에서 얼굴이 존재하는 영역을 찾아내는 얼굴 검출 기술과 검출한 얼굴에서 눈과 코, 입술 끝 등의 목표점을 찾아 특징점을 검출하는 기술, 검출된 두 얼굴을 서로 비교하여 유사도를 요구하는 얼굴 대조의 기술 등이다.

얼굴 검출 기술
얼굴 검출은 기본적으로 화면의 상단부터 순서대로 얼굴의 영역을 탐색하는 처리가 이뤄지기 때문에 크기에 따라 처리 속도와 검출 정밀도를 높은 차원으로 균형을 맞추는 것이 과제다. 이를 위해서 일본전기는 독자적인 패턴 인식 기법인 최소 분류 오류를 바탕으로 하는 일반화 학습 벡터 양자화 방법을 쓴다. 대량의 문서에서 문자를 읽는 OCR 등에서도 실적을 올린 방법이다.

특징점 검출 기술
특징점 검출은 검출된 얼굴 영역 속에서 눈동자를 중심으로 콧방울과 입 주변 등의 목표점을 탐색해 이뤄진다. 각각의 목표점과 그 주변은 고유의 휘도 패턴을 이루고 있어 이 패턴을 미리 학습해 각 목표점의 후보를 검출한다. 또한, 얼굴 형태에 따라 전체의 배치에 제약을 가해 가장 적합한 위치점을 구해 고 정밀도로 목표점 위치를 요구할 수 있다.

얼굴 대조 기술
얼굴 대조는 특징점 검출에서 얻은 목표점 위치를 기준으로 정규화된 두 장의 얼굴 화면을 비교해 유사도를 산출해 진행한다.

눈과 코의 굴곡이나 기울기를 비롯한 다양한 특징량 중에서 사전에 수많은 얼굴 화면을 이용해 개인을 식별하기 위한 최적의 특징량을 학습하는 것이다. 이 중 선택된 특징량으로 나이 변화 등의 인증 정밀도에 악영향을 미치는 요인을 배제하고 정확한 개인 식별을 할 수 있다(다원 특징 식별법).

네오페이스는 이런 기술을 이용해 크게 2가지의 얼굴 화면 처리의 기능을 제공한다. 하나는 화면 중에서 얼굴을 찾는 얼굴 검출 기능이고, 다른 하나는 검출된 얼굴이 얼마나 비슷한지 판정하는 얼굴 대조 기능이다.


이 두 가지 기능을 조합하면 다양한 얼굴 인증 솔루션을 실현할 수 있다<그림3>. 미국 시카고 경찰은 이를 이용해 범죄자를 검거하기도 했다.

시카고 경찰의 범죄자 검색 시스템
시카고 경찰은 네오페이스를 이용해 과거 범죄자의 얼굴 화면을 검색하는 시스템을 구축했는데 얼굴이 등록된 범죄자는 450만명에 이른다. 시카고 경찰은 이 시스템을 통해 2013년에는 권총을 들이대고 휴대 전화를 강탈해 도주한 인물의 검거에 성공했다.

용의자의 얼굴이 시카고 교통국의 감시 카메라에 포착돼 얼굴을 조회한 결과 범인으로 생각되는 인물이 검출된 것이다<그림 4>. 이후 시카고 경찰은 목격자 확인과 증거 수집 등을 통해 용의자를 체포했다.


이 용의자는 2014년 법원에서 징역형을 선고받았으며. 미국에서 얼굴인증을 활용한 첫 번째 범죄자 체포 사례로 꼽히고 있다. 이렇듯 네오페이스는 실 상황에서 수백만명 규모의 데이터베이스를 구축하고 높은 검색도를 통해 성과를 내고 있다.

앞으로도 일본전기는 안전한 사회 실현에 공헌하겠다는 목표로 최고의 바이오 메트릭 기술을 구현하는 데 총력을 기울일 계획이다.

[참고 문헌]
1) 사카모토 시즈오, "하네다 공항/ 나리타 공항에서의 얼굴 인증 자동화 게이트 실험, "정보 처리 학회 정보 규격 조사회, 정보 기술 표준, No.104, pp. 5-8 （2014）
https://www.itscj.ipsj.or.jp/hasshin_joho/hj_newsletter/NL104-w.pdf
2） P.Grother and M. Ngan, “Face Recognition Vendor Test （FRVT）－ Performance of Face Identification Algorithms－”, NIST Interagency Report 8009 （2014）
http://biometrics.nist.gov/cs_links/face/frvt/frvt2013/NIST_8009.pdf
3） http://jpn.nec.com/face/
[글_ 하마다 야스시, 사카모토 시즈오 일본전기]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>