나노기술 및 정책 정보

• 목록

▶ 산업기술종합연구소(AIST), ‘기계 학습 품질 관리 가이드라인’ 공개

□ 개요

산업기술종합연구소(AIST) 사이버피지컬시큐리티연구센터 소프트웨어품질보증연구팀, 인공지능연구센터, 민간 기업·대학 등의 전문가들이 공동으로 AI 시스템의 설계 개발의 품질 관리에 대해 체계적으로 정리한 기계 학습 품질 관리 가이드라인을 사이버피지컬보안연구센터의 웹 사이트에 공개함.

IT 시스템을 안전하게 관리하기 위해 품질 관리는 필수이지만, 기계 학습을 이용한 AI 시스템은 개발자의 명시적인 프로그램의 지시에 의하지 않고 훈련 데이터를 이용한 학습을 통해 간접적으로 구축되기 때문에 일반 소프트웨어와 비교하여 품질 관리가 훨씬 어려움. 이번 가이드라인은 대상 AI 시스템의 라이프 사이클 전반에 걸쳐 품질을 관리하고, AI 시스템의 서비스 제공 시 요구되는 품질 니즈를 충족시키기 위해 필요한 노력과 검사 항목을 체계적으로 정리한 것임.

개발자들이 품질에 대해 커뮤니케이션할 수 있도록, AI 시스템 이용 시 요구되는 품질 요구를 (1)리스크 회피성, (2)AI 성능, (3)공정성 등 세 가지 외부 품질 축으로 새롭게 정리하고 각각의 요구 강도에 따라 레벨을 나눔. 개발자는 기계 학습의 정확성과 데이터 설계의 충분성 등 8개 내부 품질 개발 작업 등을 확인하여 외부 품질의 충족성을 객관적으로 판단하게 됨. AI 시스템 개발자와 이용자가 시스템에 요구되는 품질 요구 사항을 합의 할 수 있어 품질에 대한 불확실성을 제거하고 향후 AI 시스템의 비즈니스 활용을 가속화할 것으로 기대됨.

*웹사이트 URL : https://www.cpsec.aist.go.jp/achievements/aiqm/

□ 지침 내용

◯ 기계 학습을 이용한 AI 시스템의 ‘품질’을,

- AI 시스템 이용 시 필요한 ‘이용 시 품질’

- AI 시스템 중에서 기계 학습 요소에 요구되는 ‘외부 품질’

- 기계 학습 요소 자체가 갖는 ‘내부 품질’

로 나누고, 기계 학습 요소의 ‘내부 품질’ 향상을 통해 ‘외부 품질’을 필요한 수준으로 달성하고 최종 제품인 ‘이용 시 품질’을 제공.

본 가이드라인은 검토위원회의 분석과 논의를 바탕으로 ‘위험 회피성’, ‘AI 성능’, ‘공평성’ 등의 3가지를 기계 학습 요소에 특유의 외부 품질로 특정함. AI 시스템 이용 시 품질에 대해 이 세 가지를 기본으로 하여 표현됨.

한편, 내부 품질은 기계 학습 요소의 구축 프로세스 및 성능 저하 원인 분석 등을 통해 (1)요구 사항 분석의 충분성, (2)데이터 설계의 충분성, (3)데이터 세트의 피복성, (4)데이터 세트의 균일성, (5)기계 학습 모델의 정확성, (6)기계 학습 모델의 안정성, (7)프로그램의 건전성, (8) 운용 시 품질 유지성 등의 8개 항목으로 정리함.