79-90 17(2)-03(손미애).fm 한국CAD/CAM학회 논문집 Vol. 17, No. 2, pp. 79-90. April 2012 Transactions of the Society of CAD/CAM Engineers DOI http://dx.doi.org/10.7315/CADCAM.2012.079 <응용논문> ISSN 1226-0606 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 강수호·손미애 † 성균관대학교 대학원 산업공학과 Research on Ontology-based Task Adaptability Improvement for Digital Human Model Suho Kang and Mye Sohn † Dept. of Industrial Engineering, Sungkyunkwan University Received 27 December 2011 ; received in revised from 23 February 2012; accepted 27 February 2012 ABSTRACT In digital virtual manufacturing simulation, Digital Human widely used to optimal workplace design, enhancing worker safety in the workplace, and improving product quality. However, the case of ergonomics simulation solutions to support digital human modeling, Optimal DHM (Digital Human Model) data needed to develop and perform DHM will collect information related to the production process. So simulation developer has burden of collecting information. In this study, to overcome the limitations of existing solutions, we proposed the ADAGIO(Auto- mated Digital humAn model development for General assembly usIng Ontology) framework. The ADAGIO framework was developed for DHM ontology to support optimal deployment of digital virtual environment and in order to ensure consistency of simulation components that are required for simulation modeling was made of a library. Key Words: Digital human modeling, Digital virtual manufacturing, Ontology, Virtual simulation, adaptability 1. 서 론 특정 업무를 수행하는 대표 작업자들의 신체 특 징, 자세 및 모션 등을 모사할 수 있는 객체로 정 의되는 디지털 휴먼(Digital Human)은 디지털 가 상생산(Digital Virtual Manufacturing)을 수행하고 적용할 수 있는 가상의 공간인, 디지털 가상공장 (Digital Virtual Factory)에 포함되어야 할 핵심요 소 중의 하나이다. 디지털 휴먼으로 대표되는 인 간공학 시뮬레이션을 디지털 가상공장에서 수행 되는 제품개발 프로세스에 포함시킴으로써 최적 의 작업장 설계, 작업자와 작업장의 안전성 제고 및 제품의 품질 개선 등을 기대할 수 있다[1-3]. CATIA V5 PLM이나 Jack 등과 같은 솔루션들은 휴먼 모델링의 효율적인 구축과 실행을 지원하는 도구로 각광받고 있다[4]. 그러나 기존 솔루션들을 이용해 디지털 휴먼 모델링을 수행할 경우, 시뮬 레이션 대상 업무(Task)가 달라질 때 마다 디지털 가상환경을 재구성해야 하고 디지털 휴먼이 수행 해야 할 장비 조작방법과 장비 사용절차 등을 반 복적으로 설정해야 하는 부담이 있다. 또한 동일 † Corresponding Author, myesohn@skku.edu © 2012 Society of CAD/CAM Engineers 80 강수호·손미애 한 목적의 디지털 휴먼 시뮬레이션을 동일한 도구 를 이용해 모델링한다 해도 모델 개발자 별로 가 진 도메인 지식의 차이로 인해 오류는 없으나 상 이한 시뮬레이션 결과가 도출될 수 있다. 이에 더 해, 시뮬레이션 모델링 과정에서 발생할 수 있는 개념 및 어휘들 간의 일관성 부재로 인해 시뮬레 이션 결과에 대한 신뢰성 문제가 야기될 수도 있 다. 즉, 동일한 업무(개념)에 대해 시뮬레이션 개 발자, 라이브러리 개발자 및 현장 작업자 등이 상 이한 어휘를 사용하거나 반대로 상이한 개념에 대 해 동일한 어휘를 사용하는 경우가 있으며, 이러 한 문제를 방치한 채 모델링을 한다면 양질의 모 델링 도구가 제공된다고 하더라도 시뮬레이션 결 과의 신뢰성은 낮을 수밖에 없다. 이상과 같은 기 존 솔루션들의 한계를 극복하기 위해 본 논문에서 는 ADAGIO(Automated Digital humAn model development for General assembly usIng Ontology) 프레임워크를 제안하였다. 본 연구에서는 ADAGIO 프레임워크의 구현을 위해 첫째, 최적의 디지털 가 상 환경과 DHM을 구축하였으며, 시뮬레이션 결 과의 일관성을 보장하기 위해 라이브러리 구축하 였다. 마지막으로 One-Stop Simulation Modeling 을 지원하는 GUI를 개발하였다. 본 논문의 구성은 다음과 같다. 2장에서는 관련 연구에 대해 간단히 살펴보고, 3장에서는 본 프레 임워크의 전체적인 아키텍처와 이를 구성하는 세 부 기능에 대해 상술한다. 세부 기능 중 온톨로지 부분은 4장에서 설명한다. 5장에서는 사례 연구를 통해 본 프레임워크의 우수성을 검증한다. 6장에 서 본 연구에서 제안한 프레임워크에 대한 평가를 수행한 후, 연구 결과 및 추후 연구 과제를 7장에 서 제시한다. 2. 관련 연구 2.1 DHM 및 인간공학시뮬레이션 디지털 휴먼으로 대표되는 인간공학 시뮬레이 션을 디지털 가상공장에서 수행되는 제품개발 프 로세스에 포함시킴으로써 최적의 작업장 설계, 작 업자와 작업장의 안전성 제고 및 제품의 품질 개 선 등을 기대할 수 있다[4]. 디지털 휴먼을 활용해 시뮬레이션을 수행하기 위해서는 작업자의 신체 사이즈나 움직이는 각도 등에 대한 정확한 계측 과 함께 작업자의 작업 동작을 최대한 정확하게 묘사하는 것이 요구된다. 이를 지원하기 위해 CATIA V5 PLM이나 Jack과 같은 솔루션 패키지 들이 널리 활용되고 있다. 이 솔루션들의 경우, 디 지털 휴먼 모델링을 용이하게 하기 위해 일일이 명령어를 입력하는 방법을 개선해 애니메이션을 통한 모델링 방법을 도입했고 작업 프로세스의 모 델링이 용이하도록 TSB(Task Simulation Builder) 를 통해 DHM과 도구·조립파트와 같은 객체의 업무 프로세스를 간트 차트 형태로 도식화하는 방 법을 도입하기도 했다[5]. 이러한 개선 노력에도 불 구하고 기존 솔루션들을 이용해 DHM 모델링을 해야 할 경우, 시뮬레이션 개발자들은 최적의 DHM 자세(Posture)를 찾기 위해 여전히 수많은 데이터의 조합을 시뮬레이션 해야 하는 시행착오 를 거치게 된다. 이로 인해 시뮬레이션 모델링과 수행에 많은 시간과 비용이 야기됨과 동시에 모 든 조합의 데이터를 시뮬레이션 하지 못한 경우 시뮬레이션 결과에 대한 만족도 역시 낮게 된다. 이에 본 연구에서는 제품과 관련된 모든 정보, 휴 먼 모델링 정보 및 휴먼 모델과 업무와의 관계 등 을 컴퓨터가 이해하고 처리할 수 있는 온톨로지 를 구축하였으며, 다양한 업무 및 DHM의 조합에 최적인 자세를 통합적으로 묘사할 수 있는 개념 을 제안하였다. 이를 통해, 시뮬레이션 개발자들 은 별다른 조작없이 프로세스를 TSB에 생성할 수 있으며, 결과적으로 시뮬레이션 모델링의 시간과 노력을 크게 경감함으로써 업무의 효율성 제고에 기여할 수 있다. 본 논문에서 DHM을 생성하기 위해 사용한 데이터는 사이즈 코리아에서 발표한 성인 남녀 20세부터 50세까지의 정적 치수이다[6]. 이 데이터를 기반으로 Fig. 1과 같은 세부 신체치 Fig. 1 Detailed human dimensions information of DHM creation 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 81 수를 도출해 DHM 인스턴스를 생성한다. 본 논문 에서는 DHM 인스턴스의 생성을 지원하기 위해 DHM 온톨로지를 구축하였다. 시뮬레이션 개발 자는 ADAGIO 프레임워크에서 제공하는 GUI를 통해 정의된 임의의 DHM을 선택하게 되고, 선택 된 DHM은 온톨로지 추론을 통해 라이브러리에 필요한 데이터를 제공하며, 라이브러리에서는 DHM 구현에 필요한 코드를 생성해 상세 DHM을 구현 한다. DHM 온톨로지에 대한 상세한 설명은 3.4 절에서 한다. 2.2 온톨로지 온톨로지는 분산되어 있는 이질적인 정보들을 하나의 구체화된 도메인으로 구성하여 개념과 개 념 사이의 관계를 기술하는 정형화된 어휘의 집합 으로써, 공유된 개념화의 정형화되고 명시적인 명 세를 표현한다[7-9]. 온톨로지는 지식을 공유하고 재 사용하기 위해 구축되어 활용되며, 이미 전자상거 래(E-Commerce), 의료(Medical), 공학(Engineering), 화학(Chemistry) 및 지식경영(Knowledge Manage- ment) 등과 같은 다양한 분야에서 활용되고 있 다[10]. 최근에는 가상 환경의 구축과 DHM의 모델 링 분야에서도 온톨로지가 널리 활용되고 있으며, 이를 요약하면 Table 1과 같다. 그러나 DHM 모델링을 위해 구축된 온톨로지의 경우, DHM 자체를 모델링하기 위해 구축된 것으 로서 시뮬레이션 환경에 알맞은 DHM의 생성을 지원하기는 하지만 DHM을 이용한 시뮬레이션 모 델링시 발생하는 반복적인 수작업 문제를 해결해 주지는 못한다. 이러한 단점을 극복하고자 [11]은 시뮬레이션 가상 환경에 적합한 DHM과 가상 환 경 정보를 온톨로지화하여 DHM을 쉽게 조작하 고 커스터마이즈할 수 있는 방법을 제안하였다. 그 러나 조립 시뮬레이션과 같은 복잡한 작업 프로세 스를 수반하는 시뮬레이션 모델링에 이들이 제안 한 온톨로지를 사용하기 위해서는 여전히 반복적 인 모델링을 통해 최적의 모델링 방법을 찾아야 하는 어려움이 상존한다. [16]은 DHM을 이용한 조립 시뮬레이션에서 조립 프로세스에 대한 지식 의 공유가 무엇보다도 중요함을 인지하고 이들을 온톨로지로 구축하는 연구를 수행함으로써, 조립 프로세스 정보의 통합과 이를 통한 협업 환경 구 현에 기여하였다. 가상 환경의 구축과 DHM의 모 델링과 관련된 기존 연구들에서 온톨로지를 사용 한 주목적이 모델링에 필요한 도메인 지식의 재사 용이나 공유임을 알 수 있다. 본 연구에서는 도메인 지식의 재사용이나 공유 뿐만 아니라 시뮬레이션 개발자의 모델링 노력을 경감시키기 위한 목적으로 온톨로지를 구축·활용 하였다. 이를 위해서는 특정 요인만을 고려한 온 톨로지가 아니라 DHM, 가상 환경 및 조립 정보 를 모두 통합하는 온톨로지의 구축이 요구된다. 이 에 본 논문에서는 가상 디지털 휴먼 시뮬레이션을 위한 온톨로지 구축에 필요한 모든 정보를 통합하 는 도메인 온톨로지를 구축하였다. 3. ADAGIO 프레임워크의 전체 아키텍처 ADAGIO 프레임워크는 데이터 수집 및 라이브 러리 생성모듈, 시뮬레이션 모델링 모듈 및 업무 식별 모듈로 구성되어 있다. 시뮬레이션 개발자는 ADAGIO 프레임워크가 제공하는 GUI를 이용해 디지털 휴먼 모델링에 필요한 정보, 조립 파트 정 보 및 작업 환경데이터 등을 제공한다. 이들을 도 식화하면 Fig. 2와 같다. Table 1 Related work on DHM and simulation modeling Goal Objects Modeling components Related research Digital Human Modeling Re-use Stock Retrieve Shared conceptualization Geometry Animation Morphology Behavior Resource [11], [12] Virtual Environ- ments Represent information Represent functions Control Customize Controller Digital Item Geometric descriptor Shape Semantic descriptor Scene [13], [14] Assembly design information Integrated information Collaboration Shared knowledge Terminology definitions Map terminology Language Manufacturing knowledge [15], [16], [17] 82 강수호·손미애 3.1 데이터 수집 및 라이브러리 구축 모듈 (DCLGM) DCLGM은 라이브러리 개발자들이 시뮬레이션 모델링에 필요한 조립파트 및 업무절차 데이터들 을 수집하고 이들을 정제하고 통합한 후 라이브러 리화하는 모듈이다. 라이브러리 개발자들은 작업 자에 대한 관찰이나 기존 솔루션에 저장되어 있는 과거 데이터 및 문헌 정보들을 이용해 조립 파트 및 업무 절차 데이터들을 수집한다. 수집된 데이 터 중에서 오류가 있거나 중복되는 데이터를 필터 링한 후, 조립파트 데이터는 GUI를 통해 탑재되 는 파트 단위 그리고 업무 프로세스 데이터는 Actor, Property, Acts On 및 Bind Task(TSB description의 구성요소) 단위로 통합해 라이브러리를 생성한 다. 본 논문에서 조립프로세스를 위해 구축한 라 이브러리의 구조는 Fig. 3과 같다. 또한, 본 라이브러리에는 시뮬레이션 개발자가 사용할 DHM의 생성을 지원하는 모듈도 포함하 고 있다. 시뮬레이션 개발자가 GUI 상에서 선택 한 DHM을 생성하기 위해 DCLGM은 적합한 DHM 의 생성을 요청하는 쿼리를 온톨로지 서버에게 전 달한다. 온톨로지 서버는 해당 쿼리에 적합한 DHM 을 제공하기 위해 Table 2와 같은 추론을 수행한 후 그 결과를 DCLGM에 전달한다. 이렇게 생성 된 DHM은 업무 절차 데이터의 하위 요소로 저장 된다. 3.2 시뮬레이션 모델링 모듈(SMM) 시뮬레이션 개발자는 ADAGIO 프레임워크가 제공하는 GUI를 이용해 조립 모델, 이를 수행할 디지털 휴먼 및 디지털 휴먼과 조립 프로세스가 수행되는 작업환경 변수를 선택한다. 작업환경 변 수에는 ‘조립 모델의 종류’, ‘조립 파트의 높이’, 및 ‘DHM의 종류’ 등이 있으며, 다양한 작업환경 을 반영해 시뮬레이션 모델을 생성하는 것이 SMM 의 목표이다. 이를 위해, SMM은 시뮬레이션 개발 자가 입력한 데이터들에 매핑되는 조립파트 데이 터와 DHM 정보를 라이브러리로부터 가져온다. 다음 단계로 라이브러리로부터 수신한 데이터와 작업환경 데이터를 복합업무 식별모듈(CIM)로 전 송한 후, 처리 결과인 식별한 복합 업무와 조립 프 Fig. 2 Procedural architecture of ADAGIO framework Fig. 3 Library structure Table 2 SWRL Description Logic about DHM Rule Name SWRL Description Logic DHM- Man Digital_Human_Model(?x) ∧ Has_Static_Size(?x, ?y) ∧ differentFrom(?x, ?y) ∧ Has_DHM(?x, Man) → Man(?x) ∧ Has_Height(?x, Man) ∧ Has_Weight(?x, Man) DHM- Woman Digital_Human_Model(?x) ∧ Has_Static_Size(?x, ?y) ∧ differentFrom(?x, ?y) ∧ Has_DHM(?x, Woman) → Woman(?x) ∧ Has_Height(?x, Woman) ∧ Has_Weight(?x, Woman) 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 83 로세스정보를 CIM으로부터 전달받는다. SMM에 서 처리된 모든 데이터는 TSB로 자동 탑재되며 시뮬레이션 개발자는 TSB를 통해 시뮬레이션의 결과를 확인할 수 있다. 3.3 복합 업무 식별모듈(CIM) CIM은 시뮬레이션 개발자가 ADAGIO 프레임 워크가 제공하는 GUI를 통해 사용자가 모델링 하 고자 하는 조립 작업(예를 들어, Left Door Install, Right Door Install)에 필요한 복합 업무를 생성해 주는 기능을 수행한다. 이를 위해, CIM은 복합 업 무에 필요한 DHM, 작업 환경데이터(예를 들어, 작업 높이) 및 모델링 대상 등을 SMM으로부터 제 공받는다. 본 논문에서 사용하는 복합 업무란 DHM 모델링 솔루션 Jack이 제공하는 기본 업무(Human Task)인 ‘Go’, ‘Get’, ‘Put’, ‘Pose’, ‘Wait’ 및 ‘Touch’ 등과 이들의 수행에 필요한 최적의 자세 (Posture) 데이터를 통합한 것이다. 복합 업무의 정 의가 중요한 이유는 이의 정의를 통해 DHM의 자 세 결정에 소요되는 불필요한 반복 작업을 제거할 수 있기 때문이다. 시뮬레이션 개발자가 특정 작 업을 수행하는 DHM을 위한 최적의 자세(Optimal Posture)를 설정하기 위해서는 대상 객체(Object) 를 잡는 방법을 묘사하는 Hand Print와 적절한 DHM의 작업 자세의 조합이 요구된다. 그러나 시 뮬레이션 개발자가 Jack을 포함한 상업용 시뮬레 이션 모델링 소프트웨어에서 작업 자세 및 Grasp point의 조합을 찾기 위해서는 수 없는 시행착오를 거쳐야 한다. 이러한 시행착오는 모델링의 효율을 떨어뜨릴 뿐만 아니라 시뮬레이션 개발자의 많은 노력과 시간을 요구하게 된다. 본 연구에서는 Jack 이 제공하는 기본 업무와 이를 수행할 다양한 DHM 을 고려한 최적의 자세를 사전에 정의함으로써 시 행착오의 가능성을 크게 줄였다. DHM의 최적 자 세를 선택하기 위해 미시간 대학(University of Michigan)에서 제안한 HUMOSIM Ergonomics Framework[18]를 이용하여 각 작업(Tasks)에 대한 DHM의 자세를 분석하였다. 본 논문에서 제안한 복합 업무는 ‘Grasp’, ‘Convey’, ‘Insert’, ‘Secure’, 및 ‘Tool Select’ 등이며, ‘Grasp’을 Jack의 업무와 비교하면 Table 3과 같다. Table 3에서 보는 바와 같이, ‘Grasp’는 Jack에서 Go + Location + Get + Grasp point + Posture 등 의 업무의 조합으로 표현된다. 그러나 Jack의 경 우, 이 업무를 수행할 DHM의 자세를 결정하기 위 해 무수히 많은 시행착오를 거쳐야 하는 반면 복 합 업무를 사용할 경우 특정 업무를 수행할 측정 디지털 휴먼의 최적 자세 데이터가 통합되어 있으 므로 이러한 시행착오를 크게 줄일 수 있다. 이와 함께 다양한 업무와 디지털 휴먼의 조합에 대해 정의된 복합 업무는 다른 시뮬레이션 모델링에서 재사용됨으로써 시뮬레이션 모델링의 부담을 크 게 줄이는 데 기여할 것이다. Table 5는 본 논문에 서 제안한 복합 업무와 Jack에서 제공하는 기본업 무의 조합을 비교한 것이다. SMM으로부터 전달받은 조립업무 관련 정보를 이용해 시뮬레이션 개발자가 모델링하고자 하는 조립 업무에 적합한 복합 업무를 식별한다. 예를 들어, 조립업무가 ‘Left Door Install’이라면 Conveyor, Uninstalled Left Door 및 Left Door Trim 등과 같은 복합 업무가 식별되며, 식별된 복 합 업무들의 순서(절차), 업무의 수행에 필요한 도 구, DHM과 도구 및 파트에 필요한 기하학적 정 보 등을 식별해 SMM에 전달한다. 복합 업무를 식 별하는 과정은 Fig. 4와 같다. 4. DHM 온톨로지 온톨로지 서버는 General assembly ontology와 Table 3 Composite tasks Composite Tasks Jack Tasks Grasp + optimal posture Go + Location + Get + grasp point + posture + etc. Fig. 4 Identifying procedure of composite tasks 84 강수호·손미애 추론엔진으로 구성되어 있다. General assembly ontology는 조립절차, 기하 정보, 도구 정보, DHM 정보 및 Hand Print Elements들을 구성하는 개념 들로 구성되어 있다. 온톨로지는 조립 시뮬레이션 모델링에서 활용되는 데이터와 그 구조를 정의한 다. 또한, 시뮬레이션을 수행하고자 하는 개발자 의 의도를 파악하여 의미있는 데이터를 프로그램 에 전달하기 위한 목적이 있다. 이를 위해서는 추 론엔진이 반드시 필요하며 반대로 의미 있는 추론 을 하기 위해서는 온톨로지의 구축이 필수적이라 할 수 있다. 이를 도식화하면 Fig. 5와 같다. 구축된 온톨로지를 사용함으로써 시뮬레이션을 수행하는 개발자는 디지털 휴먼 모델을 쉽고 빠르 게 또한 일관성 있게 DHM을 조작 할 수 있다. 4.4.1 조립 프로세스(Assembly Process) 조립 시뮬레이션 모델링의 핵심요소는 조립 프 로세스이다. 우리의 온톨로지는 조립 프로세스의 모델링을 지원하기 위해 일반적으로 사용하는 조 립절차(예를 들어, Bill of Process, Assembly Task, Hang, Obtain 및 Route)와 관련된 개념 및 개념들 간의 관계를 모델링하고 있다. 이 온톨로지는 시 뮬레이션 개발자가 필요로 하는 복합 업무의 추론 을 지원하며, CIM모듈로 전달하는 기능을 수행한 다. 이를 클래스 다이어그램으로 도식화하면 Fig. 6과 같다. 조립프로세스는 추론을 통해 CIM에서 식별된 복합 업무의 조합에 따라 DHM이 수행해야 할 조 립프로세스 정보를 매핑하는 역할을 한다. 4.4.2 기하학적 정보(Geometric Information) 시뮬레이션 모델링에 사용되는 도구, 파트 및 Hand Prints 등은 각각 고유의 기하학적 정보를 가 지며, 이들 기하학적 정보에 따라 도구, 파트 및 Hand Prints 등의 위치가 결정된다. 본 연구에서 사 용되는 온톨로지는 조립 프로세스, 도구, Hand Prints 등과 같은 클래스에 대한 고유한 기하학적 정보를 포함하고 있으며, 이들을 표현하기 위해 특정 클래 스의 데이터 값을 명시하는 ‘rdfs:dataTypeProperty’ 를 사용하였다. 기하학적 정보는 라이브러리에 들 어있는 파일들의 주소를 표현하는 Object File Path(rdfs:range-string) 및 클래스의 기하학적 정보 를 표현하기 위한 6개의 좌표 정보인 Location (rdfs:range-int)과 Location Trans(rdfs:range-int)를 하위 프로퍼티로 가진다. ADAGIO 프레임워크는 시뮬레이션에 필요한 기하학적 정보를 온톨로지 로부터 추출하여 라이브러리에 정보를 전달한다. 이를 클래스 다이어그램으로 도식화하면 Fig. 7과 같다. 4.4.3 도구 정보 ADAGIO 프레임워크의 온톨로지에서는 조립 시뮬레이션 모델링에 사용되는 공구들을 클래스 로 표현한다. 클래스로서의 공구와 이들이 가질 수 Fig. 5 General assembly ontology components Fig. 6 Class diagram for assembly process Fig. 7 Class Diagram for geometric information 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 85 있는 최적의 Hand Prints 간의 관계(property)를 ‘ObjectProperty’를 이용해 설정하였다. 예를 들어, ‘ObjectProperty’인 ‘hasHandprints’는 공구를 정의 역(rdfs:domain)으로 저마다 최적화된 handprints 를 치역(rdfs:range)으로 갖는다. 이를 온톨로지로 표현하면 Fig. 8과 같다. 4.4.4 핸드프린트 요소 공구를 잡거나 조립 파트를 선택할 때, 적합한 잡기 방법을 정의함으로써 정밀한 DHM 모델링 을 지원하는 온톨로지 구성요소이다. 전술한 바 와 같이, Handprints(Class)는 ‘ObjectProperty’인 ‘hasHandprints’의 치역이며 기학학적 정보의 정 의역이다. 또한 공구뿐만 아니라 DHM 및 조립 파 트 등도 정의역으로 갖는다. 이를 클래스 다이어 그램으로 도식화 하면 Fig. 9와 같다. 온톨로지의 핸드프린트 요소는 DHM(3.4.2 참 조)이 사용하게 될 도구 및 파트의 핸드프린트 정 보를 모델링 한 것으로써, DHM이 도구를 사용하 는 모델링을 빠르고 일관성 있게 수행하는 것을 지원한다. 4.4.5 디지털휴먼모델 클래스인 DHM은 하위 클래스로 ‘Man’과 ‘Woman’을 가지며 이들의 인스턴스는 Fig. 1과 같 이 계측해 생성하였다. DHM(class)의 생성을 위해 필요한 정적 데이터인 키 및 몸무게와 DHM과의 관계를 나타내는 ‘ObjectProperty’인 ‘hasStaticsize’ 는 ‘hasHeight’와 ‘hasWeight’를 하위 프로퍼티로 가지며, 동시에 정의역으로 DHM을 가지며 두 개 의 치역으로 Man과 Woman을 갖는다. 이러한 관 계는 하위 프로퍼티인 ‘hasHeight’와 ‘hasWeight’ 에도 상속된다. Fig. 10은 DHM 모델링에 사용된 클래스와 프로퍼티들 간의 관계를 나타낸 것이다. 온톨로지에 모델링된 DHM은 시뮬레이션을 수 행하는 주체로서 조립프로세스, 기하학적 정보, 도 구 정보 및 핸드 프린트 요소의 인스턴스에 패싯 값(facet value)으로 연결되어 사용되며, DHM Man25th, Woman25th와 같은 인스턴스는 시뮬레 이션에 선택적으로 탑재되어 자동적으로 생성된다. 4.4.6 Inference Engine 본 연구에서는 온톨로지로부터 시뮬레이션 프 로그램에 필요한 데이터를 추론하기 위하여 RacerPro(Renamed ABox and Concept Expression Reasoner Professional)를 추론 엔진으로 사용하였 다. RacerPro는 ADAGIO 프레임워크에서 사용되 는 온톨로지의 데이터를 nRQL을 이용하여 정보 를 추출한다. 또한, 온톨로지로부터 의미있는 정 보를 추출하기 위해서는 SWRL(Semantic Web Rule Language)을 통해 추론하게 된다. 추출된 정 보들은 Java API를 통해 라이브러리와 CIM에 전 달된다. 구축된 온톨로지를 바탕으로 시뮬레이션 모델링에서 사용될 복합 업무중 GRASP를 식별하 는 규칙을 Table 4와 같이 SWRL로 정의하였다. Fig. 8 Class Diagram for tool information Fig. 9 Class Diagram for hand print elements Fig. 10 Class diagram for DHM 86 강수호·손미애 SWRL 규칙은 Grasp, Convey, Insert, Secure 및 Tool Select 등과 같은 복합 업무를 위한 시뮬레이 션 모델에 필요한 최적의 프로세스의 제공을 위해 사용된다. 5. ADAGIO 프레임워크의 구현 및 적용 5.1 ADAGIO 프레임워크의 구현 DHM을 이용한 조립 시뮬레이션의 모델링을 지 원하는 ADAGIO 프레임워크를 Table 5와 같은 환 경에 구현하였다. ADAGIO 프레임워크의 GUI는 조립 모델을 선 택하는 기능, 시뮬레이션 개발자의 의도에 따라 조 립 파트의 높이를 커스터마이즈할 수 있는 기능, 복합 업무와 그에 따른 조립 프로세스를 확인할 수 있는 기능 및 TSB에 시뮬레이션 관련 정보를 자동으로 전달하는 기능을 가지고 있다. Fig. 11은 ADAGIO 프레임워크의 GUI를 도식화한 것이다. Fig. 12는 ADAGIO 프레임워크의 GUI를 통해 Jack 5.1에 접속한 예제 화면이다. 하단 콘솔 창에 는 ADAGIO 프레임워크, 온톨로지 서버 및 라이 브러리들 간에 교환되는 정보의 목록이 실시간으 로 나타난다. 5.2 ADAGIO 프레임워크의 적용 시나리오 ADAGIO 프레임워크를 적용해 자동차 문을 조 립하는 시나리오의 적용을 통해 ADAGIO 프레임 워크의 실효성을 검증하였다. 자동차는 두 개의 문 Table 4 SWRL description logic about composite tasks Rule Name SWRL Description Logic Grasp Assembly_Models(?x) ∧ Digital_Human_Model(?y) ∧ Has_Parts(?z, ?a) ∧ Tools(?b) ∧ Go(?c) ∧ Get(?d) → Grasp(?x) ∧ Has_HandPrints(?y, ?x) Convey Assembly_Models(?x) ∧ Digital_Human_Model(?y) ∧ Has_Parts(?x, ?a) ∧ Parts(?a) → Convey(?x) ∧ Geometric_Information(?x, ?y) Insert Assembly_Models(?x) ∧ Digital_Human_Model(?y) ∧ Parts(?z) ∧ Has_Parts(?x, ?z) ∧ Bill_of_Process(?x) → Insert(?x) ∧ Geometric_Information(?x, ?y) ∧ Has_HandPrints(?y, ?z) Secure Assembly_Models(?x) ∧ Digital_Human_Model(?y) ∧ Parts(?z) ∧ Has_Parts(?x, ?z) ∧ Bill_of_Process(?a) ∧ Tools(?b) ∧ Has_Tools(?y, ?b) → Secure(?x) ∧ Geometric_Information(?x, ?b) ∧ Has_HandPrints(?y, ?b) Table 5 Implementation environment of ADAGIO framework ADAGIO 프레임워크 구성요소 사용 솔루션 및 개발 언어 인간공학 시뮬레이션 패키지 Siemens Jack 5.1 온톨로지 OWL, Protégé 3.4.7 온톨로지 서버 Java Script 추론 엔진 RacerPro 1.9 GUI 설계 TCL Library 구축 Python Fig. 11 GUI of ADAGIO framework Fig. 12 Connected ADAGIO framework into The Jack 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 87 을 조립해야 하며, 이 문을 조립할 DHM은 25번 째, 50번째, 75번째 남녀 작업자로 가정하였다. 이 작업자들의 업무는 조립되기 전의 문(Left Door와 Right Door)을 지정된 위치까지 이동한(Conveyer) 후 이들을 Trim(Left Door Trim과 Right Door Trim)하는 것이다. 작업자들이 수행한 복합 업무 와 작업 절차를 요약하면 Table 6과 같다. Table 6에 요약된 시나리오를 ADAGIO 프레임 워크에 적용한 시뮬레이션 모델링 절차는 다음과 같다. 시뮬레이션 개발자는 ADAGIO 프레임워크 가 플러그인 되어 있는 Jack 5.1을 실행시킨 후, 조 립 시뮬레이션 대상인 Left Door Install 또는 Right Door Install을 선택한다. 다음 단계로 시뮬레이션 개발자는 적절한 작업자를 선택해 DHM을 생성 하면 Door Install에 대한 조립 시뮬레이션 환경이 Fig. 13과 같이 자동으로 구축된다. ADAGIO 프레임워크는 Left Door Install 또는 Right Door Install을 위한 시뮬레이션 모델링에 필 요한 작업 요소인 조립모델, 작업환경, DHM, 사 용도구, 작업절차를 온톨로지로부터 추론한 후, 시 뮬레이션 모델링에 필요한 복합 업무를 생성한다. 생성된 복합 업무를 통해 시뮬레이션 개발자는 Grasp, Convey, Insert, Secure, Tool Select 각각의 프로세스 정보를 확인할 수 있다. ADAGIO 프레 임워크는 Door Install 또는 Right Door Install을 위한 시뮬레이션 모델링 정보를 TSB에 자동으로 전달한다. ADAGIO 프레임워크의 적용을 통해 시 뮬레이션 개발자들은 최적화된 DHM을 활용해 시 뮬레이션 모델링을 수행할 수 있으며, 시뮬레이션 환경이 변화된 경우 이에도 쉽게 대응할 수 있다. Fig. 14는 선정된 DHM이 Left Door Trim을 수행 하는 과정을 도식화한 것이다. 6. ADAGIO 프레임워크의 평가 ADAGIO 프레임워크의 우수성을 입증하기 위 해, Jack 5.1을 이용해 DHM을 모델링한 경우와 본 프레임워크를 이용한 경우의 모델링 소요시간 을 비교·분석하였다. 피 실험자들은 Jack에 숙달 된 사용자 그룹(3명)과 Jack의 사용이 미숙한 초보 자 그룹(3명)으로 나누어 실험을 진행하였다. 실험 은 5가지의 복합 업무(Grasp, Convey, Install, Secure, Tool Select)를 두 그룹의 피 실험자들에게 실시하게 한 후, 최적의 모델링 결과에 도달하기 까지 반복한 모델링의 횟수 및 이때 소요된 시뮬 레이션 모델링 시간을 측정하여 비교하였다. 실험 결과 5가지 최적의 복합 업무 모델링을 찾기 위해 반복한 모델링 횟수는 초보자들의 경우 약 10회, 숙련자들의 경우 약 4회였으며 ADAGIO 프레임 워크를 이용한 경우는 1회였다. 5가지 유형의 복 합 업무별 모델링횟수와 초보자, 숙련자 및 ADAGIO 프레임워크의 평균을 비교하면 Fig. 15, Fig. 16과 같다. 실험자별/복합 업무별 모델링에 소요된 시 간과 이들의 평균 시간을 비교하면 Fig. 17, Fig. 18과 같다. 실험결과, ADAGIO 프레임워크는 Jack 5.1의 초 Table 6 ADAGIO framework scenarios 구성 구성 요소 조립모델 Left Door Install, Right Door Install 작업환경 Conveyer, Left Door, Left Door Trim, Right Door, Right Door Trim DHM 남, 여 25번째, 50번째, 75번째 복합 업무 Grasp, Convey, Insert, Secure, Tool Select 사용도구 Smallest Pistol 작업절차 Walk → Bend → Reach → Arise From Bend → Walk → Pose → Walk → Bend → Reach → Arise From Bend → Reach → Touch ..... → Reach Fig. 13 An example of left door install Fig. 14 The course of the simulation scenarios 88 강수호·손미애 보자나 숙련자에 비해 모델링 회수와 시간 측면에 서 모두 우수한 결과를 도출하였다. 모델링 회수 측면에서는 초보자가 모델링을 완료하는 데 약 10 회의 반복을 했으며, 숙련자의 경우도 약 4.3회 만 에 모델링을 완료하였다. 그러나 ADAGIO 프레임 워크는 단 1회에 최적의 모델링을 완료하므로 모 델링 회수 측면에서 월등히 우수한 성능을 보인 다. 모델링 소요시간 역시 초보자가 모델링을 완 료하는 데 소요된 평균 시간은 약 480초이고 숙련 자의 평균시간은 약 273초였다. 그러나 ADAGIO 프레임워크는 약 30초 만에 모델링을 완료함으로 써, 모델링 소요시간 측면에서도 우수함이 입증되 었다. 7. 결론 및 추후 연구 과제 본 연구에서는 기존 상용 솔루션을 이용해 인간 공학 시뮬레이션을 모델링할 경우 발생되는 한계 를 극복할 수 있는 ADAGIO를 제안하였다. 본 논 문에서 제안한 ADAGIO 프레임워크는 첫째, 최적 의 디지털 가상 환경 및 DHM 구축을 위해 DHM 과 업무 절차, 기하학적 정보 및 업무 수행에 필요 한 도구 및 도구 잡는 최적 방법 등을 포괄하는 온 톨로지를 구축하였다. 둘째, 시뮬레이션 결과의 일 관성을 보장하기 위해, 즉 시뮬레이션 개발자가 달 라진다 해도 동일한 목적의 시뮬레이션은 항상 동 일한 결과를 도출할 수 있도록 하기 위해 시뮬레 이션 모델링에 필요한 구성요소를 라이브러리화 하였다. 셋째, 시뮬레이션 개발자의 개발 부담을 경감시킬 수 있는 one-stop modeling GUI를 개발 하였다. 마지막으로 ADAGIO 프레임워크는 Jack 5.1 TSB에 시뮬레이션과 관련된 모든 정보를 제 공함으로써 시뮬레이션 모델링을 보다 쉽고 빠르 게 할 수 있도록 지원하였다. ADAGIO 프레임워 크의 성능 평가를 위해 6명의 피 실험자들을 대상 으로 본 프레임워크를 사용하지 않았을 때와 사용 했을 때의 모델링 소요시간과 반복 회수의 차이를 비교·분석하였다. 그 결과, 모델링 소요시간과 반 복 회수 모두에서 본 프레임워크를 사용한 경우가 월등한 성능이 나타남을 입증하였다. 그러나 본 프레임워크는 Grasp, Convey, Install, Secure 및 Tool Select 등과 같은 5가지의 복합 업 무만을 지원한다는 한계가 있다. 또한, TSB를 사 용해서 시뮬레이션 모델링을 지원하기 때문에 TSB Fig. 15 A comparison of modeling repeat count in composite tasks Fig. 16 A comparison of average of modeling repeat count in composite tasks Fig. 17 A comparison of modeling duration in composite tasks Fig. 18 A comparison of average of modeling duration in composite tasks 온톨로지 기반 디지털 휴먼모델의 작업 적응성 제고 방안 연구 89 를 다루지 못하는 시뮬레이션 개발자는 TSB에 대 한 이해가 추가로 필요한 실정이다. 따라서 추후 연구에서는 보다 다양한 시뮬레이션 개발자가 ADAGIO 프레임워크를 이용하기 쉽게 하도록 TSB 이외의 애니메이션 시스템을 도입하는 것이 필요 하다. 또한, 온톨로지와 라이브러리를 보다 다양 한 시뮬레이션에 적용 가능하도록 그 범위를 넓힐 필요가 있다. 감사의 글 본 연구는 방위사업청과 국방과학연구소의 지 원으로 수행되었습니다(UD110006MD). 참고문헌 1. Yang, J. et al., 2007, Validation of Predicted Posture for the Virtual Human Santos™, Pro- ceedings of 14th International Conference on Human-Computer Interaction, LNCS 4561, pp. 500-510. 2. Don B. Chaffin, 2007, Human Motion Simulation for Vehicleand Workplace Design, Human Fac- tors and Ergonomics in Manufacturing, 17(5), pp. 475-484. 3. Demirel H. Onan and Vincent G. Duffy, 2007, Digital Human Modeling for Product Lifecycle Management, Proceedings of 14th International Conference on Human-Computer Interaction, LNCS 4561, pp. 372-381. 4. H. Honglun et al., 2007, Research on Virtual Human in Ergonomic Simulation, Computers & Industrial Engineering, 53, pp. 350-356. 5. Siemens Product Lifecycle Management Soft- ware Inc., Jack Help Overview, 2006. 6. http://sizekorea.kats.go.kr/ 7. Gruber, T. R., 1993, A Translation Approach to Portable Ontology Specification. 8. Borst, W. N., 1997, Construction of Engineering Ontologies, Centre for Telematica and Informa- tion Technology. 9. Studer, R., Benjamins, V. R. and Fensel, D., 1998, Knowledge Engineering: Principles and Method, IEEE Transactions on Data and Knowl- edge Engineering, 25. 10. Asuncion, G.-P. Mariano, F.-L. and Oscar, C., 2004, Ontological Engineering with examples from the areas of knowledge Management, e- Commerce and the Semantic Web, 2004. 11. Mario, G., Daniel, T., Federic, V., Laurent, M., Nadia, M.-T. Michela, M. and Michela, S., 2007, An Ontology of Virtual Humans, Visual Comput. 12. Stephanie, L., Gerald, H., Soham, S. and Henry, K., 2003, The Digital Human: Towards a Unified Ontology, OMICS: A Journal of Integrative Biol- ogy. December, 7(4). 13. Mario, G., Frederic, V. and Daniel, T., 2005, Semantics-based Representation of Virtual Envi- ronments, Int. J. of Computer Applications in Technology, 23. 14. Daniel E. O’Leary, Daniel Kuokka, and Robert Plant, 1997, Artificial Intelligence AND Virtual OR, CACM, 40(1). 15. Seonhwa, J., Diana, W. and Sangdo, N., 2010, Validation of an Ontology-based Approach for Enhancing Human Simulation in General Assem- bly Environments, World Congress on Engineer- ing 2010, Vol iii. 16. Kim, K, Manley, D. and Yang, H., 2006, Ontol- ogy-based Assembly Design and Information Sharing for Collaborative Product Development, Computer-Aided Design, 38. 17. Lee, S. H., Kang, M. and Eum, K.-H., 2011, Development of Ontology-based Intelligent Mold Design System, Society of CAD/CAM Engineers, 16(3), pp. 167-177. 18. Matthew, P. Reed, Julian F., Don B. Chaffin and Bernard J. Martin, 2006, The HUMOSIM Ergonomics Framework: A New Approach to Digital Human Simulation for Ergonomic Anal- ysis, Digital Human Modeling for Design and Engineering Conference. 90 강수호·손미애 강 수 호 2010년 숭실대학교 산업정보시스 템공학과 학사 2010년~현재 성균관대학교 산업공 학과 석사과정 관심분야: Semantic Web, Ontology, Web Service 손 미 애 1985년 성균관대학교 산업공학과 학사 1988년 KAIST 산업공학과 석사 2002년 KAIST 경영정보공학 박사 1988년~2004년 한국국방연구원 2004년~현재 성균관대학교 시스템 경영공학과 부교수 관심분야: Semantic Web, Ontology, Web Service, CBR, EA << /ASCII85EncodePages false /AllowTransparency false /AutoPositionEPSFiles true /AutoRotatePages /None /Binding /Left /CalGrayProfile (Gray Gamma 2.2) /CalRGBProfile (sRGB IEC61966-2.1) /CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2) /sRGBProfile (sRGB IEC61966-2.1) /CannotEmbedFontPolicy /Error /CompatibilityLevel 1.3 /CompressObjects /Off /CompressPages true /ConvertImagesToIndexed true /PassThroughJPEGImages false /CreateJDFFile false /CreateJobTicket false /DefaultRenderingIntent /Default /DetectBlends true /ColorConversionStrategy /LeaveColorUnchanged /DoThumbnails false /EmbedAllFonts true /EmbedJobOptions true /DSCReportingLevel 0 /SyntheticBoldness 1.00 /EmitDSCWarnings false /EndPage -1 /ImageMemory 1048576 /LockDistillerParams true /MaxSubsetPct 100 /Optimize true /OPM 1 /ParseDSCComments true /ParseDSCCommentsForDocInfo true /PreserveCopyPage true /PreserveEPSInfo true /PreserveHalftoneInfo false /PreserveOPIComments false /PreserveOverprintSettings true /StartPage 1 /SubsetFonts false /TransferFunctionInfo /Apply /UCRandBGInfo /Remove /UsePrologue false /ColorSettingsFile (Color Management Off) /AlwaysEmbed [ true ] /NeverEmbed [ true ] /AntiAliasColorImages false /DownsampleColorImages true /ColorImageDownsampleType /Bicubic /ColorImageResolution 150 /ColorImageDepth 8 /ColorImageDownsampleThreshold 1.33333 /EncodeColorImages true /ColorImageFilter /FlateEncode /AutoFilterColorImages false /ColorImageAutoFilterStrategy /JPEG /ColorACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /ColorImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000ColorACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000ColorImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasGrayImages false /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 150 /GrayImageDepth 8 /GrayImageDownsampleThreshold 1.33333 /EncodeGrayImages true /GrayImageFilter /FlateEncode /AutoFilterGrayImages false /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /GrayImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000GrayACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000GrayImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasMonoImages false /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 150 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.33333 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict << /K -1 >> /AllowPSXObjects false /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile (None) /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False /DetectCurves 0.000000 /EmbedOpenType false /ParseICCProfilesInComments true /PreserveDICMYKValues true /PreserveFlatness true /CropColorImages true /ColorImageMinResolution 290 /ColorImageMinResolutionPolicy /Warning /ColorImageMinDownsampleDepth 1 /CropGrayImages true /GrayImageMinResolution 290 /GrayImageMinResolutionPolicy /Warning /GrayImageMinDownsampleDepth 2 /CropMonoImages true /MonoImageMinResolution 800 /MonoImageMinResolutionPolicy /Warning /CheckCompliance [ /None ] /PDFXOutputConditionIdentifier () /Description << /CHS /CHT /DAN /DEU /ESP /FRA /ITA /JPN /KOR /NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken die zijn geoptimaliseerd voor prepress-afdrukken van hoge kwaliteit. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.) /NOR /PTB /SUO /SVE /ENU >> /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ << /AsReaderSpreads false /CropImagesToFrames true /ErrorControl /WarnAndContinue /FlattenerIgnoreSpreadOverrides false /IncludeGuidesGrids false /IncludeNonPrinting false /IncludeSlug false /Namespace [ (Adobe) (InDesign) (4.0) ] /OmitPlacedBitmaps false /OmitPlacedEPS false /OmitPlacedPDF false /SimulateOverprint /Legacy >> << /AddBleedMarks false /AddColorBars false /AddCropMarks false /AddPageInfo false /AddRegMarks false /ConvertColors /ConvertToCMYK /DestinationProfileName () /DestinationProfileSelector /DocumentCMYK /Downsample16BitImages true /FlattenerPreset << /PresetSelector /MediumResolution >> /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ] >> setdistillerparams << /HWResolution [2400 2400] /PageSize [2834.646 2834.646] >> setpagedevice