| 초록 |
연구의 목적 및 내용 ❑ 즉시 생성한 3D 모델로 구성된 가상공간 내에 원격의 다수 사용자가 함께 참여하여 상호작용을 통해 공통된 경험을 즐기고 교류할 수 있는 실감형 콘텐츠 기술 개발 ① Join&Joy 공간 구성을 위한 인스턴트 실측 3D 생성 기술 개발 * 비전문가 직접 제작(DIY)할 수 있는 인스턴트 3D 콘텐츠 생성 ⇨ 저비용 가상공간 구축 ② 원격 실측 3D 공간 가시화 및 참여자 연동 기술 개발 * 단일/다수 참여자의 정보(외형, 의도 등) 추출, 이들간의 정보 연동하는 체험형 상호작용 기술 ③ 실감체험 기반 몰입형 콘텐츠 서비스 기술 개발 * 디지털 테마파크 및 3D 스마트/비쥬얼 커뮤니케이션 광고 등 몰입형/사용자 주도형 서비스 개발 1차년도 연구개발성과 o 인스턴트 3D 생성기반 사용자맞춤 3D 실감체험 콘텐츠 서비스 기술 - 즉시적 사용자맞춤형 3D 콘텐츠 활용을 위한 사용자 및 체험아이템의 인스턴트 3D 생성 핵심 길목 기술 확보 ∙ 사용자맞춤 “On-Site 3D 콘텐츠 서비스”를 위해 사용자의 실측 3D 디지털클론(형상, 모션)과 외형특징정보(성별, 나이, 체형 등)를 1대의 RGBD 센서를 이용하여 인스턴트 3D 생성(현, 12초 수준), 모션추적(현, 20 fps 수준), 특징추출(현, 4종)하는 코어 기술 개발 ∙ 실물 아이템(의상, 악세서리 등)을 이용한 실감체험 서비스를 위해 아아템의 손쉬운 디지털변환용 전용기구물 제작 및 자동화(57% 수준) 파이프라인 구축 기술 개발 - 사용자맞춤형 3D 실감체험 서비스 제공을 위한 “실감체험 3D 플랫폼”HW/SW 개발 및 실감체험 콘텐츠(피트니스, 광고) 테스트베드 구축 ∙ 사용자 및 체험아이템의 인스턴트 3D 생성 정보를 이용하여 사용자맞춤 실감체험 콘텐츠 서비스를 제공하기 위한 “실감체험 3D 플랫폼”자체 개발 ∙ 거점기반 사용자맞춤형(사용자 외형정보, 체력정도) 실감체험 3D 피트니스/광고 콘텐츠 서비스 기술 개발 및 테스트베드 구축 o 가상공간기반 인터랙티브 테마파크 콘텐츠 기술 - 모듈형 스케일러블 몰입 디스플레이 기술 ∙ 4채널 프로젝션 기반 광시야각(4면 수평 360°) 고해상도 몰입 가시화 기술 개발 ∙ 원격 참여자용 광시야각(100°) HMD기반 개인 몰입 가시화 기술 개발 ∙ 저전력 블루투스 신호 분석에 의한 휴대형 가상공간 정보 기술 개발(영역 및 진입 구분) - 원격 참여형 가상 아바타 연동 플랫폼 기술 ∙ TTS를 이용한 실시간 Lip Sync 및 Depth 기반 참여자 추적을 통한 아바타 시선 연동이 가능한 원격 가상 아바타 외형 특성정보 표현 기술개발 ∙ 사용자 위치에 따라 콘텐츠가 변화하는 가상 창문형 가시화 기술 개발 ∙ 원격 가상 아바타 표현을 위한 데이터 처리 및 전송을 위한 RTSP기반의 대용량 가상현실 데이터 전송 테스트베드 구축 - 가상공간 기반 참여자 연동형 인터랙션 기술 ∙ 원거리(3~5m) 콘텐츠 제어가 가능한 6단계 지시형 제스쳐 인식기술 ∙ 착용형/비착용형 혼용 방식에 따른 고정밀 자세 인식 및 Force 센싱적용 인터랙션 기술 개발 ∙ 원격 사용자 참여 방식의 360도 전방위 회전 가능한 구형(球形) 모션베이스 연동 설계 o 거점설치 대화면 미러형 실감체험 콘텐츠 서비스 단말 시스템 - 서버-단말 구성의 사용자정보 및 광고 연동 가능한 “실감체험 3D 플랫폼”의 거점 단말 - 70인치 디스플레이와 과 미러(거울반사 83%, 패널투과 33%) 결합 구성 - 1 Kinect, 1 webcam, 1 DSLR 구성의 센서 시스템 o 사용자의 인스턴트 3D 생성 기반 사용자맞춤 실감체험 3D 피트니스/광고 콘텐츠 서비스 개발 - 1 Kinect 센서를 이용한 다중자세 기반 실측에 의한 실시간 자세제어가 가능한 사용자의 인스턴트 3D 클론(아바타) 생성 구현 - 인스턴트 체력측정을 통한 사용자맞춤 실감체험 피트니스 운동 콘텐츠 서비스 구현 - 사용자의 외형정보(성별, 나이, 체형) 기반 맞춤형 광고 송출 및 광고(동영상, 영상) 콘텐츠 내 실물아이템에 대한 사용자 움직임 연동 실감체험 서비스 구현 - 사용자 정보의 DB 연동을 통한 모바일 서비스 연동 구현 o 실물 체험아이템의 3D 스캔기반 디지털변환 시스템 - “실감체험 3D 플랫폼”의 체험아이템 공급 단말 - 1 Kinect, 1 DSLR 센서 구성의 저가형 영상기반 3D 스캔 방식 구현 - 아이템의 다층구조를 고려한 사실적인 실시간 물리시뮬레이션 기능 구현 - 아이템의 복잡도나 전문적 지식없이 실물아이템의 디지털변환을 위한 자동화 파이프라인 구축( 현재 57% 자동화율 달성) o Join&Joy 광시야각 디스플레이 프레임워크 시작품 - 모듈형 스케일러블 몰입 디스플레이 환경을 구축 - 4면으로 구성된 벽면 스크린 및 프로젝터 설치 (단초점 DLP-Laser 프로젝터) o 착용형 아바타 기반 가상 참여-모션 체험 몰입 환경 구축 시작품 - 사용자가 참여하여 모션 체험을 할 수 있는 몰입 환경을 구축 - 솦속방의 컨텐츠 조화 부속물 설치 2차년도 연구개발성과 o 자율 움직임 사용자의 모션 추적 연동 실측 3D 디지털클론 생성 기술 - 사용자의 자율 회전 움직임 중 정면응시 초기자세로 생성한 디지털클론을 기반으로 클론과 깊이영상간 오차분석을 통한 정밀 모션 추적 수행 기술 개발 완료 - 사용자 자율 회전 모션정보와 연동한 디지털클론의 3D 가시성 테스트를 통한 신체 주요부위의 신규 실측 3D 정보 업데이트 및 정합을 통한 사용자 디지털클론 생성 기술 개발 완료 - 사용자 자율 회전 종류 후 사용자 디지털클론 생성 소요 시간: 평균 5초 이내 달성 o 실측 3D 아바타를 이용한 자기가림에 강인한 전방위 모션 추적 기술 - 자기가림에 강인하도록 모호성 배제 가능한 모든 조합의 저수준 모션 집합 생성 및 레퍼런스 DB에서 최적의 자세를 검색하는 기술 개발 완료 - 레퍼런스 자세를 깊이 영상에 투영, 디지털클론과 깊이 영상 간의 오차를 반복적으로 최소화하는 인체 특성 반영 역기구학(평균 28fps)기술개발 완료 o 신체 정보 및 모션 기반 사용자 외형정보 분류 기술 - 관절 정보 및 생성된 디지털 클론 기반 사용자 인체 측정 기준점 신체둘레 측정 기술 개발 완료 - 표준 인체 치수 정보 기반 사용자 신체 부위별 비만도 정보 추출 기술개발 완료 - 통계적인 사용자 신체 부위별 비만도 정보 추출을 위한 성별/나이 정보 연동 완료 o 신체 정보, 모션 및 색상 기반 착용 아이템의 형태적 분류 기술 - 피부 검출 및 관절 정보 기반 착용 아이템의 형태적 분류 기술 개발 완료 (반팔/긴팔 상의, 하의 총 4종 분류) - 피부 검출 및 아이템 형태적 분류 정보 기반 착용 아이템의 색상 정보추출 기술 개발 완료 o 3D mesh 구조의 스캔된 아이템과 클론 연동 자동화 기술 - 자동 스키닝을 위한 디지털클론의 스키닝 정보를 체험아이템으로의 전사 기술 개발 완료 - Sweep 기반 전사 함수 품질 향상 기술 및 최소 입력의 직관적인 sweep 설정 인터페이스 개발 완료 o 텍스쳐의 조명 효과 예측을 이용한 조명 효과 제거 기술 - 다수 카메라/다수 촬영 영상의 색상 보정 기술 개발 완료 - 텍스쳐의 조명 효과 제거 및 diffuse 재질 텍스쳐 생성 기술 개발 완료 o 거점 기반 사용자맞춤 3D 실감체험 콘텐츠 시범서비스 - 체험아이템 스캐너를 통한 체험아이템 DB등록, 사용자 계측용 거울을 통한 사용자 DB등록 후 모바일 기기를 활용하여 서버-모바일 연계를 통한 3D 실감체험 콘텐츠 서비스 기술 개발 - K사 R&D 성과물을 전시하는 사내 비공개 행사에 ETRI-K사 Open R&D 개념으로 참가하여 K사 그룹 임직원 1500여명을 대상으로 K사의 개인정보 보호기술과 연계한 모바일 3D 실감체험 기술 시연 - 미국 K-CON USA 2015 LA 행사의 미래부 전시관 K-ICT Dream Zone에 인스턴트 3D 사용자 생성을 위한 전신거울형 시스템과 모바일단말을 이용한 3D 실감체험 기술, 체험아이템의 인스턴트 3D 생성 기술 전시, 홍보 수행 o 모바일 연동 3D 실감체험 콘텐츠 서비스를 위한 SW기술 및 테스트베드 구축 - 모바일 연 |
