| 내용 |
종합과학기술회의 평가전문조사회는 '국가 연구개발 평가에 관한 지침'의 평가대상 중 연구개발 프로그램과 연구개발 과제에 초점을 맞춰 평가시스템의 개선점을 논의하였으며 해외 연구개발평가 시스템에 대해 집중 분석함. 미국은 프로그램의 성과목표를 설정하고 자기평가를 비롯해 외부기관을 포함한 다양한 조직에 의해 평가를 받는 체제이며, 영국은 자원 배분에 상응하는 평가기준 및 계약에 근거해 연구개발 활동을 평가하는 등 국가별로 정책체제에 상응한 평가방식의 특성을 나타냈음. 이에 일본은 연구개발 자금배분기관의 독립성과 기능 강화, 평가의 전문성 확보를 위한 인재 양성과 평가 관련 제도적 정비 추진, 평가결과를 '예산자르기' 목적으로 이용하는 등 부정적 요소 개선을 위한 지속적인 노력 등을 시사점으로 도출하였음. 일본이 고민하고 있는 '과학기술 정책체계와 정합성을 이룬 연구개발 평가체계'는 우리에게도 시의성 높은 주제이며, 평가방법론 개선 및 평가인력 육성 등 일본이 노력하는 평가에 관한 비제도적 측면의 개선도 주목해야 할 점으로 판단됨. ------------------------------------------------------------------------------------- 1. 개요 □ 종과회는 3대 과학기술정책 기본방침 * 의 하나인 과학기술정책의 통합적 전개와 PDCA ** 구축을 위해 연구개발 평가시스템에 대한 검토 실시 * 제4기 과학기술기본계획( rsquo;11 sim; rsquo;15)의 3대 과학기술정책 기본방침 : 과학기술혁신정책의 통합적 전개, 인재와 이를 지원하는 조직의 역할 중시, 사회와 함께 만들어 추진하는 정책 실현 ** Plan-Do-Check-Action 4단계에 의해 업무를 지속적으로 개선하는 방법론 ○ 종과회(평가전문조사회)는, 현행 「국가 연구개발 평가에 관한 지침」 (이하 평가지침) 에서 향후 개선해야 할 과제 및 주요 논점 논의 - 제4기 과학기술기본계획의 수립·시행과 병행하여 연구개발평가시스템의 개선을 위한 검토항목 및 논점을 논의 * 종과회는 4기 기본계획 발표 이전부터 평가전문조사회( rsquo;11.5.30, 6.27), 워킹그룹(7.25, 8.19) 등을 통해 관련 조사 및 논의 진행 ○ 평가 지침에서 제시된 평가대상 * 중 연구개발 프로그램 및 연구개발 과제에 초점을 맞춰 평가시스템 개선점 및 주요 논점 검토 * 연구개발 프로그램, 연구개발 과제, 연구자 등의 업적, 연구기관 ※ 연구개발 프로그램은, 우리나라의 연구개발 ldquo;사업 rdquo;에 해당하는 개념으로 본 보고서에서는 주로 사업단위의 프로그램 평가를 대상으로 논의 진행 ◇ 기본적 방침에 해당하는 정책( Policy) 하위에 다양한 프로그램(Program, 사업)이 구성되며 프로그램 하위에 프로젝트(Project, 개별사업)가 존재 - 본래, 프로그램이란 불확정적 요소를 포함한 「계획」이 아닌 구체적으로 구성되어진 계획으로 규정 - 프로그램은 정책의 실시·전개·관리의 기본적인 단위로서, 정책이 규정한 정책 대상 영역의 개별분야에 관련된 구체적인 계획 2. 주요국의 정책체계 특징 미국 : 개별 및 공동형 체계 ○ (개별형) 관련 부처 및 기관이 각각의 미션에 맞춰 개별 과제를 인식하고 관련업무를 분장하여 정책을 전개 ○ (공동형) 개별 조직의 업무 범위를 넘어서는 과제에 대해서는 공동조직을 구성하여 실질적으로 대처 ※ 각 기관은 GPRA(Government Performance and Result Act) 에 근거하여 전략계획 등 수립 #983730; 영국 및 프랑스 : 단계적 상의하달형 * 체계 * 통합적인 정책이 최상위의 조직으로부터 순차적으로 그리고 계층적으로 하위 조직으로 이어져 내려가며 구체화, 분화되는 유형 ○ (영국) 지출전망에 따라, 각 행정기관이 재무부와 합의한 공무협정에 근거하여 관련 실시 계획을 수립 ○ (프랑스) 공공정책 현대화회의 (CMPP) 가 주요 과제 결정 후 각 부처에서 구체적인 정책 입안 및 집행 ※ 프랑스에는, 대규모의 행정개혁을 진행하기 위한 일련의 절차나 개혁 내용 등을 명확히 하는 공공정책개정(RGPP) 프로세스 존재 #983731; 독일 : 분산·연계형 체계 ○ 국민적 과제를 발굴하는 상위 조직이 존재하지 않으며, 정책 형성과 관련된 조직이 다양하게 존재 - 다부처 관련 통합적 과제는 조직간 수평적 연계로 대처 3. 주요국의 평가체계 특징 미국 ○ GPRA는 프로그램의 성과목표를 설정하고, PART (Program Assessment Rating Tool) 등을 통해 그 결과를 측정·평가하는 것을 의무화 (별첨1,2) - 외부 기관을 포함한 다양한 조직에 의해 다원적 평가를 받는 체제 ※ PART는 각 연방기관이 수행한 자기평가에 대한 평가(메타평가)적 성격 GPRA와 PART의 관계 #983730; 영국 및 프랑스 ○ (영국) 자원 배분에 상응하는 평가기준 및「계약」에 근거하여 연구개발 활동에 대하여 평가 - BIS * 는 각 기관이 제출한 관련 투자계획을 평가하여 자금배분을 수행하고 동시에 관련 활동 및 성과에 대한 정보를 수집 * 기업혁신기술부 : Department for Business, Innovation and Skills ○ (프랑스) RGPP 프로세스에 따라 관련 위원회, CMPP의 내부모니터링, 부처내 전담팀이 정책 전체를 정기적으로 평가 #983731; 독일 ○ 하부기관에 대한 연구개발 위탁과 하부기관에 의한 자율적 운영 4. 주요국 사례의 일본에 대한 시사점 연구개발 관련기관의 체계 관점 ○ 독립된 전문기관으로서 연구개발 자금배분기관의 독립성과 기능을 강화해야 할 필요 - 각국은 정책형성기관과 실제 연구를 수행하는 연구개발 기관 사이에 독립성과 자율성이 높은 자금배분기관을 설치하여 운영 ※ 연구개발과 관련한 기관을 정책형성기관(부처)과 자금배분기관, 연구개발 기관으로 분류할 때 그 유형은 동격형, 일체형, 중간조직형, 포트폴리오형으로 나눌 수 있으며 일본과 유럽은 중간조직형에 해당하나 독립성과 자율성 수준은 서로 상이 ※ 다른 정책에 비해 연구개발은 학술적 전문성이 높고 정책형성과 집행이 분리된 체계를 통해 효율성을 높일 수 있어 독립성·자율성이 높은 자금배분기관을 설치·운영 연구개발 관련기관의 체계 유형 #983730; 공공적 기관의 책임성 관점 ○ 연구개발 관련 기관은 국가예산을 사용하는 기관으로서 그 사용에 대한 적절한 설명 (피평가) * 을 해야 하며 해당분야에서 역량을 발휘해야 할 책임 * 상위기관에 의한 상위평가, 자신에 대한 자체평가, 기관의 역량과 능력 제고를 위한 학습체제 구축 등을 통해 공공적 기관으로서의 책임을 다해야 함 - 각국은 자금배분 주체의 권한과 책임을 명확히 하고 이에 관한 전문성을 발휘하여 업무를 추진해야 할 필요성을 공통적으로 인식 - 이러한 차원에서, 평가를 필요악으로 보기보다는 연구개발 관련기관의 조직·기능을 개선하기 위한 방편으로서 적극적으로 활용 ○ 일본의 각 기관도 평가에 대한 의식의 변화를 꾀하고 평가를 위한 적절한 자원의 배분과 인센티브체계 * 를 갖출 필요 * lsquo;CEE(Centre of Excellence for Evaluation,캐나다) rsquo;나 lsquo;연구평가기구(프랑스) rsquo;와 같은 평가전문기관 설치, 평가 전문성과 성과가 뛰어난 기관 표창 등의 체계 구축 - 평가가 피평가자의 문제점 개선에 실질적으로 도움을 주고, 관련 정책입안에도 반영되게 함으로써 평가에 대한 긍정적인 의식이 형성되도록 노력할 필요 ※ 평가는 피평가자의 활동을 위축시킬 수밖에 없다거나, 평가결과가 나쁜 경우 평가 결과가 문제점 개선을 위한 정보로 활용되기 보다는 오직 예산삭감을 위한 자료로만 활용되고 있다는, 평가에 관한 부정적인 인식을 개선할 필요 #983731; 평가의 전문성 및 인력 관점 ○ 세계 각국은 평가 대상 분야에 따라 서로 다른 유형의 인력을 활용하여 자금배분 및 평가를 진행 - 기초과학 연구분야의 경우 해당분야의 전문가인 과학자 (사이언스 커뮤니티) 중심으로 자금배분 및 프로그램 운영·평가 진행 ※ DGF(독일), RCs(영국, 캐나다) 등 기초과학관련 자금배분기관과 CNRS(프랑스) 등의 기초과학 연구기관의 경우 연구자공동체에 의한 선거로 책임자 선정 - 정책적 목적이 뚜렷한 프로그램의 경우, 기술적 측면의 평가는 기술분야 전문가에 의존하되 그 이외의 부분에 대해서는 행정담당자, 타 분야 전문가가 전체적인 평가 실시 ○ 일본은 그동안 평가와 관련된 제도적인 정비 추진 등 개선의 노력을 진행하여왔으나 아직 그 성과는 미미하여 체계적인 노력이 필요 - 평가를 담당할 인재 * 가 부족할 뿐만 아니라 인재양성을 위한 체제정비도 부족하여 이에 대한 개선이 필요 * 보고서에서는 각 인력이 담당하는 기능을 기준으로 리뷰어(기술분야전문가), 프랙티셔너 (평가실무·운용 담당), 애널리스트(전문적 접근법을 활용하여 분석을 담당) 3가지로 구분 - 계층적인 구조를 가진 프로그램에 대한 평가를 위해 시스템적인 평가방법론 개발, 다양한 정보의 수집·분석을 위한 새로운 체제와 방법의 강구 등이 필요 - 특히 연구개발과 관련된 평가를 담당할 인력 * 의 확보·양성하기 위한 방안을 마련할 필요 ※ 애널리스트 육성 방안 : 대학원에 평가전문과정 설치·정비, 유학과 파견 등을 통해 과학기술정책에 관한 실무적 연구자 육성 등 ※ 프랙티셔너 육성 방안 : 국내 연수제도 강화, 평가기관간 네트워크 강화, 외부평가기관 육성 및 고도화, 평가관련 국제회의개최 등 국제활동 강화, 일본에 적합한 독자적인 평가 시스템 구축·운영 등 #983732; 기타 ○ 평가결과를 lsquo;예산자르기 rsquo; 목적으로 이용함으로써 발생할 수 있는 부정적인 요소를 개선하기 위해 지속적으로 노력할 필요 - 각국은 예산사정에 평가결과를 활용하고는 있으나 어디까지나 의사결정을 위한 참고정보의 하나로 활용하고 있어, 국가가 처한 상황적 맥락 하에서 평가결과를 해석하는 것이 중요 - 아무리 완벽해도 평가에서 간과되는 중요한 가치가 존재할 수 있으므로 제도 자체를 끊임없이 재검토·개선해야 할 필요 ○ 연구개발 평가결과의 세계수준 담보를 위해 외국인 평가자 활용을 검토해 볼 필요 - 각국은 연구개발 평가의 객관성을 강화하기 위해 국제 네트워크 구축, 해외 전문가 활용, 국제규격 * 의 채용 등을 시도 * 프랑스의 국립연구기구(ANR)는 연구개발 자금배분에 품질관리시스템의 국제규격인 ISO9001을 취득하여 활용 종과회의 연구개발평가시스템에 관한 문제의식 gt; ※ 이하의 내용은 같은 날 논의된 ldquo;연구개발평가 시스템의 검토 항목 및 논점 rdquo; 중심으로 정리 체계적이며 효과적인 평가시스템 구축 ○ 과학기술 정책체계와 부합하는 평가항목, 평가 기준 등 설정 필요 - 정책, 프로그램, 제도, 연구개발과제 등 과학기술 정책체계를 명확히 설정하고 각 계층간 평가지표에 관한 정합성 도모 필요 ※ 평가지침에 정책체계에 대한 내용은 있으나 평가지표의 정합성에 관한 언급이 없음 ○ 연구개발 프로그램 평가의 확대 및 적절한 평가지표 설정 필요성 #983730; 일관성·연속성 있는 평가프로세스 ○ 응용·개발연구의 사업화 연계 제고를 위해 사전평가를 강화하고 획득한 기술의 보급·실용화 관련 조치도 강화 필요 - 사전평가 강화라는 측면에서 타당성조사 도입 검토 필요 ※ 평가지침에 사전평가의 관점으로써 실용화 가능성 등이 포함되어 있으나 보급·실용화를 위한 구체적 조치나 타당성조사에 관한 명확한 내용은 없음 ○ 연구개발 성격에 맞는 평가지표의 설정과 평가의 질을 높임으로써 평가결과에 대한 수용성을 제고할 필요 ○ 추적평가 제도개선을 위한 검토가 필요한 시점 - 기초, 응용·개발연구 등 연구개발 단계별로 추적평가의 실시 방법, 추적평가 결과 활용 등에 관한 검토 필요 종과회의 연구개발평가시스템에 관한 문제의식 (계속) gt; #983731; 평가결과의 활용 ○ 現 종료평가는 성과홍보의 관점이 중심이 되어 있어, 평가결과의 활용(타 연구개발 연계, 후속과제 기획 등) 방안에 대한 검토 필요 - PDCA 사이클의 실효성 확보를 위해 평가결과의 활용방법과 관련 실행주체 및 관련자간 역할 등을 명확히 할 필요 #983732; 평가관련 인력 육성 ○ 연구자의 평가과정 참여, 행정담당자와 연구자간의 인사교류 확대 등을 통해 연구개발 평가관련 인력의 육성을 도모할 필요 5. 정책적 시사점 ○ 우리나라의 경우 최근 성과평가법 * 개정 ( rsquo;11년 7월) 으로 국가R D의 평가권한이 국과위로 다시 이관 * 국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률 - 국가R D에 관한 평가는 사업 (프로그램) 단위를 중심으로 크게 자체평가, 특정평가, 상위평가 등으로 구성·운영 ※ 성과평가법에는 이외에도 연구기관, 과학기술혁신역량평가 등도 수행토록 명시 - 기재부로 이관 ( rsquo;08년 2월) 되었던 특정평가·상위평가가 성과평가법 개정으로 다시 국과위로 이관 평가 주체 평가 유형 국가과학기술위원회 - 연구개발사업 특정평가, 상위평가 - 연구기관 상위평가 관련 부처 - 연구개발사업 자체평가, 연구개발과제평가 - 소관 연구기관 자체평가 기초기술연구회, 산업기술연구회 - 소관 연구기관 자체평가 ○ 국과위는 제1차 연구개발 성과평가 기본계획 ( rsquo;05~ rsquo;10) 의 종료에 따라 향후 5년간의 R D성과평가 시행에 관한 2차 기본계획을 수립 중 - 국가R D 총괄조정부처로서 국과위는 제2차 기본계획 수립·시행을 통해 R D투자의 효율성·효과성 제고를 위해 노력할 전망 ○ 일본 종과회의 lsquo;과학기술 정책체계와 정합성 rsquo;을 이룬 연구개발 평가체계에 대한 고민은 우리에게도 시의성 높은 주제 - 최근 과학기술행정체계가 변화함에 따라 성과평가를 포함하여 연구개발과 관련한 부처간 역할, 협력체계의 강화가 중요한 이슈 - 개별사업 중심의 기존 평가체계가 갖는 문제점 * , 상위 정책체계 및 예산과의 연계를 고려한 평가체계 구축 등에 대한 검토 필요 * 범부처 과학기술정책 수립 및 조정의 강화를 위해 보완해야 할 평가체계 이슈 등 ※ 최근 미국은 사업(프로그램)단위 평가체계인 PART의 한계 및 문제점을 인식하여 적용을 중단하고 새로운 평가방법론을 고민 중(한국정보화진흥원, rsquo;11.10.14,별첨2) ○ 연구개발평가와 관련한 미국·일본의 비제도적 * 측면의 개선 노력은 평가의 질적 수준 제고를 위해 우리도 지속적으로 참고해야할 부분 * 평가방법론 개선, 평가인력 육성, 평가관련 네트워크 조직 및 국제교류 활성화 등 - R D가 지니는 특성을 고려한 적절한 방법론의 개발과 이를 체화한 고급인력의 육성은 평가의 질적 수준을 제고하기 위한 전제조건 ※ 계량적 평가방식 위주의 성과측정은 오히려 연구개발에 관한 평가관점을 왜소화 시킬 위험 (논문, 특허 등 계량적 성과 이외에 사회경제적 파급효과 등의 관점도 중요) 이 있으므로 지속적으로 평가방법론 고도화 및 평가역량 제고 필요 미국의 연구개발 프로그램 평가 사례 #983729; GPRA와 PART의 관계 ○ GPRA에 따라 각 기관은 의무적으로 프로그램에 대한 평가를 실시 - 회계감사원(General Accounting Office)과 각 연방기관은 전략계획 등 각 프로그램에 대한 평가 실시 ○ 예산국은 각 프로그램에 대한 평가결과를 대상으로 PART를 적용하고 그 결과를 각 프로그램의 예산사정에 활용 - 연구개발 프로그램도 동일하게 GPRA와 PART 적용 #983730; 연구개발 프로그램평가 관련 주요 이슈 □ 연구개발 프로그램에 대한 평가 곤란성 ○ 과학기술관련 프로그램 평가시 다른 프로그램과 유사한 방식으로 진행할 경우 유효한 평가결과가 나오기 힘들다는 점을 인식 - 이에 GPRA는 기초·응용연구의 평가와 관련하여 타당성, 품질, 성과 측면에서 기본 방침 제시 (별첨4) - 최선의 평가방법이 수량화가 아닌 다른 방법이라는 것을 납득 시킬 수 있다면, 전문가평가(peer review) 등의 방법도 인정 ※ 다수의 기관은 수량적 평가와 함께 전문가평가의 조합을 채택 □ 평가방법론 개선 및 평가역량 제고 필요성 ○ 프로그램 평가가 정량화 가능한 지표를 중심으로 진행되면서 평가 범위가 실질적으로 축소되는 결과 초래 - 당초 설정된 목표의 검증 가능성을 고집한 결과, 용이하게 정량화 할 수 있는 것에 대한 평가로 과도하게 집중 ○ 특히 PART에 의한 과학기술관련 프로그램평가와 관련하여 새로운 평가방법론 개발, 평가능력 제고 필요성이 대두 - rsquo;03년 연방정부의 실무자 및 평가관련 연구자의 네트워크 조직 * 을 결성하고 국제교류를 활성화 ** 하는 등 평가능력 향상 도모 * Washington Evaluation Research Network(WREN) 등 ** 캐나다, EU, 한국 등과의 평가 관련 국제적 네트워크 강화 등 - 과학기술정책의 과학화를 통해 평가방법의 고도화 및 평가관련 인력 육성을 지속적으로 도모 미국 PART 대상 프로그램의 유형 프로그램 내 용 직접적 연방 프로그램 (Direct Federal Programs) 연방정부가 직접적으로 서비스를 제공하는 프로그램 경쟁적 프로그램 (Competitive Grant Programs) 경쟁 과정을 거쳐 주, 지방, 단체, 개인 등에게 자금을 제공하는 프로그램 블럭/정형 프로그램 (Block/Formula Grant Programs) 주, 지방, 단체, 개인 등에게 정액 교부금형태로 자금을 제공하는 프로그램 규제형 프로그램 (Regulatory-Based Program) 법률 및 정책 도입 등을 통하여 그 미션을 달성하고자 하는 프로그램 조달·구매 프로그램 (Capital Assets and Service Acquisition Programs) 고정자산의 개발이나 취득, 서비스 구입을 통해서 그 목적을 달성하고자 하는 프로그램 크레디트 프로그램 (Credit Programs) 융자, 차입, 직접 공제 등의 방법을 통해 지원하는 프로그램 연구개발 프로그램 (R D Programs) 지식, 시스템이나 방법, 기술의 창조와 이의 활용에 초점을 맞춘 프로그램 미국의 PART 개선 움직임 ○ PART에 대한 논란은 아직도 진행 중이나 개선해야 할 점 존재 - PART는 개별사업에 대해 초점을 맞춤으로써 다부처 관련 사업에 대한 성과관리에는 상대적으로 취약 - 의회의 경우 범정부차원의 성과나 핵심이슈에 대한 추가정보를 요구하고 있으나 PART는 이러한 욕구를 충족시키지 못하는 것으로 지적 - 연방공무원은 GPRA와 PART를 통해 더욱 의미 있는 성과지표를 제시하고는 있으나, 평가결과물을 실제 의사결정 및 프로그램 개선에 크게 활용하지 못함 ○ 오바마 정부는 공식적으로 PART 폐지를 선언한 것은 아니지만, 실제 적용을 중단하고 High-Priority Performance Goals방법으로 대체 (2011년도 예산안 자료에 나타남) - OMB 국장은 정량화를 강조하는 PART를 반대하여, 개선 작업을 지시 [미국 성과관리제도의 변천사] 주) PPBS : Planning Programming and Budgeting System ZBB : Zero-Based Budgeting PMA : President's Management Agenda PART : Program Assessment Rating Tool ※ 이상은, 한국정보화진흥원 정재동의 lsquo;최근 오바마 행정부의 성과관리제도 변화 및 시사점 rsquo;( rsquo;11.10.14) 내용을 일부 발췌한 것임 기초 #903;응용연구 평가에 관한 GPRA 지침 (1) 타당성 측면 ○ 프로그램은 완전한 계획과 명확한 목표가 있어야 한다. ○ 프로그램은 사회적 이익을 명확하게 설명해야 한다. ○ 프로그램이 특별하게 고려되어져야 할 필요성을 제시해야 한다. ○ 국민의 니즈, 과학기술분야의 니즈 등과의 관련성을 외부에 의해 평가해야 한다. (2) 품질 측면 ○ 비 경쟁에 의해 자금을 배분하는 프로그램은 자금 제공 방법의 정당성을 설명하고, 어떠한 방법에 의해 품질이 유지되고 있는지에 대한 증거를 제시해야 한다. ○ 프로그램 품질은 전문가의 심사에 의해 정기적으로 평가되어야 한다. (3) 업적 측면 ○ 프로그램은 관련성있는 투입자료를 매년 추적하여 보고할 필요가 있다. ○ 프로그램은 적절하게 성과를 측정할 방법, 평가일정, 핵심사항을 명확히 해야 한다. ○ 프로그램의 성과에 대한 평가는 당해연도 이전 시기에 대한 평가도 포함된다. 프로그램화 관련 주요국 사례 ○ 미국 부시정권 이행기 (2001년) - 예산 사정 방식으로서 PART를 도입하여 프로그램 단위 중심으로 평가 - 과학기술 예산의 70%를 프로그램화 (2004년) ○ 프랑스 예산성과관리법(LOLF) 도입 (2006년) - 예산 내부구조를 프로그램에 상응하는 기준으로 전환 ○ 독일 슈뢰더 정권 이행기 (1998년) - 연방교육연구부(BMBF)의 전체예산을 프로그램단위로 재편 ○ 유럽의 제4차 및 제5차 프레임워크 추진(1994년~2002년) - 자금배분기관뿐 아니라 연구관리도 조직관리형에서 프로그램형으로 이행 * 도표 등과 관련된 상세 내용은 첨부파일을 참조하시길 바랍니다. * * 본 자료는 국가과학기술위원회와 KISTI 정보분석본부, KISTEP 정책기획실 등에서 분석한 내용을 바탕으로 한 것입니다. |
