| 내용 |
데이터 과학의 인기가 치솟고 있는 요즘, 실제 학계와 산업체에의 최전방에서 데이터를 다루고 있는 데이터 과학자들과 개발자들을 위한 툴들은 뭔가 정리되지 않은채 혼돈속에서 계속 새로운 개발도구들이 쏟아져 나오고 있는 상황이다. 구글이 주도하던 MapReduce 알고리즘도 수년간 업계에서 이용되다가, 최근 들어선 기계학습으로 대표되는 최신 트랜드에 적합하지 않아 사장되어가고 있고, 현장에서는 Spark, MongoDB, Kafka, Mesos, PostgreSQL 등등 각각의 특성을 갖춘 여러 도구들과 플랫폼들이 등장, 별다른 표준없이 개발자들에 의해 사용되고 있다. 인텔 (Intel, Inc.)은 이런 상황에서 좀 더 생산적인 데이터 분석 플랫폼을 제공하기 위해, Open Source Tool들을 통합, 관리하는 데이터 플랫폼 개발을 주도하고 있다. 이 프로젝트를 통해 TAP (Trusted Analytics Platform) 으로 불리는 데이터 분석 플랫폼이 만들어 졌으며, 인텔은 시스템 관리자, 데이터 과학자, 그리고 개발자들 모두 이 통합 플랫폼을 이용해 좀 더 쉽고 호환성이 보장되는 데이터 분석이 가능하도록 주도하고 있다. TAP 의 기본 구성은 우선 퍼블릭 또는 프라이빗 클라우드환경에서 구축 가능하도록 되어 있으며, 거기에 기본적으로 데이터 저장을 위한 도구들 (MonggoDB, PostgresQL, Redis, Cassadra)과 함께 Claudera Hadoop 이 HDFS 과 같이 깔린다. 그 위에 데이터 분석도구들 (Kafka, RabbitMQ, ATK, Spark, Impala, iPhython, Rstudio 등)이 제공되며, 개발자들을 위한 REST API, 그 외 각종 application tool 들도 같이 포함되어 있다. 인텔에서는 이 플랫폼의 개발이 현재에 (그리고 앞으로도) 데이터 과학자들과 개발자들의 작업을 위한 좀 더 효율적인 환경을 제공해 줄 것이라고 내다보고 있다. TAP의 구성 도구들이 모두 Open Source 라는 점 (Claudera Hadoop 은 정확히 오픈소스는 아니지만), 그리고 인텔의 지속적인 관리와 지원이 제공된다는 점 등, 그동안 분석도구들의 중구난방식 출현과 개발팀의 지원등에 아쉬움을 느껴왔던 개발자들과 데이터 분석 과학자들에게 업계표준을 제시한다는 점 등 많은 부분에서 긍정적인 신호가 될것으로 보여진다. |
