이베이, 실시간 분석 플랫폼 ‘펄사’ 오픈소스로 공개

이베이, 실시간 분석 플랫폼 ‘펄사’ 오픈소스로 공개

By 이지현 On 2015.02.24

 

이베이가 2월23일, 실시간 분석 플랫폼 ‘펄사’를 오픈소스 기술로 공개했다.

▲이베이가 공개한 ‘펄사’ (사진: 이베이 블로그)

펄사는 실시간 분석 플랫폼이자 스트림 프로세싱 프레임워크다. e커머스는 하루에 수많은 이벤트를 처리하는 서비스다. 상품 등록, 주문, 결제, 취소 등 다양한 활동이 동시다발적으로 일어난다. 이베이는 이전에는 하둡 등을 이용해 대용량 데이터를 병렬처리했다. 이베이는 앞으로 펄사로 분석 기술의 성능을 더 높일 예정이다.

이베이는 2월23일 공식블로그를 통해 “펄사로 실시간 분석 보고서를 만들거나 사업 현황을 모니터링할 수 있다”라며 “각 고객에게 맞춤화된 서비스를 제공하거나 사기나 악성 프로그램을 탐지할 수도 있을 것”이라고 기대했다. 이베이는 또한 초당 수백만 이벤트를 처리할 수 있도록 확장성을 높였고, 지연시간을 줄이는 데 집중했다.

이베이는 펄사에 자체 개발한 분산 복합이벤트 처리기술(Complex Event Processing, CEP)을 넣었다. 펄사 CEP는 자바 기반 프레임워크다. CEP 애플리케이션을 클라우드 환경에서 설치·관리하도록 도와준다.

▲이베이가 공개한 ‘펄사CEP’ 구조(사진 : 이베이 블로그)

이베이는 실시간 분석을 위한 자체 파이프라인도 설계했다. 이베이는 공식 홈페이지를 통해 “이번에 설계한 파이프라인 덕에 확장성과 안정성을 높인 인프라를 만들 수 있을 것”이라며 “다양한 속성을 추가해 데이터를 더욱 풍부하게 만들 수도 있다”라고 설명했다.

▲이베이가 공개한 ‘펄사 분석 파이프라인’ 구조(사진 : 이베이 블로그)

펄사는 카산드라나 드루이드 기술과 호환된다. SQL과 비슷한 구조를 지원해, 기존 엔지니어들이 쉽게 접근할 수 있도록 유도했다. 라이선스는 아파치2.0과 GPL2.0을 따른다. 이베이는 앞으로 API나 세션화 기술을 개발해 펄사에 추가할 예정이다.