보고싶은 영화 척척 추천하는 넷플릭스…비결은?
뉴스1
입력 2019-08-21 17:39 수정 2019-08-21 17:42
4일 서울 역삼동 아마존웹서비스(AWS) 한국 사옥에서 양승도 AWS 솔루션즈 아키텍트 매니저가 ‘데이터 레이크’에 대해 설명하고 있다.© News1
세계 최대 동영상 스트리밍 업체 넷플릭스의 경쟁력은 잘 알려진대로 빅데이터에서 나왔다. 넷플릭스는 이용자들의 시청 패턴을 분석해 취향에 맞는 프로그램을 추천해줄 뿐만 아니라, 그들이 원하는 스토리와 배우들을 골라 프로그램을 만들기까지 한다. 과연 이들은 전세계 1억여명의 시청자가 매일 1억시간 이상 시청하며 쏟아내는 이 거대한 데이터를 어떻게 관리할까.
넷플릭스는 아마존웹서비스(AWS) 클라우드를 통해 이 방대한 영상 데이터를 처리한다. 4일 서울 역삼동 AWS 한국사옥에서 만난 양승도 AWS 솔루션즈 아키텍트 매니저는 “넷플릭스는 일찍부터 ‘데이터 레이크’(data lake) 방식을 도입했다”면서 “최근 국내외에서 데이터 레이크를 도입하는 곳이 늘고 있다”고 말했다.
‘데이터 레이크’는 기업이 수집한 모든 종류의 원시 데이터를 단일 저장소에 한꺼번에 저장하는 데이터 처리방식이다. 처음부터 일일이 데이터를 분류해 가공해서 저장하는 대신, 원래 모습 그대로 한 곳에 모아놓고 목록만 작성해 놨다가 분석하고자 하는 목적과 방법에 따라 필요한 데이터만 꺼내 사용하는 식이다.
최근 기업들이 활용하는 데이터는 수치뿐만 아니라 이미지, 영상, 글, 음성 등으로 양과 종류가 크게 늘고 있다. 덩달아 데이터를 분석하는 방법도 실시간 처리부터 인공지능(AI)을 활용한 예측모델까지 다양해졌다. 이에 맞춰 데이터를 효율적으로 저장하고 관리할 수 있는 새로운 모델로 제시된 게 바로 ‘데이터 레이크’다. 이 방식은 데이터 저장과 처리를 분리해 필요한 만큼만 효율적으로 활용한다. 데이터가 한곳에 모여있어 여러 종류의 데이터를 연동해 분석할 수 있다는 장점도 있다.
AWS의 클라우드 스토리지 ‘S3’를 활용해 데이터 레이크 방식의 빅데이터 처리방식을 설계한 미국 금융산업규제협회(FINRA)는 하루 750억건의 거래 데이터를 수집해 분석하고 5페타바이트 규모의 데이터를 저장하면서 연간 1000만~2000만달러를 절감하고 있다.
부동산 정보서비스 기업 ‘레드핀’(REDFIN)은 수억건의 부동산 정보와 수백만의 고객 정보를 데이터 레이크 방식으로 관리한다. 이를 알고리듬으로 분석해 자동으로 매물이 언제 거래될지 예측해 알려주는 ‘핫홈스’(Hot Homes) 서비스가 이용자들에게 인기를 끌고 있다.
이밖에 세계 최대 전자상거래 사이트 아마존닷컴과 세계 최대 식자재 유통기업 시스코(Sysco), 엔테인먼트 기업 21세기폭스 등 수많은 기업들이 데이터 레이크 방식으로 데이터를 저장해 활용하고 있다.
양 매니저는 “데이터의 소비 패턴이 달라지면서 저장방식도 달라진 것”이라며 “기업들이 다양한 목적으로 데이터를 분석하기 시작하면서 어떤 방식으로 데이터를 저장하고 관리할 것인지 고민 끝에 나온 게 데이터 레이크 방식”이라고 설명했다.
(서울=뉴스1)
비즈N 탑기사
- ‘배 속 43㎏ 똥’…3개월 화장실 못 간 남성의 충격적인 상태
- ‘여친살해 의대생’ 포함 ‘디지털교도소’ 재등장…방심위, 접속차단 가닥
- “알바라도 할까요?” 의정갈등 불똥 신규 간호사들, 채용연기에 한숨
- 하룻밤에 1억3700만원…비욘세 묵은 럭셔리 호텔 보니
- 최강희, 피자집 알바생 됐다…오토바이 타고 배달까지
- 마포대교 난간에 매달린 10대 구하려다 함께 빠진 경찰관 무사히 구조
- ‘투머치 토커’의 모자…민희진 폭주에 박찬호 소환 왜
- 백일 아기 비행기 좌석 테이블에 재워…“꿀팁” vs “위험”
- 최저임금 2만원 넘자 나타난 현상…‘원격 알바’ 등장
- “배우자에게 돈 보냈어요” 중고거래로 명품백 먹튀한 40대 벌금형
- “부모님 부양만도 벅찬데 아이 어떻게”…결혼·출산 주저하는 3040
- “수입김 한시적 관세 면제”…김값 안정화 위해 ‘할당관세’ 적용
- “서울 6억 미만 아파트 어디 없나요”…강북 중소형도 9억원 훌쩍
- ‘재건축 불패’는 옛말… 현금청산가 밑도는 거래도
- 쿠팡, ‘알-테-쉬’ 공세 맞대응 부담… 영업익 62.5% 줄어
- 韓 낮은 약값에… 글로벌 제약사들, ‘韓 패싱’ 中-日부터 신약 출시
- 동남아에 눈돌리는 반도체 기업들 “韓-대만 의존 탈피”
- 자영업자, 5대銀 대출연체… 1년새 37% 급증 1조 넘어
- 금리 인상에 ‘영끌’ 포기…韓 가계부채 비율 100% 아래로
- 사과·오렌지 값 올라도 물가 누르는 정부…“주스 판매 중단해야 하나”