루키의 보석함

하둡(Hadoop) 프로젝트를 진행할 때 사람들의 고민이 무엇일까? 하고 생각해 봤습니다. Java 언어에 익숙하더라도 첫번째로 만나는 문제는 역시 맵리듀스(MapReduce)가 아닐까 합니다. 맵리듀스는 맵과 리듀스가 합쳐진 것으로 각각의 Map 함수와 Reduce 함수를 구현하고 JobClient를 통해 호출해야 합니다. 그런데 일반적으로 하둡 프로젝트에서 한번만 맵리듀스를 사용하는 경우는 거의 없습니다. 대부분 맵 리듀스를 반복적으로 사용하게 됩니다. 여기에 맵리듀스에서 기본적으로 사용하는 타입인 Text, IntWritable, LongWritable과 같은 것 이외에 객체를 사용한다든지. Key 항목이 아닌 Value에 속하는 항목으로 정렬을 하고 싶다든지, 하는 경우에 많은 개발자들이 어려움을..

미니서평저자인 스티븐 레비는 10년여동안 구글에 대한 글을 써왔다고 합니다. 그래서인지 이제까지 봤던 구글과 관련된 다른 책보다는 구글 내부의 이야기를 자세히 서술하고 있습니다. 인터넷이라는 거인의 어깨 위에 올라 앉아 세상을 더 좋게, 좀더 평등하고 더 힘을 주는 곳으로 만들기 위해 고민한다. 인터넷 거인 구글 구글은 페이지랭크로 유명해진 검색엔진부터 시작해서, 현재는 모바일 OS인 안드로이드와 동영상 서비스인 유투브까지 확장하면서 진정 인터넷이라는 거인의 어깨 위에 올라온 느낌입니다. 지메일, 구글 클라우드, 구글 앱 엔진, 구글 플러스, 구글 글래스, 구글 도서, 구글 TV, 구글 자동차.... 이와 같이 이미 성공한 서비스도 있고, 앞으로의 서비스들을 계속해서 연구/개발하고 발전시켜 나가고 있지요..

빅데이터의 사례로 가장 많이 이야기하는 것이 바로 "Google 독감 트렌드"입니다. 구글에 집계된 검색어를 기반으로 세계 여러 국가의 독감 유행 수준에 대한 예상 수치를 제공하는 것인데요. 이를 기반으로 빅데이터에 대한 전략이 어떻게 만들어졌는지 한번 생각해 보기로 했습니다. 데이터 수집구글 검색어가 자동으로 구글의 서버에 쌓이게 되므로 데이터의 축적은 기본적으로 이루어졌을 것입니다. 또한 검색어는 시간에 따른 분포를 나타낸다는 점과 IP를 통한 위치를 파악할 수 있다는 것을 활용한 것이라 볼 수 있습니다. 즉, 검색어, 시간대, 그리고 위치 정보를 활용해서 독감 트렌드를 분석해 낸 것이죠. 먼저 독감(ILI - influenza likeness illness)과 관련된 키워드(ILI-related q..

올해부터 빅데이터에 관심이 부쩍 높아진 것 같습니다. 클라우드 환경이 대중화되고 하둡 등 분산 처리 기술이 일반화 되면서 자연스럽게 빅데이터에 대한 관심도 늘어나는 것 같습니다. 하지만 아직도 빅데이터를 단순히 대용량 데이터로만 생각하는 경향이 있어서 빅데이터의 의미와 실제 사례를 간략하게 정리해 보려고 합니다. 빅데이터 확장 배경 왜 빅데이터에 관심을 가지게 되었을까요? 먼저 하드웨어가 발달하고 ERP, CRM과 같은 것을 통해 데이터가 충분히 축적되었다는 것입니다. 이렇게 축적된 데이터를 통해 비즈니스에 기여할 수 있는 인사이트를 만들 수 있을까? 하는 고민이 빅데이터의 시작이라고 생각합니다. 모든 IT 관련 이슈들이 그러하듯 빅데이터란 것도 하루아침에 나타난 것이 아닙니다. 예전에 데이터베이스에서도..

클라우드 컴퓨팅 환경에서 PaaS(Platform as a Service)의 선두주자인 구글 앱 엔진에 대해서 정리해 보려고 합니다. 아래 글에서 설명한 것처럼 일정 용량을 무료로 제공하기 때문에 처음 시작하는데 부담 없이 테스트할 수 있는 것 같네요. 2012/02/06 - [리뷰/도서] - [도서] GAE로 시작하는 클라우드 컴퓨팅 - 구글 앱 엔진 활용하기 특히 자바 버전의 경우, 이클립스에 플러그인으로 제공해서 설치 및 실행 환경이 기존 자바 프로그래머에게 친숙하다는 것도 하나의 장점입니다. 그럼 구글 앱 엔진의 설치부터 하나씩 살펴보도록 하죠~~ 1. 이클립스용 구글 플러그인 설치하기 이클립스 플러그인을 설치하는 방법은 많은 곳에서 이야기 하고 있으니 간단하게만 이야기 하도록 하죠. 플러그인을 ..

구글이 증강현실(Augment Reality)과 관련된 프로젝트 글래스의 동영상을 4월 4일에 공개했습니다. 원래 증강현실은 현실과 가상의 공간을 결합한다는 측면에서 가상 현실(Virtual Reality)와 다른 형태입니다. 스마트폰 출시이후 레이아(layer)의 증강현실 브라우저를 기반으로 카메라를 활용한 증강현실이 잠깐 관심을 끌기도 했었습니다만 카메라로 보는 시선이 사람의 시선과는 달라서 사용하기 불편함 때문에 현재는 초기와 같은 관심을 받지는 못하고 있습니다. 제가 예전에 증강현실에 대해 정리한 자료는 아래 링크를 확인하시면 됩니다. 2009/08/24 - [컴퓨터공학/디지털서비스] - Augment Reality (증강현실) 그런데 이번에 공개된 구글의 프로젝트 글래스를 살펴보면 "스마트폰의 ..

간만에 모바일 웹으로 구글 맵을 다룰 필요가 있어 Google Map Javascript API v3을 사용해봤습니다. 구글 사이트에 정리가 잘 되어 있기는 하지만 간략하게 내용을 정리해 보려고 합니다. 먼저 Google Map JavaScript API v3에 대한 프리젠테이션 자료입니다. 1시간으로 비교적 길지만 시간날 때 한번쯤 들어보면 괜찮을 것 같네요. 모바일 환경등을 지원하기 위해 기존 Map의 속도를 향상시키기 위한 내용들이 앞부분에 나와 있네요.. Google Map JavaScript API v3으로 데스크탑과 모바일 환경을 지원하고 있구요. 기존의 JavaScript API는 더 이상 지원하지 않기 때문에 버전 3으로 마이그레이션 하라고 권고하고 있습니다. 실제 튜토리얼을 살펴보면 굉장..

웹에서 뿐만 아니라 모바일에서도 구글맵을 사용하는 경우가 많이 있습니다. 개발하기도 편리하고 무료로 제공하기 때문이죠. 그런데 구글맵을 활용한 상용서비스를 준비하시는 분들은 항상 의문을 갖습니다. 과연 무료로 어디까지 사용할 수 있을까? 그래서 2011년 4월 업데이트된 Google Map/Google Earth API 이용약관과 FAQ를 기반으로 정리해 봤습니다. FAQ 사이트는 http://code.google.com/intl/ko-KR/apis/maps/faq.html이며 한글로 잘 정리되어 있습니다. 1. 상업용에 구글맵을 무료로 사용할 수 있을까? 무료 영역에 구글맵을 표시한다는 전제 조건하에 유료 사이트나 어플리케이션에서도 구글맵을 사용할 수 있다고 합니다. 단, 다음과 같은 경우에는 Goog..

구글에서 2008년 새로운 기능중의 하나로 Embedded Slide Show를 지원한다고 합니다. 내용은 GoogleDoc으로 구성된 프리젠테이션을 블로그나 홈페이지에 삽입할 수 있는 건데요.. 테스트 겸 해서 PT 자료를 한번 올려서 넣어봤습니다. 음.. 괜찮은 것 같습니다. ^^ 이에 대한 구글의 소개 자료는 구글 블로그의 New features for 2008! 를 참고하시구요.. 관련 내용을 프리젠테이션으로 만든 것도 있네요.. ^^

구글 애드센스 API 베타 서비스가 오픈되었다길래 한번 살펴봤습니다. 지식검색 같은 사이트에 붙여놓으면 괜찮겠다는 생각을 좀 했습니다만.. 일반 광고에 비해 얼만큼의 수익이 생길지는 확실히 모르겠네요.. 다만, 사이트 운영자 뿐만 아니라, 글을 올리는 사용자에게도 수익을 줄 수 있다는 점은 긍정적인 것 같습니다. 구글의 Adsense API 사이트 주소는 여기입니다. (http://code.google.com/apis/adsense/) 내용을 좀 이해하기 쉽게 정리해 봤습니다. Adsense API가 뭔가요? Adsense API는 특정 웹 사이트와 광고 수익을 공유하는 솔루션으로 해당 웹 사이트는 UCC(User Created Content)를 가지고 있어야 합니다. 즉, 사용자가 만든 콘텐츠에 광고를..