루키의 보석함

앞선 강좌에 따라 환경 설정을 하고 이클립스에 개발환경 세팅 후 맵리듀스 프로그래밍을 진행을 하다보면 조금 귀찮은게 있습니다. 우선 프로그램을 테스트하기 위해서 매번 jar로 묶어줘야 한다는 점이 있구요. 또한 input 파일을 hadoop의 파일시스템으로 넣어줘야 한다는 것도 조금 귀찮습니다. 이러한 문제를 해결할 수 있는 것은 역시 standalone mode로 실행하는 수 밖에는 없을 것 같습니다. 앞서 세팅한 하둡(hadoop) 설치부터 테스트까지 정리~ 에서는 pseudo-distributed mode였는데요. 이번에는 설정된 환경에서 몇개의 config 파일만 수정해서 standalone mode로 변경해서 jar로 묶지 않고 로컬의 파일시스템으로 예제를 실행해 보도록 하겠습니다. Standa..

웹 표준으로 넘어가면서 테이블 태그는 구닥다리이고 더 이상 사용하지 않는 것이 좋다는 이야기를 많이합니다. 실제로 테이블로 굳이 사용하지 않아도 되는 것까지 테이블 태그를 쓰는 경우가 많았기 때문이라고 생각합니다. 하지만 테이블 구조를 가지고 있는 경우에는 태그를 쓰는 것보다 태그를 그대로 사용하는 것이 훨씬 바람직합니다. 즉, 달력, 차트, 스케줄, 통계와 같은 형식은 테이블을 쓰는 것이 좋겠지요. 그러나 테이블 태그를 사용할 때는 좀 더 명확하게 하는 것이 필요합니다. 오늘은 태그에 대해서 한번 정리해 보려고 합니다. 태그의 올바른 사용 예제로 요즘 한참 인기몰이중인 프로야구의 팀 순위를 가지고 테이블을 만들어 보도록 하죠. 프로야구 팀 순위 순위 팀 승-패-무 승률 1 SK 27-21-1 0.563..

마키디어의 소셜마케팅 정석 - 이상배(마키디어) 지음/이지스퍼블리싱 트위터에서 많이 보던 마키디어(@markidea) 님이 낸 책이네요.. ^^ 블로그 / 트위터 / 페이스북을 잘 활용하시는 분이라서 그런지 경험들을 체계적으로 잘 정리해 놓은 것 같습니다. 특히 기업 입장에서 SNS를 통해 마케팅을 하려고 할 때 준비해야 하는 내용들이 체계적으로 예제와 함께 나와 있습니다. 저의 경우에도 2007년부터 블로그를 운영하고 있지만 놓치고 있는 부분들이 많이 있었네요. 트위터/페이스북은 그저 계정만 만들어놓고 눈팅만 하는 정도였었네요. 그러나 블로그 하나만 운영하기에도 상당히 많은 시간과 노력을 투자하고 있는 상황에서 트위터/페이스북까지 제대로 운영하는 것은 일단 쉽지는 않을 것 같습니다. ^^ 그래도 몇가지..

MS에서 E3 2012 개막에 앞서 XBox의 새로운 기능들을 선보였다고 하네요. XBox에 상당히 많은 공을 들인 것 같습니다. 먼저 스마트 글래스 관련 발표내용을 보시죠. XBox에 소개된 각 서비스들을 정리하면 다음과 같습니다. XBox 스마트글래스XBox와 스마트폰/태블릿을 연동하는 것인데요. 스마트폰이나 태블릿의 화면을 XBox와 연결된 TV에 올려서 볼 수도 있구요. TV에서 영화를 보고 있을 때 스마트폰이나 태블릿에는 관련된 콘텐츠 정보를 표시해 줄 수도 있다고 합니다. 애플 TV와 아이폰/아이패드를 연동한 에어플레이와 비교해 볼 수 있을 듯 합니다. 다만 XBox 스마트글래스는 MS의 디바이스 뿐만 아니라 아이폰, 안드로이드에서도 가능하다고 하네요. 인터넷 익스플로러 for XBox일단 요..

실제 접속한 사용자가 있을 때, 웹서버를 재시작하는 경우가 종종 있어서 현재 접속한 사용자가 있는지 확인하는 리눅스 명령어가 필요해 정리해 봤습니다. 결과부터 이야기 하면 명령어는 다음과 같습니다. netstat -an | grep :80 | grep ESTB | wc -l이 명령어를 alias를 적용해서 사용하면 바로 체크할 수 있습니다. 그럼 각각의 명령어를 한번 정리해보도록 하죠. netstat현재 시스템의 네트워크 상태를 알려주는 명령어 입니다. 프로토콜, Local Address, Foreign Address, 상태 등의 정보를 제공해 주는데요. 다양한 옵션으로 더 많은 정보를 볼 수도 있습니다. -a 모든 소켓 정보를 출력합니다. -n 호스트명 대신 숫자로 출력합니다. -p PID와 프로그램 ..

모바일 개발이나 각종 사이트를 처리할 때 HTML 페이지를 가져와서 분석하는 경우가 종종 있습니다. 보통 HTML 파싱할 때 정규식을 이용해서 했었는데요. 단점이 태그와 같은 것이 중첩되어 있을 경우, 첫번째 태그까지만 찾게 되는 것이었습니다. 아무래도 정규식 자체가 문자열 매칭이기 때문에 한계가 있는 것 같구요. 결국 DOM과 같은 구조를 사용하지 않으면 안될 것 같다는 생각이 들었습니다. 예전에 Javascript에서 쓸 수 있는 HTML Parser도 한번 소개한 적이 있기는 한데요. 오늘은 Java에서 활용할 수 있는 HTML Parser인 jsoup에 대해서 이야기 해보려고 합니다. jsoup: Java HTML Parserjsoup은 실제 사용하는 HTML을 처리할 수 있는 자바 라이브러리인데..

지난주 24~25일 동안 요즘 핫 이슈인 클라우드 관련 세미나에 참석했습니다. SKT의 전민흥 차장님, 노영태 부장님, 오라클 장성우 상무님, 틸론의 이춘성 이사님, 모비젠의 김태수 이사님 등 많은 분들이 강의를 해주셨구요. 요즘 클라우드에 관심이 많아서인지 개인적으로도 상당히 의미있었던 세미나 였던 것 같습니다. 아쉽게도 클라우드 컴퓨팅 관련한 개요, 구성기술, 공개 SW, 모바일 클라우드에 대한 부분은 참석을 못하고 첫째날 오후부터 듣게 되었네요. 어쨌든 기존의 이해하고 있던 IaaS, PaaS, SaaS의 개념에 public, private, personal 클라우드에 대한 내용도 이해하게 되었네요. 정말 클라우드의 범위가 상당히 광범위한 것 같습니다. 그러나 초창기의 그저 구름 잡는 것 같았던 클..

하둡과 관련되어 작성한 글 목록을 먼저 보여드립니다. 참고하시기 바랍니다. 2012/02/29 - [리뷰/블로그] - BigData 처리를 위한 맵리듀스(MapReduce)에 대하여~ 2012/05/18 - [프로그래밍/Java] - 하둡(Hadoop) 설치부터 테스트까지 정리~ 2012/05/22 - [프로그래밍/Java] - 하둡 맵리듀스 프로그래밍을 위한 이클립스 플러그인 설정 #1 지난 시간에 Mac에 이클립스 플러그인을 설치하는 과정을 살펴봤는데요. 마지막에 설명한 것처럼 플러그인의 장점을 충분히 살리지 못하고 있으며 약간의 버그들도 존해하기 때문에 큰 의미가 없었습니다. 그래서 이번에는 일반적인 자바 프로젝트로 개발 환경을 설정하고 word count를 처리하는 예제를 실제로 실행해 보도록 하..

Proxy를 이용해서 HTML 소스를 가져와야 하는 경우가 있을 때 유용할 것 같습니다. 개발 세상만사님의 스프링노트에서 가져왔습니다. 나중을 위해 소스를 옮겨 봅니다. 중간에 "아이피", "포트"는 public proxy를 검색하셔서 지정해 주면 될 것 같네요. 단, Proxy는 확실히 속도가 느린 것 같습니다. 또한 Proxy 서버를 통할 경우, HTTP 프로토콜로 주고받은 데이터가 모두 Proxy 서버에 저장되므로 주의하셔야 합니다. package gathering; import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.InetSocketAddre..

요즘 하둡(Hadoop)을 계속해서 테스트해보고 있습니다. 지난번에 설치는 2012/05/18 - [프로그래밍/Java] - 하둡(Hadoop) 설치부터 테스트까지 정리~ 에서 정리했었는데요. 이번에는 맵리듀스 프로그래밍을 위한 이클립스 설정을 살펴보도록 하겠습니다. 참고로 이번부터는 맥에서 하둡을 설치하고 테스트를 진행했네요. Apache Ant / Ivy 다운로드 및 설치하둡 내부의 소스 폴더를 보면 ant build를 많이 사용하고 있습니다. 자바 프로젝트를 하면서 Ant는 기본적으로 설치되어 있을텐데요. 제 Mac에서도 /usr/share/java/ant-1.8.2/에 설치되어 있네요. Ant가 설치되어 있으면 이어서 Apache Ivy를 설치해야 합니다. 하둡에서도 Ivy를 사용하고 있는데요. ..