"클라우데라 QuickStart VM 설치 후 먼저 HDFS 명령어를 통해 하둡 파일시스템에 파일을 올리는 간단한 예제를 살펴보고, Hue 인터페이스로도 확인해 보기로 하자. 1. VM에서 상단의 터미널 아이콘을 클릭한다. 2. 터미널에서 testfile.txt를 생성하고 하둡 파일시스템에 업로드한다. HDFS의 ls 명령어로 실제 파일이 업로드 된 것을 확인할 수 있다. 3. 이제 웹 브라우저 기반의 HUE 인터페이스를 통해서 해당 파일을 살펴보자. 웹브라우저의 북마크에서 Hue를 클릭하고 우측 상단의 "File Browser"를 선택한다. 여기에서도 testfile.txt 파일이 올라가 있는 것을 확인할 수 있다. 4. testfile.txt 파일을 클릭하면 해당 파일의 상세 내역을 볼 수 있다. 또..
클라우데라에서 하둡 에코 시스템의 테스트를 위한 QuickStart VM을 제공하고 있다. Hadoop 2.0, Spark, Hive, Pig, HBase, Sqoop, Flume 등 하둡 관련 시스템을 일일이 설치하지 않고 가상환경에서 마음껏 테스트 할 수 있는 환경을 제공한다. 또한 사전에 포함된 데이터를 통해서 각종 기능을 테스트할 수 있는 "Getting Started"도 있으므로 하둡에 관심이 있으면 한번쯤 설치해서 사용해보기 바란다. QuickStart VM 다운로드 및 설치 QuickStartVM은 VMWare, KVM, VirtualBox의 VM으로 각각 제공되는데 VirtualBox를 통해서 설치해보기로 한다. 1. https://www.virtualbox.org/wiki/Download..
미니 서평 스튜어트 다이아몬드 교수의 "어떻게 원하는 것을 얻는가"를 읽어보면서 여러가지 생각이 들었다. "그동안 너무 감정적이지 않았을까?""다른 사람의 말에 귀를 기울이지 않고 내 머릿속 그림만 생각한 건 아닐까?""가치의 교환보다는 나만의 이익에 초점을 맞추지는 않았을까?" 분명히 논리적이고 체계적으로 이야기하고 있다고 생각했는데, 내 이야기를 못 알아듣는다는 느낌을 받을 때가 있다. 감정적인 지불을 하지 않고 내 주장만 펼쳤기 때문이라는 것을 이제 알게 되었다. 이기적인 사고도 좋지는 않지만, 반대로 항상 남을 배려하고 내가 손해보는 경우도 역시 좋지 않다. 서로 윈윈할 수 있는 방법은 올바른 가치의 교환을 통해 상대방이 손해를 보는 게 아니라 새로운 가치를 만들어내는 것이라는 것을 이 책을 통해..
아파치 진영을 중심으로 하둡 기반의 다양한 어플리케이션을 통해서 실시간 처리, 기계학습, 그래프 분석 등을 수행하고 있다. 하둡의 기본 개념이 구글 시스템에서 시작된 만큼 먼저 구글의 분산 처리 구성을 살펴본다. 그리고 아파치에서 제공하는 하둡 에코시스템의 구성을 알아본 후, 클라우데라, 페이스북, 야후, 링크드인 등에서 이를 활용하는 구조를 정리해 본다. 결국 회사의 용도에 맞춰서 기술들을 잘 조합해서 사용하는 것이 관건인 듯하다. 물론 필요에 따라 클라우데라의 임팔라나 링크드인의 카프카와 같이 직접 만들수도 있지만 말이다. 구글 빅데이터 스택 구글은 Chubby라는 'Coordination'을 사용하고, 데이터스토어로는 Big Table을 쓰고 있다. 그리고 맵리듀스의 상위 언어로 Sawzall을 사..
안드로이드 웹뷰에 대해서 한번 정리했었는데요.. 안드로이드 웹뷰(WebView) 사용하기 안드로이드 웹뷰에서 뒤로가기 버튼 처리 - 웹페이지 리다이렉트 경우 웹에서 액티비티 호출하기 웹뷰를 사용하다보면 카카오링크와 같이 인텐트로 외부 앱을 모바일에서 실행하는 경우가 있습니다. 폰에 내장된 브라우저에서는 잘 되는데, 안드로이드 4.4. SDK부터 Chrominum 기반으로 웹뷰가 변경되면서 웹뷰에서 인텐트를 지원하지 않는 이슈가 있습니다. 인텐트를 지원하도록 WebViewClient를 상속한 함수에서 shouldOverrideUrlLoading 메소드를 다음과 같이 수정하면 됩니다. private class MyWebViewClient extends WebViewClient { public static f..
작년과 올해 발표된 가트너의 Hype Cycle을 기반으로 빅데이터, IoT 기술의 동향을 정리해 보려고 한다. 2014년에는 "빅데이터", "데이터 과학", "사물인터넷" 이 언급되었었는데, 2015년에는 "빅데이터"가 사라지고 "기계학습", "고급 분석", "시민 데이터 과학", "사물인터넷", "사물인터넷 플랫폼"이 등장했다. Gartner's 2014 Hype Cycle 빅데이터는 이제 환상을 점차 걷어내고 있는 추세로 2014년 가트너는 이야기했다. 그래도 안정화까지는 5~10년 정도 소요 될 것으로 보고 있다. 데이터 과학은 떠오르고 있는 분야로 설명하고 있고, 최고 정점에 올라 있는 것으로는 사물인터넷(IoT)를 이야기 하고 있다. Gartner's 2015 Hype Cycle 2015년에는..
자바스크립트를 통해서 브라우저를 확대 축소하는 방법을 정리해 보려고 한다. 태그의 style 속성 중 하나인 zoom을 활용하면 쉽게 구현할 수 있다. 브라우저 확대 축소 자바스크립트 구현 20%씩 확대하고 축소하는 자바스크립트 구문은 다음과 같다. scale 값을 기본값인 1로 설정하고, 확대의 경우 20%를 곱하고 축소는 20%로 나누어서 계산하도록 했다. 그리고 document.body.style.zoom 값을 변경해서 확대 축소를 구현할 수 있다. 다양한 브라우저 지원 그러나 위 예제는 인터넷 익스플로러, 구글 크롬, 사파리에서만 동작한다. 파이어폭스나 오페라 등을 지원하기 위해서는 CSS3의 Transform을 활용해야 한다. 이 부분까지 적용한 전체 소스는 다음과 같다. 미니의 확대/축소 테스..
Sitemesh를 사용하다보면 웹 페이지에서 Decorator 파일에 현재의 위치를 전달해야 할 경우가 있다. 예를 들어 네비게이션 메뉴가 있다면, 현재 선택한 페이지를 다르게 표시할 때 주로 사용한다. 다음과 같은 화면을 구성한다고 생각해 보자. Sitemesh를 사용해서 상단 네비게이션까지 공통영역으로 처리했는데, 세번째 메뉴 선택시 상단의 네비게이션을 각 페이지에 맞춰서 선택한 형태로 변경할 때 바로 이 기능을 사용하면 된다. 메타 태그 넣기 먼저 각 페이지에 다음과 같이 메타 태그를 삽입한다. 미니 메뉴 첫번째 첫번째 메뉴를 선택한 화면입니다. 5번째 줄에 이름이 "selection"이고, 값이 "mini1"인 메타 태그를 추가한 것을 볼 수 있다. 다른 페이지에도 각각의 고유한 값을 가진 메타 ..
대부분의 프로그래밍 언어처럼 R에서도 디버깅 툴을 제공한다. R에 내장되어 있는 디버깅 툴을 살펴보도록 하자. traceback 간단하게 사용할 수 있는 디버깅 툴로 traceback()이 있다. traceback()은 함수들을 호출한 콜 스택을 보여주는 것이다. x 값이 할당되어 있지 않기 때문에 에러가 발생했고, traceback()으로 함수 호출 스택을 살펴보면 mean() 함수 하나만 나온다. 좀 더 복잡한 선형 회귀 분석을 계산하는 lm() 함수를 살펴보자. lm(y ~ x)를 처리하기 위해서 eva(), eval(), model.frame() 등을 순차적으로 호출한 것을 알 수 있다. 그러나 traceback은 함수를 어떤 순서로 호출했는지만을 알려주고 있다. debug 실제로 함수들을 만들었..
- Total
- Today
- Yesterday
- SCORM
- 애플
- 프로젝트
- 구글
- HTML
- 하둡
- 마케팅
- 책
- XML
- 분석
- 세미나
- java
- 아이폰
- 자바스크립트
- 클라우드
- 안드로이드
- 자바
- fingra.ph
- r
- Hadoop
- 모바일
- 맥
- 빅데이터
- 웹
- 디자인
- 통계
- 도서
- ms
- mysql
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |