빅데이터가 만드는 세상 - 데이터는 알고 있다. 삶과 일, 그리고 생각하는 방식을 바꿔놓을 대혁명

미니서평

옥스퍼드 대학 교수인 빅토르 마이어 쇤버거 교수와 이코노미스트의 기자인 케네스 쿠키어가 쓴 빅데이터와 관련된 이야기다. 

흔히 통계 분석과 빅데이터 분석을 동일하게 인식하는 경향이 있는데 

두 저자는 전문가 답게 데이터의 차이, 즉 일부에서 전체로의 변화로 빅데이터를 규정하면서 글을 시작한다. 

즉, 과거에는 통계 분석을 위해 샘플링된 정확하고 정밀한 데이터가 필요했지만

빅데이터 분석에서는 모든 데이터를 다루기 때문에 일부 들쭉날쭉한 데이터도 문제가 없다는 점이다. 

포도밭의 온도를 측정해야 한다고 생각해보자. 

밭 전체에 온도 센서가 하나뿐이라면 우리는 그 센서가 언제나 정확히 작동하도록 철저히 관리해야 한다. 

들쭉날쭉함은 허용되지 않는다. 

그러나 포도나무 100그루마다 센서를 설치할 거라면 좀 더 저렴하고 덜 정교한 센서를 사용해도 된다. 

이 경우 센서들 중 몇 개는 가끔 부정확한 데이터를 보고할 수도 있다. 

하지만 개별 수치는 틀렸을지 몰라도 많은 측정 데이터가 집계된 결과는 좀 더 종합적인 그림을 제공할 것이다. 

이번에는 센서를 읽는 횟수를 증가시킨다고 생각해보자.

1분에 한 번씩 측정을 한다면 데이터가 도착하는 순서는 완벽하게 시간순이라고 확신해도 좋을 것이다. 

하지만 1초에 10회, 혹은 100회를 측정한다면 순서가 정확한지 확신하기는 힘들 수 있다. 

순서에 대한 정보는 다소 정확성이 줄겠지만 수량이 워낙 많다 보니 엄격한 정밀성을 포기할 만한 가치가 있다. 

첫 번째 예시에서는 정보의 범위를 늘리기 위해 각 데이터의 정확성을 희생한 대신 알 수 없던 세부 정보를 얻었다. 

두 번째 예시에서는 빈도수를 늘리기 위해 정밀성을 포기한 대신 변화 양상을 알게 됐다. 

많은 경우 오류를 막으려고 하는 것보다 용인하는 편이 더 좋은 결과를 가져온다. 

그리고 빅데이터에 항상 등장하는 인과성과 상관성에 대해 설명한다. 

일반적으로 상관관계는 피어슨 상관계수나 스피어만 상관계수 등을 통해 두 변화하는 변수 사이의 상관성을 파악할 수 있다. 

물론 수백, 수천개의 변수에서 상관관계를 찾아내는 것도 쉬운 일은 아니다. 

그러나 인과관계를 파악하기 위해서는 더 많은 실험과 검증을 해봐야 하고, 때론 원인을 파악할 수 없는 경우도 많다. 

그래서 저자는 빅데이터 분석에서는 상관관계만 밝혀 내 활용하면 된다고 주장한다. 

즉, 결론만 알고 반영하면 되지 원인까지 찾아내려고 하지 말라는 것이다. 

흔히 상관관계를 알아내면 미래를 예측할 수 있고, 인관관계까지 밝혀내면 미래를 바꿀 수 있다고 말한다. 

현재 시점에서는 미래를 예측하는 것이라도 잘 하자는 것으로 받아들여진다. 

또 하나 흥미로운 점은 데이터 조합에 따른 2차 활용으로 새로운 가치를 만들어낼 수 있다는 점이다. 

이와 관련하여 관심을 가졌던 부분은 개인정보보호를 위해 현재의 개인 동의 방식에서 데이터 이용자 책임으로 바꾸자는 제안이다. 

실제로 빅데이터와 관련해 개인 동의를 받는다는 것은 현실적으로 불가능하다. 

그렇다고 100% 완벽한 비식별화, 또는 익명화도 어렵다. 

결국, 데이터를 이용하고 관리하는 주체가 책임을 지고 사용하라는 것이다.  

그러나 이럴 경우 발생할 수 있는 데이터 오남용 또는 데이터 독재를 막기 위해 

회계 감사와 같이 데이터 분석의 알고리즘 등을 검증할 수 있는 알고리즈미스트의 제안은 매우 신선했다. 

비교적 빅데이터 초기 단계인 2013년에 발간된 책임에도 불구하고 

빅데이터의 영향에 대한 정확한 진단과 위험성에 대한 경고 등이 상당히 구체적인 책이다. 

참고로 책을 보면 '빅데이터'라고 하지 않고 '빅 데이터'라고 표기되어 있다. 

그래서 구글 트랜드로 검색해 보니 우리나라와 달리 영어권에서는 "big data"로 표기하는 것이 일반적인 듯하다.

즉, 빅데이터가 하나의 단어가 아니라 데이터가 크다는 의미로 사용되는 것 같다. 

혹자는 빅 데이터의 빅은 데이터의 크기가 아니라 가치가 큰 것이라고 말하지만, 

이 책의 저자는 일부가 아닌 전체 데이터로서 빅 데이터를 이야기하는 것으로 보여진다.  

밑줄긋기

빅데이터 세상에서는 인과관계에 얽매일 필요가 없어진다. 

그 대신 우리는 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻을 것이다. 

상관성은 어떤 일이 정확히 왜 벌어지고 있는지 설명하지 못할 수도 있다. 

하지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 

빅데이터에서 중요한 것은 결론이지 이유가 아니다. 

어떤 현상의 원인을 항상 알아야 할 필요는 없다. 

우리는 데이터 스스로 진실을 드러내게 하면 된다. 

---

상관성에 기초한 예측은 빅데이터의 핵심이다. 

이제는 상관분석이 너무나 빈번하게 사용되는 나머지, 때로 우리는 상관분석이 미친 영향을 알아보지 못하기도 한다. 

그리고 앞으로도 이런 상관 분석의 활용은 계속해서 늘어날 것이다. 

상관성은 '이유'가 아닌 '결론'을 알려주며 이미 앞에서 보았듯이 결론을 아는 것만으로도 충분한 경우가 많다. 

---

'데이터'라는 말은 라틴어로 '사실'로서 '주어진다'는 뜻이다. 이것은 유클리드가 쓴 고전의 제목이기도 하다. 

어떤 현상을 데이터화한다는 것은 표로 만들고 분석이 가능하도록 그 현상을 수량화된 형태로 만든다는 뜻이다. 

다시 말하지만 데이터화와 디지털화는 서로 아주 다른 개념이다. 

디지털화란 아날로그 정보를 컴퓨터가 처리할 수 있도록 2진법 코드의 0과 1로 만든다는 뜻이다. 

---

지금 우리는 위대한 인프라 구축 프로젝트의 한가운데 와 있다. 

로마의 수도 시설은 도시의 성장을 가능하게 했다. 

인쇄술은 계몽주의 운동을 가능하게 했으며 신문은 민족국가가 나타나게 했다. 

하지만 이런 인프라들은 '흐름'에 초점이 맞춰져 있었다. 

물의 흐름, 지식의 흐름처럼 말이다. 

전화기도 마찬가지였고 인터넷도 그랬다. 

반면에 데이터화는 인간의 이해가 풍부해짐을 뜻한다. 

빅데이터의 도움으로 우리는 더 이상 세상을 사건의 연속으로 보지 않게 될 것이다. 

우리가 자연적 현상 혹은 사회적 현상이라고 설명하는 사건들 말이다. 

그 대신에 우리는 세상이 본질적으로 정보로 구성된 우주임을 보게 될 것이다. 

---

덴마크 암 학회의 연구 팀은 기존에 수집된 데이터를 기초로 흥미로운 접근법을 만들어냈다. 

먼저 이동전화 사업자들로부터 덴마크에 휴대전화가 도입된 이래 휴대전화에 가입한 전체 가입자 데이터를 얻었다. 

그리고 관리하던 암 환자의 기록과 덴마크 주민 학력과 가처분소득에 관한 전국적 자료를 활용했다. 

연구팀은 이 세 데이터 집합을 결합한 후 휴대전화 이용자가 비가입자보다 더 높은 암 발병률을 보였는지 조사했다. 

그리고 휴대전화 가입자 내에서는 휴대전화를 더 오래 소유한 사람이 암에 더 잘 걸렸는지 살폈다. 

결국 연구 팀은 휴대전화와 관련해서 암 발생 위험이 증가했다는 증거는 전혀 찾지 못했다. 

그리고 그런 이유로 이 연구 결과가 2011년 10월 영국의 의료저널 <BMJ>에 실렸을 때도 미디어의 주목을 거의 받지 못했다. 

하지만 만약 관련성이 발견되었더라면 이 연구는 전 세계 뉴스의 1면에 났을 것이고 '재조합 데이터' 방법론도 찬사를 받았을 것이다. 

---

구글의 수석 경제연구원인 할 배리언이 통계학자를 가장 '섹시한' 직업이라고 칭한 얘기는 유명하다.

"성공하고 싶다면 흔히 볼 수 있고 싼 것을 보충해주는 희소한 사람이 되어야 합니다." 배리언의 말이다.

"데이터는 도처에 널려 있고 전략적으로도 중요한데 여기서 희소한 것은 데이터로부터 지혜를 끌어낼 수 있는 지식이에요.

바로 그 때문에 통계 전문가들, 데이터베이스 매니저들, 기계 학습 전문가들이 굉장한 위치에 있게 되는 겁니다."

하지만 기술에 대한 지대한 관심과 데이터의 중요성을 얕보는 풍조는 얼마 못 가 사라질지도 모른다.

업계가 진화함에 따라 배리언이 말하는 기술이 흔해지면 인력 부족은 극복될 것이기 때문이다.

그리고 실제로는 데이터야말로 결정적인 구성 요소다.

---

빅데이터 초기 단계에 불과한 현재로서는 아이디어와 기술이 가장 큰 가치를 지닌 것 같다.

하지만 결국에 가면 대부분의 가치는 데이터 자체에 있을 것이다.

왜냐하면 우리는 정보를 가지고 더 많은 것을 할 수 있게 될 것이고,

데이터 보유자들은 자신이 소유한 자산의 잠재적 가치를 더 잘 알게 될 것이기 때문이다.

결과적으로 데이터 보유자들은 그 어느 때보다도 더 데이터를 꽉 움켜쥐려고 할 것이고

이에 접근하려는 외부인들에게는 높은 가격을 책정할 것이다.

다시 한 번 금광에 비유하자면 금 자체가 가장 중요해진다는 얘기다.

---

인터넷 시대가 사생활을 위협했다면 빅데이터는 사생활을 더 큰 위험에 빠뜨릴 것인가?

이것이 바로 빅데이터의 어두운 면인가?

그렇다. 그리고 이걸로 끝이 아니다.

여기서도 중요한 것은 규모의 변화가 상태의 변화를 낳는다는 점이다.

앞으로 보겠지만 이런 변화는 사생활 보호를 더 힘들게 만들 뿐만 아니라 완전히 새로운 위협 요소도 제시한다.

바로 성향에 기초한 불이익이 그것이다.

사람들이 행동하기도 전에 그들을 판단하고 벌주기 위해 빅데이터 예측을 사용한다면 이런 일이 벌어질 수 있다.

그리고 이것은 공정, 정의, 자유의지라는 개념을 무효화시켜버린다.

---

물론 빅데이터는 많은 혜택을 줄 수 있다.

빅데이터를 인간성 말살의 무기로 만드는 것은 빅데이터 예측을 이용하는 우리의 방식이 가진 결함이지

빅데이터 자체의 결함이 아니다.

핵심은 예측된 행동을 저지르기도 전에 그 행동에 대한 책임을 묻는 것은 상관성을 가지고 인과관계를 결정하는 오류라는 점이다.

빅데이터 예측은 상관성이 기초한 것이고 개인의 책임은 인과관계에 바탕을 두니까 말이다.

빅데이터는 현재와 미래의 위험을 이해하고 그에 맞춰 우리의 행동을 조절하는 데 유용한 툴이다.

 

문제는 인간이 세상을 원인과 결과라는 렌즈를 통해 보려고 한다는 점이다.

그래서 빅데이터는 인과적 목적에 남용될 위험을 언제나 안고 있다.

또 빅데이터 예측을 사용하면 책임 할당에 관한 의사 결정을 훨씬 더 효과적으로 할 수 있을 거라는 장밋빛 상상을 하게 만들기도 한다.

 

하지만 이것은 <마이너리티 리포트>에 그려진 사회로 직행하는, 틀림없는 파멸의 길이다.

개인의 도덕적 잣대를 대신하며, 집단의 명령이라는 거칠 것 없는 공격에 개인들이 마구 노출되는 세상 말이다.

이런 식으로 이용된다면 빅데이터는 우리를 말 그대로 확률이라는 감옥에 가둬버릴 것이다.

---

'동의에 의한 사생활 보호'에서 '책임에 의한 사생활 보호'로의 규제 변화에 더해

우리는 특정 상황에서 사생활 보호를 도와줄 기술적 혁신을 그려볼 수 있다.

그런 혁신적 접근법 중에 하나가 '차등적 사생활(differential privacy)'이라는 개념이다.

의도적으로 데이터를 흐리게 만들어서 커다란 데이터 집합을 검색해도 정확한 결과가 나오지 않고

근사치의 결과만 나오게 만드는 것이다.

이렇게 되면 특정한 개별 데이터와 특정인을 연관시키는 일이 어려워진다.

그 대신 비용이 많이 들게 된다.

---

우리는 빅데이터 예측과 그 배후에 있는 알고리즘 및 데이터 집합이 블랙박스가 되어버릴 위험이 있다는 것을 알 수 있다.

책임도, 추적 가능성도, 확신도 없는 블랙박스 말이다.

이런 위험을 막기 위해서는 빅데이터에 대한 모니터링과 투명성이 필요할 것이다.

그리고 또 이를 위해서는 새로운 유형의 전문 기술과 제도가 필요할 것이다.

 

빅데이터에 대해서 새로운 집단의 사람들이 이 역할을 맡아 주어야 할 것이다.

아마 그들은 '알고리즈미스트(algorithmist)'라고 불릴 것이다.

이들은 두 가지 형태일 수 있다.

회사 외부에서 회사를 모니터링하는 독립체들이 있을 수 있고,

회사 내부에서 회사를 모니터링하는 직원이나 부서들도 있을 수 있다.

마치 회사 내부에도 회계사가 있고 외부에도 회계 감사자가 있는 것처럼 말이다.

---

우리가 수집하고 처리할 수 있는 것은 언제나 세상에 존재하는 정보 중 아주 작은 일부에 불과할 것이다. 

이것은 기껏해야 현실의 모사품이다. 

플라톤의 동굴 벽에 비쳤던 그림자처럼 말이다. 

우리는 결코 완벽한 정보를 가질 수 없기에 우리가 내놓는 예측은 처음부터 잘못될 가능성을 내포한다. 

하지만 이것은 예측이 틀렸다는 뜻이 아니며, 다만 언제나 불완전하다는 뜻이다. 

이것 때문에 빅데이터가 내놓는 통찰이 무효가 되지는 않으며 그저 빅데이터의 제자리가 어디인지 알려주는 것뿐이다. 

궁극적인 답을 제시하지 않는 도구로서의 자리, 더 나은 방법과 더 나은 답이 나올 때까지 우리를 도와주는 그냥 충분히 괜찮은 도구로서의 자리 말이다.

그리고 이것은 우리가 빅데이터라는 툴을 사용할 때 충분한 겸손과 충분한 인간성을 함께 발휘해야 햔다는 뜻이기도 하다.  

구글의 시스템으로 할 수 있는 일이라고는 특정 검색어의 빈도수와 여러 지역의 장기간에 걸친 독감 확산 사이의 상관관계를 찾는 것뿐이었다.

구글은 질병관리본부의 2007~2008년 실제 독감 환자 기록과 대조했을 때 예측력이 있는 검색어를 찾기 위해 

4억 5,000만 개라는 어마어마한 수의 수학적 모델을 검토했다. 그리고 결과는 대성공이었다. 

구글은 어느 수학 모델 내에서 함께 조합해 사용하면 예측력 면에서 공식 데이터와 97퍼센트의 상관성을 갖는 검색어 45개를 찾아냈다. 

질병관리본부가 하듯이 이 검색어들도 독감이 어디로 퍼져나가는지 알려줄 수 있었다. 

다만 차이가 있다면 질병관리본부처럼 환자 발생 1~2주 후에나 가능한 것이 아니라 실시간에 가깝게 알려줄 수 있다는 점이었다. 

오렌 에치오니는 온라인상의 항공권 가격이 저렴한지 여부를 알 수 있는 방법을 찾기로 결심했다. 

에치오니는 가격 차이의 원인이 되는 원칙이나 이유 따위는 해독할 필요가 없다고 결론 내렸다. 

그저 앞으로 가격이 올라갈지 아니면 내려갈지를 예측하기만 하면 됐다. 

쉽지는 않겠지만 가능한 일이었다. 

주어진 노선의 모든 항공권 가격을 분석하고 출발일까지 남은 날짜에 따라 팔린 가격을 확인하기만 하면 됐다. 

---

애플의 전설적 경영자 스티브 잡스는 암과의 투쟁에서 완전히 다른 접근법을 취했다. 

그는 세계에서 몇 번째로 암세포의 DNA뿐만 아니라 자신의 DNA 전체를 분석한 사람이 됐다. 

이를 위해 잡스는 총 100만 달러 이상을 썼다. 

23앤드미가 고객들에게 청구하는 금액의 수백 배가 넘는 돈이었다. 

(2007년부터 실리콘밸리의 신생 기업 23앤드미는 200달러 정도만 지불하면 개인의 DNA를 분석을 해주고 있던 시기였다.)

그 대신에 잡스는 몇 개의 표지 샘플이 아닌 전체 유전자 코드의 데이터 파일을 받았다.  

'아마 나는 이런 식으로 암을 정복하는 최초의 사람이 되거나, 이런 식으로 죽는 마지막 사람이 될 것'이라고 잡스는 재치있게 말했다. 

애석하게도 그의 예측은 빗나갔다. 그 방법은 잡스에게 몇 년의 인생을 더 선물했다. 

---

비즈니스 정보 분석 소프트웨어 사업이 오랫동안 고객들에게 약속해온 것은 '단일한 버전의 진실'이었다. 

경영자들이 이 표현으로 의미하려는 바는 회사의 IT 시스템에 접속하는 모든 사람이 같은 데이터를 보게 해달라는 것이다. 

팩트가 일관되면 부서 간의 이해관계 정리도 쉬울 거라는 생각에서다. 

하지만 '단일한 버전의 진실'이라는 개념은 백팔십도 변화를 겪는 중이다. 

'단일한 버전의 진실'이라는 것이 있지도 않고, 또 있다 해도 그걸 추구하는 것은 본질을 빗겨가는 일일지 모른다는 생각이 들기 시작한 것이다. 

대규모 데이터를 활용하는 효익을 누리려면 데이터의 들쭉날쭉한 특성을 없애야 할 오류로 볼 것이 아니라 정상적인 것으로 받아들여야 한다. 

---

상관성은 두 데이터 값 사이의 통계적 관련성을 수량화한다. 

상관성이 강하다는 것은 하나의 데이터 값이 변화할 때 다른 하나도 변할 가능성이 매우 높다는 뜻이다. 

어떤 현상을 분석할 때 상관성은 그 현상의 내부 원리를 알 수 있는 해결의 실마리를 제공해줄 뿐만 아니라, 

무엇이 내부 원리를 아는 데 유용한 대용물이 될 수 있는지 알려준다. 

물론 강한 상관성도 결코 완벽하지는 않다. 두 대상이 순전히 우연히 비슷하게 움직였을 수도 있다. 

경험론자 나심 니콜라스 탈렙의 표현을 빌자면 순전히 '임의성에 의해 농락'당한 것인지도 모른다. 

상관성에는 확신은 없다. 개연성이 있을 뿐이다. 

하지만 상관성이 강하다면 관련이 있을 가능성은 높다. 

---

다음의 세 문장을 살펴보자. '프레드의 부모님이 늦게 도착했다. 

출장 뷔페는 곧 도착할 예정이었다. 프레드는 화가 났다.' 

이 문장들을 읽으면 우리는 즉시 왜 프레드가 화났는지를 생각한다. 

'출장 뷔페가 곧 도착하기 때문에 화가 난 것은 아닐 테니 부모님이 늦게 와서 화가 났구나.'

실제로는 주어진 정보로 이것을 알아낼 방법은 없다. 

그런데도 우리 정신은 주어진 사실로부터 일관되고 인과적이라고 생각되는 스토리를 만들어내지 않고서는 배기지 못한다. 

---

우리는 일상생활에서 워낙 자주 인과적으로 생각하다 보니 인과성을 밝히는 일이 쉽다고 믿을지 모른다. 

하지만 진실은 그렇게 안이하지 않다. 상관성을 계산하는 수학은 상대적으로 간단하다.

하지만 인과성을 '증명'하는 뚜렷한 수학적 방법이란 없다. 

심지어 인과적 관계는 기본적 등식으로 표현조차 안 된다. 

그러니 힘들게 천천히 생각하더라도 확정적인 인과적 관계를 찾는 일은 쉽지 않다. 

---

뉴욕시의 폭발하는 맨홀에서 가장 중요한 요소는 케이블의 연한과 과거의 문제 발생 여부였다. 

이 정보는 상당히 유용했는데 콘 에디슨의 간부들도 순위가 나온 근거를 쉽게 이해할 수 있었기 때문이다. 

하지만 여기서 잠깐. 연한과 이전의 문제 발생 여부라고? 이건 너무 뻔한 얘기 아닌가?

그렇기도 하고 아니기도 하다. 

한편으로 보면 네트워크 이론가 던컨 와츠가 좋아하는 표현처럼 '모든 것은 답을 알고 나면 뻔한 일이 된다'.

다른 한편으로 처음에는 분석 모델 속 예측 변수가 106가지였다는 점을 기억하는 것이 중요하다.

그 예측 변수들을 어떻게 저울질하고 수만 개의 맨홀에 어떻게 우선순위를 매길지는 그리 명백하지 않았다. 

맨홀 각각은 수백만 개의 개별 데이터로 이루어진 무수한 변수를 갖고 있었고 처음에는 데이터 자체도 분석될 수 있는 형식이 아니었다. 

---

현대적인 IT 시스템이 빅 데이터를 가능하게 한 것은 분명하지만 핵심적인 측면에서 보면 빅데이터로의 이행은 인류의 오래된 탐구 과정의 연속선상에 있다. 

세상을 측정하고 기록하고 분석하려는 탐구 말이다. 

IT 혁명은 도처에서 볼 수 있지만 대부분 그 강조점은 'T', 즉 기술에 있었다. 

이제는 우리의 관심을 'I', 즉 정보에 집중할 때다. 

---

이제 책에 있던 정보는 인간 독자만이 이용할 수 있는 형태가 아니라 컴퓨터가 처리하고 알고리즘이 분석할 수 있는 형태가 됐다. 

데이터화 덕분에 텍스트에 색인을 달 수 있게 되었고 그래서 텍스트를 검색할 수 있게 됐다. 

그리고 이렇게 되면 텍스트에 대한 끝없는 분석이 가능했다. 

이제 우리는 특정 단어나 문구가 언제 처음 사용되었고 언제부터 많이 쓰이게 되었는지 알아낼 수 있게 됐다. 

이 지식은 수백 년간 많은 언어를 통해 인간의 생각이 어떻게 진화하고, 아이디어가 어떻게 확산되었는지에 관해 새로운 빛을 던져줄 것이다. 

여러분도 직접 시도해볼 수 있다. 구글의 엔그램 뷰어는 구글 북스에 있는 전체 인덱스를 데이터 소스로 사용해서 

시기에 따른 단어나 문구의 이용 현황을 그래프로 만들어준다. 

엔그램 뷰어를 이용하면 1900년까지는 '인과성(causality)'이라는 단어가 '상관성(correlation)'이라는 단어보다 더 빈번하게 사용되었지만

이후에는 비율이 역전되었다는 사실을 몇 초 만에 알 수 있다. 

---

물질적인 것들과는 달리 데이터는 사용되었다고 해서 가치가 줄어들지 않는다. 

데이터는 계속해서 다시 처리될 수 있다. 데이터는 경제학자들이 말하는 '비경합재'다. 

데이터는 같은 목적으로 여러 번 사용될 수도 있지만, 서로 다른 여러 목적으로 활용될 수 있다는 점이 더 중요하다. 

빅데이터 시대에 얼마나 많은 정보가 우리에게 가치를 가질지 이해하려면 이 점을 잘 알아야 한다. 

이렇게 보았을 때 데이터의 전체 가치는 그것의 첫 번째 사용에서 추출한 가치보다 훨씬 크다는 점을 알 수 있다. 

따라서 회사들은 데이터의 첫 번째 혹은 두세 번째 이용에서 별 가치를 창출하지 못했다고 하더라도 

그 데이터를 여러 번 반복해서 활용하는 한 효과적으로 데이터를 이용할 수 있다. 

---

마이크로소프트는 자사의 워드 프로그램을 위해 20여 년간 강려한 맞춤법 검사기를 발달시켰다. 

사전을 편집하고 업데이트하는 데 들어가는 노력 때문에 마이크로소프트 워드의 맞춤법 검사기는 지원되는 언어가 몇 가지 되지 않았다. 

그리고 맞춤법 검사기를 하나 만들고 유지하는 데 드는 비용은 수백만 달러에 달했다. 

이번엔 구글을 보자. 구글은 아마 살아 있는 모든 언어에 대해 세계에서 가장 완전한 맞춤법 검사기를 가졌다고 해도 될 것이다. 

구글의 시스템은 지속적으로 새로운 단어를 추가하며 개선된다. 

그리고 이것은 사람들이 매일 검색엔진을 이용하는 데 따른 부수적 결과다. 

게다가 구글은 이 맞춤법 검사기를 공짜로 얻은 걸로 보인다. 

구글은 매일 검색엔진에 입력되는 30억 개의 검색어에 포함된 오자들을 재사용했을 뿐이다. 

구글의 맞춤법 검사 시스템은 '나쁜', '부정확한', '결함 있는' 데이터도 여전히 유용할 수 있음을 보여준다. 

두 회사의 서로 다른 접근법이 우리에게 시사하는 바는 매우 크다. 

마이크로소프트는 맞춤법 검사의 가치를 한 가지 목적으로만 생각한 반면, 구글은 그 효용성을 더 깊이 이해했다. 

구글은 오자를 이용한 세계 최고, 최신의 맞춤법 검사기를 만들어서 검색 성능만 향상시킨 것이 아니라 다른 여러 가지 서비스에도 적용했다. 

예컨데 검색이나 G메일, 구글 문서 도구의 '자동 완성' 기능에도 사용했고 구글 번역에도 활용했다. 

---

기술 출판업자이자 실리콘밸리에 정통한 팀 오라일리의 표현을 빌자면 '데이터는 플랫폼이다.'

새로운 재화와 비즈니스 모델을 만들어내기 위한 벽돌이기 때문이다. 

데이터의 가치 중 가장 난감한 부분은 데이터의 재사용이 무한한 잠재력을 지닌 것으로 보인다는 점이다. 

즉 데이터의 옵션 가치 말이다. 

정보를 수집하는 것은 매우 중요한 활동이지만 수집만으로는 충분치 않다. 

데이터의 가치는 단순한 소장에 있는 것이 아니라 그 사용에 있기 때문이다. 

---

데이터 중심의 의사 결정이라는 추세는 매우 근본적인 변화다.

대부분의 사람들에게 의사 결정의 기초가 되는 것은 사실 요소와 숙고, 그리고 많은 추측이다.

시인 오든의 인상적인 문구를 빌리면 '주관적 시각들이 난무하고, 명치에서 오는 느낌'을 따르는 것이다.

매사추세츠 주 뱁슨 칼리지의 경영학 교수이자 분석학에 관한 많은 책을 낸 토머스 대븐포트는 이것을 '금쪽 같은 직감'이라고 부른다.

경영자들은 직감에서 오는 확신으로 사업을 추진한다.

하지만 이런 형편은 예측 모형과 빅데이터 분석이 경영 의사 결정을 만들어내거나 혹은 최소한 확인 해주는 쪽으로 바뀌기 시작했다.

---

콜로라도 대학교 볼더 캠퍼스의 법학 교수이자 반익명화의 해악에 관한 전문가인 폴 옴 교수는 간단한 해결책은 없다고 설명한다.

데이터가 충분히 많다면 아무리 노력한들 완벽한 익명화는 불가능하다.

게다가 연구자들이 최근에 발견한 바에 따르면 전통적인 데이터뿐만 아니라 소셜 그래프 역시 반익명화에 취약하다.

빅데이터 시대에는 사생활을 보호하기 위해 오랫동안 사용되어 온 세 가지 핵심 전략들(개별적 고지와 동의, 탈퇴, 익명화)이

모두 효력을 많이 상실한다.

현재 많은 이용자들이 이미 자신의 사생활이 침해되었다고 느낀다.

빅데이터 활용이 더 흔해지면 어떻게 될 지는 기다려봐야 알 것이다.

---

오늘날 스몰 데이터 세상에서 '프로파일링'의 배후에 있는 아이디어는 다음과 같다.

데이터에서 공통된 연관을 찾아 그것이 적용되는 집단을 정의한 뒤, 그들에게는 추가적인 주의를 기울이는 것이다.

일반화할 수 있는 규칙이 그 집단에 있는 모든 사람에게 적용된다.

물론 '프로파일링'이란 함축된 의미가 많은 단어이고 이 방법에는 심각한 단점들이 있다.

프로파일링이 오용된다면 특정 집단에 대한 차별을 만들 뿐만 아니라 '연좌제'를 낳을 수도 있다.

 

가장 중요한 것은 우리가 빅데이터를 사용하면서 특정 집단보다는 특정 개인을 확인하길 바란다는 점이다.

이렇게 되면 예측 선상에 있는 모든 용의자에게 연좌제를 적용해 유죄로 취급하는 프로파일링의 단점에서 해방될 수 있다.

 

빅데이터는 우리가 그동안 해오던 일(프로파일링)을 그대로 하겠지만,

그것을 덜 차별적인 방식으로, 더 개인화된 형태로, 더 훌륭하게 해낼 거라고 약속한다.

우리 목표가 단순히 원하지 않는 행위를 막기 위한 것이라면 이것은 받아들일 수 있는 얘기로 들린다.

하지만 빅데이터 예측을 사용하는 목적이 아직 일어나지 않은 행동에 대해 누군가가 책임을 져야 하고,

벌을 받아야 하는지를 결정하기 위한 것이라면 이것은 매우 위험한 생각이다.

---

엔진 부품을 강에 내다버린 포드의 공장 직원들처럼 하급 장교들은 때로 명령을 지키거나

출셋길에 도움이 되기 위해 상관들에게 인상적인 숫자를 건넸다.

즉 상관들이 듣고 싶어 하는 얘기를 들려주었다.

그런데도 맥나마라와 그의 주변 사람들은 그 숫자들에 의존하고 집착했다.

 

베트남 전쟁 기간 미군의 데이터 이용과 남용, 오용 사례는 스몰 데이터 시대의 정보가 가진 한계를 보여주는 괴로운 교훈이다.

그리고 이것은 세상이 빅데이터 시대로 이행하는 동안에도 유의해야 할 사항이다.

밑바탕이 되는 데이터의 질이 형편없을 수도 있고 편향되어 있을 수도 있다.

잘못 분석되거나 오해를 불러일으키는 방향으로 이용될 수도 있다.

그리고 본래 수량화하려고 했던 바를 제대로 포착하지 못할 수도 있다.

---

탁월한 생각은 데이터에 의존하지 않는다.

스티브 잡스가 아이팟이나 아이폰, 아이패드를 출시할 때 기초로 삼았던 것은 자신의 직관이지 데이터가 아니었다.

그는 육감에 의존했다. "자신들이 뭘 원하는지 아는 건 소비자들이 할 일이 아닙니다."

애플이 아이패드를 출시하기 전에 시장조사를 한 적이 없다고 기자에게 밝히면서 잡스가 남긴 유명한 말이다.

 

예일 대학교의 인류학자 제임스 스콧은 자신의 책 <국가처럼 보기>에서 정부가 수량화와 데이터에 집착하다가

결국 국민들의 삶을 더 낫게 만드는 대신 끔찍하게 만들었다고 썼다.

스콧의 관점에서 보면 데이터의 사용은 권력자의 힘을 강화하는 데 이바지하는 경우가 많다.

 

이것이 바로 데이터의 독재가 여실히 드러나는 경우다.

그런 오만 때문에 미국은 더 의미 있는 기준을 가지고 의사 결정을 내리지 못하고 사망자 수 등에 기초해 베트남 전쟁을 확대한 것이다.

---

개인 동의에서 데이터 이용자 책임으로 통제의 형태가 바뀌는 것은

빅데이터를 효과적으로 다스리기 위해 꼭 필요한 근본적 변화다.

하지만 이것이 유일한 변화는 아니다.

---

알고리즈미스트들은 이런 문제에 대해 시장 지향적인 접근법을 제공함으로써 더 거슬리는 형태의 규제를 예방할지도 모른다.

알고리즈미스트들은 20세기 초에 새롭게 넘쳐났던 재무 정보를 처리하기 위해

회계사나 감사들이 나타났을 때와 비슷한 필요를 만족시킬 것이다.

숫자들이 무차별하게 쏟아지자 사람들은 이해하기 힘들었고,

기민하고 자기 규제적인 방식으로 조직화된 전문가들이 필요했다.

시장도 이에 반응해 금융 감시를 전문으로 하는 새로운 영역의 경쟁력 있는 회사들이 생겨났다.

서비스를 제공하면서 이 신종 전문가들은 경제에 대한 사회의 신뢰를 높여주었다.

알고리즈미스트 역시 이런 신뢰 상승효과를 가져온다면 빅데이터도 그 혜택을 누릴 것이다.

---

플라워스가 이끌던 뉴욕시 분석팀이 성공한 가장 중요한 이유는 인과관계에 의존하지 않고 상관성을 이용했다는 점이다.

"무슨 행동을 취해야 하는지 알려주지 않는 이상 인과관계에는 관심이 없습니다."

플라워스의 설명이다.

"인과관계는 다른 사람들이 찾겠지요.

그리고 솔직히 인과관계를 이야기하기 시작하면 확실한 게 없어요.

누가 언제 그 건물에 압류를 걸었느냐 하는 것과 그 건물에 불이 날 것인가 하는 문제 사이에

무슨 원인이 있을 것 같지 않거든요.

그렇게 생각하는 건 우둔한 짓이죠. 그렇게 말할 사람도 없고요.

'아냐, 기저에 있는 원인 때문이야'라고 생각하는 사람도 있겠죠.

하지만 저는 그것도 알아보고 싶지 않아요.

제게 필요한 건 접근할 수 있고, 중요도를 말해줄 특정 데이터예요.

그게 중대한 상황이면 조치를 취할 겁니다.

중대하지 않으면 그냥 있고요.

아시다시피 해결이 필요한 중요한 문제들이 있잖아요.

솔직히 지금으로서는 인과관계 같은 다른 것들을 생각하느라 빈둥거릴 여유가 없어요."

---

궁극적으로 빅데이터는 '정보사회'라는 단어가 약속했던 것을 마침내 완수하는 순간을 나타낸다. 

데이터가 무대의 중심에 서는 것이다. 

그동안 우리가 수집해놓은 그 모든 디지털 비트들이 이제는 참신한 방식으로 활용되어 새로운 목적에 쓰이고 

새로운 형태의 가치를 만들어낼 수 있다. 

하지만 그러려면 새로운 사고방식이 요구된다. 

우리가 만들어놓은 제도들이, 심지어 우리의 정체성이 도전받을 것이다. 

유일하게 확실한 것은 데이터의 양은 계속해서 증가할 것이고 그것을 처리할 능력도 계속 커질 것이라는 점이다. 

대부분의 사람들이 빅데이터를 얘기하면서 하드웨어니, 소프트웨어니 하는 기술적 문제에만 초점을 맞춰왔다. 

하지만 정작 강조되어야 할 것은 데이터가 말을 하게 되었을 때 과연 무슨 일이 벌어질 것인가 하는 점이다.