신이 되길 원하는 검색 기술

 

인터넷은 누구나 자유롭게 정보를 올릴 수 있다는 장점 때문에 짧은 시간 내에 급성장했습니다. 하지만 검색 기술이 개발되기 전까지만 해도 이 자유로움 때문에 인터넷은 수많은 글이 난무하는 쓰레기장으로 가까운 시간 내에 사라질 것으로 생각하는 전문가가 많았습니다. 빌 게이츠도 그중 하나였습니다. 하지만 구글이 등장해 원하는 정보를 쉽게 찾을 수 있게 되면서 이런 논란은 사라졌습니다.

현재까지 검색 기술은 내가 원하는 것을 찾아보는 검색입니다. 내가 원하는 것을 입력하면 알려 주는 수동적 검색입니다. 하지만, 이제 검색은 내가 물어보지 않아도 알려주는 능동적 검색으로 발전하려고 하고 있습니다. 검색 기술은 경제학과 결합 될 것으로 보입니다. 필자는 경제학을 전공했는데 학부 시절 교수님에게 제일 많이 들었던 이야기가 ‘경제학은 선택의 학문이다’라는 이야기였습니다. 자동차를 사야 할지 집을 사야 할지, 취직 해야 할지 공부를 더 해야 할지를 수학적 논리를 이용해 분석했습니다.

경제학은 모든 생산자와 소비자가 관련된 모든 정보를 알고 있으며 완벽하게 합리적이라는 가정을 바탕으로 합니다. 하지만 현실 생활에서 소비자가 해당 정보를 완벽하게 알고 사는 경우는 드뭅니다. 판매원이 할인 가격이라고 이야기하면 정말로 저렴한 가격인지 따져보지도 않고 사는 경우가 많으며, 누군가에게 좋다는 말만 듣고 매우 비싼 가격임에도 불구하고 나에게 필요한지는 따져보지도 않고 덥석 구매하는 경우도 많습니다. 우리는 해당 제품에 대해 모든 정보를 알고 있지 못하며 그때 기분에 따라 합리적이지 않게 소비하는 경우가 많습니다. 경제학은 현실에 맞지 않는 경우가 많았습니다. 매번 세계적인 금융 위기도 예측하지 못해 종종 경제학 무용론까지 나오기도 하였습니다.

하지만 경제학은 검색과 연계되면 새로운 기회를 찾을 수 있을 것입니다. 경제학의 기본 가설인 ‘모든 생산자와 소비자가 관련된 모든 정보를 알고 있으며 완벽하게 합리적이다’라는 가정을 충족시킬 수 있어 활용도와 정확도가 높아질 수 있기 때문입니다. 검색은 수집한 이용자의 정보와 환경에서 어떤 판단을 하는 것이 합리적인지 경제학의 도움을 얻게 될 것입니다. 우리는 이 정보를 활용해 작게는 물건을 사는 것부터 인생의 중요한 결정을 하는 것까지 어떤 것이 나에게 최적의 선택인지 판단하는 데 도움을 받게 될 것입니다.

 

(이미지 출처 - 위키트리)

구글을 작은 벤처에서 세계적인 기업으로 만든 전 CEO인 에릭 슈미트는 2011년 4월 모바일 월드 콩그레스 (Mobile World Congress)에서 ‘스마트폰은 우리를 계속 추적 할 것이고 길을 가다가 어떤 제품을 사라고 이야기를 해 줄 것이다’ 라고 이야기했습니다. 또한, 언론과의 인터뷰에서 구글의 목표가 ‘내가 내일 무엇을 하면 될까요?’ 혹은 ‘내가 어떤 직업을 가져야 할까요?’라고 질문에 정확한 답변을 해 주는 것이라고 이야기했습니다.
 
길을 가고 있는 사용자에게 검색 기술을 활용해 최적의 정보를 제공하기 위해서는 지금과 완전히 다른 검색 기술이 필요합니다. 현재 검색 기술은 사용자가 원하는 정보를 입력하는 방식이지만 앞으로의 검색은 사용자도 생각하지 못한 뜻밖에 좋은 정보를 알려주는 ‘세린디피티 엔진 (serendipity engine)’ 을 추구하고 있습니다.
 
검색은 기초 정보를 다양하게 조합해 다양한 상황에서 각기 다른 정보를 알려 줄 것입니다. 예를 들어 어떤 음식을 먹느냐는 단순히 개인 식성만의 문제는 아닙니다. 같은 사람도 평일 점심시간에 먹는 음식과 주말 저녁 시간에 먹는 음식이 다릅니다. 평일 낮에는 친구 혹은 동료들과 저렴하면서 빨리 먹을 음식을 찾지만, 주말 저녁은 조금 가격이 비싸더라도 가족들과 대화를 하면서 여유롭게 보낼 수 있는 맛있는 음식을 좋아합니다. 장소에 따라서 먹는 음식이 달라집니다. 똑같은 주말이라고 해도 집 근처에서 먹는 음식과 멀리 야외로 나가 관광지에는 먹는 음식은 다릅니다. 검색은 개인의 식성을 넘어 주변 환경, 주위 사람들, 현재 시각 등 다양한 변수를 면밀하게 분석 후 시간, 장소, 상황 등을 분석해 나에게 딱 맞는 맞춤 정보를 알려 주려고 합니다. 대부분 사람은 생각 없이 시키는 것을 그대로 수행 할 것입니다.
 

만약 어떤 사람이 주말 저녁에 집을 나와서 자동차를 타고 이동을 시작했다고 한다면 그가 향하는 방향이 시내 중심가라면 그는 쇼핑하거나 가족들과 저녁 식사를 할 가능성이 큽니다. 하지만 그가 목요일 혹은 금요일 저녁에 대중교통을 이용해 시내 중심가로 이동하기 시작했다면 그는 술을 먹을 가능성이 큽니다. 이는 거리 정보, 친구 정보, 식성 정보 등 다양한 정보와 재결합 될 수 있습니다. 예를 들어 저녁 시간이 다가오면 10분 거리에 친구가 있으니까 같이 저녁 식사를 하는 것이 좋을 거 같다고 추천해 주는 방식입니다. 만약 친구끼리 식성이 비슷하다면 성공의 가능성이 커집니다. 내가 중국 음식을 먹고 싶어 중국집을 검색하고 있다면 친구 중에 중국 음식을 좋아하는 친구와 연결을 시켜 주는 것입니다.
 
검색 기술의 발전은 비단 개인의 삶만 바꾸어 놓지는 않을 것입니다. 기업의 투자, 의사 결정 등 비즈니스 의사 결정에도 큰 역할을 할 것입니다. 다우존스 지수의 방향을 87%의 정확성으로 예측할 수 있다는 사실을 발견한 인디애나 대학의 존 볼렌 정보학 교수는 트위터의 올라온 글을 분석해 투자 의사 결정을 하는 헤지펀드를 만들기도 하였습니다. 그 날 트위터 사용자들의 의견, 선호도의 변화 등을 과학적으로 분석해 투자 할 곳을 정하는 방식입니다. 영국 아비바 보험사는 혼잡 시간, 사고 다발 지역, 운전 경력, 성별, 직업 등 빅데이터를 정밀하게 분석 해 보험료 산정에 참고하고 있습니다.
 
생각하지 못한 뜻밖에 좋은 정보를 알려주는 세린디피티 엔진 (serendipity engine)이 되기 위해서는 다양한 정보를 혼합해 분석해야 합니다. 이때 가장 중요한 것은 어떤 정보들을 어떻게 혼합하며 어느 정보에 가중치를 줄 것인지 결정하는 일입니다. 이는 매우 어려운 알고리즘으로 한 번에 설계 할 수 있는 구조가 아닙니다. 수많은 사람들의 피드백을 통해 끊임없이 정교화하며 개인화해야 하는 복잡한 문제입니다.
 

검색의 해독 능력과 상황 파악 능력도 강화해야 합니다. 지금은 사용자가 단어를 입력하면 그 단어의 뜻이 무엇인지도 모른 체 해당 단어가 들어간 페이지를 우선순위에 따라 정렬해 줍니다. 하지만 신이 되기 위해서는 웹 페이지에 들어가 있는 단어가 어떤 의미로 사용되었는지 알아야 합니다. 예를 들어 '성인' 이라는 단어를 생각해봅시다. 사전에는 ‘인격과 식견이 뛰어나고 덕망이 높은 인물’, ‘자라서 어른이 된 사람’ 두 가지 뜻이 등록되어 있습니다. 하지만 사전에는 없지만, 인터넷에서 검색해 보면 90%는 음란물이라는 뜻으로 사용하고 있습니다. 옛 성인들의 지혜가 필요한 사람에게 음란물을 추천해 주지 않기 위해서는 해당 페이지를 해독하는 능력과 해당 사람이 처해 있는 상황을 분석하는 능력이 필요합니다.

 

유토피아인지, 디스토피아인지 알 수 없는 세상이 다가오고 있습니다.