• 10년 전에는 새로운 워드프레스 블로그를 시작하면 구글이 몇 시간, 때로는 몇 분 안에 콘텐츠를 인덱싱함
• 구글의 사명은 "세계의 정보를 체계화하고 보편적으로 접근할 수 있게 만드는 것"이었음
• 사용자에게는 정보가 웹 어딘가에 존재하면 구글 검색으로 찾을 수 있다는 것을 의미했음
• 콘텐츠 제작자에게는 콘텐츠를 만들면 구글이 찾을 수 있게 해준다는 황금 기회였음

SEO 군비 경쟁과 구글의 대응

• 기회가 있는 곳에는 악용도 존재함
  • 저품질 콘텐츠가 웹에 범람
  • 링크 매매
  • 많은 회색 및 블랙햇 SEO 전술
• 구글은 조작적인 SEO 관행을 정화하기 위해 판다, 펭귄 등 일련의 알고리즘 업데이트를 도입함
• 이는 SEO 전문가와 구글 간의 20년 동안의 줄다리기와 같았음

"콘텐츠가 왕"의 부상과 몰락

• "콘텐츠가 왕"이라는 새로운 교리가 업계에 등장함

1. 좋은 콘텐츠는 자연스럽게 링크를 유치하고 긍정적인 사용자 상호작용 신호를 생성하여 순위를 개선할 수 있음
2. 구글의 알고리즘은 본질적으로 고품질 콘텐츠를 중요하게 여기고 높은 순위를 매길 것임

AI 콘텐츠 혁명

• 2018년 OpenAI가 GPT-1을 공개하면서 콘텐츠 제작의 미래가 명확해짐
• 사람이 작성한 텍스트와 구별할 수 없는 AI 생성 콘텐츠가 등장함
• "콘텐츠가 왕"이라는 시대가 막을 내리고 있음

구글의 실존적 위기

• 구글의 입장에서 보면 AI가 무한한 양의 사람과 유사한 콘텐츠를 생성할 수 있는 미래에 직면하고 있음
• 구글의 대응은 두 가지였음

1. 전문성, 권위, 신뢰성(Expertise, Authoritativeness, Trustworthiness) 개념을 모호하게 홍보함. 실제로는 잘 알려진 브랜드와 기존 웹사이트를 선호하는 것으로 해석됨
2. 모든 것을 인덱싱하려는 사명을 포기하고 대신 선택적이 되기로 함. 매우 선택적으로.

새로운 현실: 선택적 인덱싱

• 구글은 더 이상 전체 웹을 인덱싱하려 하지 않음
• 실제로 매우 선택적이 되어 대부분의 콘텐츠 인덱싱을 거부함
• 이는 콘텐츠 제작자가 임의의 품질 기준을 충족하지 못했기 때문이 아니라 구글이 검색 엔진으로서의 역할에 대한 접근 방식을 근본적으로 변경했기 때문임
• 내 경험에 비추어 볼 때 구글은 이제 "기본적으로 인덱싱하지 않음" 원칙에 따라 운영되는 것으로 보임
• 다양한 요소를 통해서 진정으로 필요하다고 판단되는 경우에만 콘텐츠를 색인에 포함
  • 극도의 콘텐츠 독창성: 광범위하게 다루지 않는 주제에 대해 글을 쓰는 것만으로는 충분하지 않음. Google은 콘텐츠가 진정으로 참신하거나 색인에서 상당한 격차를 메울 것을 요구하는 것 같음
  • 인지된 권위: Google이 틈새 시장에서 높은 권위를 가진 것으로 간주하는 사이트는 더 많은 콘텐츠가 색인될 수 있지만, 그렇다고 해서 보장되는 것은 아님
  • 브랜드 인지도: 잘 알려진 브랜드는 대부분의 콘텐츠가 색인되는 경우가 많지만, 규모가 작거나 잘 알려지지 않은 블로거는 훨씬 더 엄격하게 선별됨
  • 임시 색인 및 색인 해제: 실제로 Google은 뉴스 속보나 중요한 업데이트를 놓치지 않기 위해 새 콘텐츠를 매우 빠르게 색인화하는 경우가 많음. 얼마 지나지 않아 Google은 콘텐츠의 색인 생성을 해제할 수 있으며 그 이후에도 색인 생성이 해제된 상태로 유지. 따라서 처음에 색인되었다고 해서 반드시 Google이 귀하의 콘텐츠를 가치 있는 콘텐츠로 간주한다는 신호는 아님
• 이런 변화를 직접 목격하는 중
  • 과거에는 새 도메인을 설정하면 1시간 이내에, 때로는 몇 초 만에 색인화되었음
  • 이는 어디에도 멘션이 없고 백링크가 없는 신규 도메인의 경우에도 마찬가지
  • 새로운 블로그 게시물 중 하나의 제목이나 기사의 독특한 문장을 검색하면 첫 번째 Google 페이지에 바로 표시되었음
  • 이제 각 콘텐츠에 대해 Google은 색인화할 가치가 있는지 여부를 결정하는데, 대부분의 경우 "아니오"라는 대답이 나옴
  • 정말 독특하다고 생각되는 콘텐츠나 전혀 다루지 않는 주제에 대해서는 색인화하지 않을 수 있음
  • 하지만 다른 곳에서 이미 다루고 있다고 판단되는 주제에 대해 글을 작성하는 경우에는 색인되지 않을 가능성이 높음
  • 이는 상당한 독자층을 보유한 존경받는 작가라 하더라도 발생할 수 있음
• 흥미롭게도 콘텐츠가 색인 생성에 성공하면 의외로 높은 순위에 오르는 경우가 많다는 사실도 발견
  • 마치 색인 생성의 장애물이 너무 높아져서 그 장애물을 통과하면 이미 순위에 오를 수 있는 길이 거의 다 열린 것처럼
  • 하지만 그 지점에 도달하는 것은 기하급수적으로 더 어려워졌음
  • 중요한 것은 이러한 극단적인 선택이 동일하게 적용되지 않는다는 점
  • 유명 브랜드는 대부분의 콘텐츠가 빠르게 색인되는 반면, 소규모 블로거나 틈새 웹사이트는 훨씬 더 까다로운 기준에 따라 색인에 포함되는 경우가 많음
  • 이러한 소규모 업체의 경우 더 이상 좋은 콘텐츠를 만드는 것만이 중요한 것이 아니라 내 콘텐츠가 구글 색인에 꼭 필요하다는 것을 설득하는 것이 중요

결과

• 구글은 종합 검색 엔진에서 배타적인 카탈로그와 유사한 것으로 변모함
• 사용자에게는 찾고 있는 정보가 존재할 수 있지만 구글을 통해 발견할 수 없다는 것을 의미함
• 방대한 양의 가치 있는 콘텐츠가 간과되고 있다고 확신함
  • 사용자가 검색할 수 있는 정보가 Google 검색 결과에 나타나지 않을 수도 있음
  • 존재하지 않기 때문이 아니라 Google이 포함하지 않기로 결정했기 때문
• 콘텐츠 제작자에게는 구글이 대부분의 콘텐츠 인덱싱을 거부한다면 가시성을 어떻게 확보할 수 있을지가 중요한 챌린지가 되어버림