인간보다 AI크롤러가 더 활동적인 시대입니다. 웹사이트를 방문하는 비중에서 AI크롤러의 비중은 날이 갈수록 늘어나고 있습니다. 한쪽에선 차단해야 한다고 목소리를 높이지만 다른 쪽에선 이들의 방문을 유도하기 위해 애쓰고 있습니다. 그래야 가시성이나 인용률이 높아지기 때문입니다.
블루닷에이아이는 'AI채널'을 강조하고 있습니다. AI채널은 AI검색 내에서 브랜드의 AI 가시성을 높이기 위한 목적으로 AI만을 위해 구축하는 전용 콘텐츠 플랫폼을 말합니다. 현재 저희 블루닷에이아이는 AI채널의 효과를 테스트하기 위해 자체적으로 블루닷 인텔리전스를 위한 AI채널을 운영 중인데요. 이를 통해 AI크롤러의 방문 행태를 대략적으로 분석해 봤습니다.
최고 방문 AI크롤러는 ChatGPT-User
위 그래프를 보시기 바랍니다. 최근 7일 동안(7월 17일~7월 24일)까지 블루닷 인텔리전스 AI채널을 가장 많이 방문한 AI크롤러는 ChatGPT-User였습니다. 히트라는 개념으로 카운트를 하고 있는데요. 이 기간 동안 총 174회가 들어왔습니다. OpenAI에 따르면 ChatGPT-User는 다음과 같은 역할을 합니다.
OpenAI는 ChatGPT 및 맞춤형 GPT(Custom GPTs)의 특정 사용자 동작을 위해서도 'ChatGPT-User'를 사용합니다. 사용자가 ChatGPT나 맞춤형 GPT에 질문을 하면, ChatGPT-User 에이전트를 통해 웹페이지를 방문할 수 있습니다. 또한 ChatGPT-User는 GPT 액션(GPT Actions)을 통해 외부 애플리케이션과 상호작용할 수도 있습니다. ChatGPT-User는 자동화된 방식으로 웹을 크롤링하는 데 사용되지 않습니다. 이러한 동작은 사용자에 의해 시작되기 때문에, robots.txt 규칙이 적용되지 않을 수 있습니다.
그 다음으로 메타의 학습용 크롤러인 meta-externalagent 방문이 가장 많았습니다. 총 173회였습니다. 그리고 뒤를 이어 YouBot, Bytespider, Amazonbot 순이었습니다. 메타의 AI크롤러가 이렇게 많이 방문하는지는 몰랐습니다. 그만큼 AI모델 개발에 열을 올리고 있다고 볼 수 있을 겁니다.
크롤링당 클릭 비율은? 3~7%에 불과
어쩌면 가장 궁금한 통계일 수 있을 겁니다. 크롤링당 클릭 비율인데요. 이를 위해서 GA4의 AI Assistant 데이터를 AI검색별로 분해한 뒤, 방문 지표와 통합해서 비교했습니다. OpenAI 계열의 경우 3.05%, Anthropic 계열은 7.69%였습니다. 구글 계열은 Googlebot 히트수를 따로 분류해두지 않아서, 정확한 수치는 아닙니다. 이 범위를 크게 벗어나지 않을 수 있을 겁니다.
이 데이터를 역으로 표현하면 제로 클릭 비율이 93~97%라는 얘기입니다. AI검색이 수시로 방문하면서 콘텐츠를 수집해가고 있지만, 정작 AI채널로 보내는 트래픽은 그리 크지 않다는 얘기입니다. 다만 저 3~7%에 해당하는 직접 방문 사용자는 해당 사이트에서 구매를 하거나 필요한 액션을 취할 가능성이 매우 높다고 할 수 있을 겁니다. AI검색 답변을 보고도 클릭을 할 정도이니깐요.
GEO 위해 AI채널이 필수가 된 시대
GEO를 위해서는 고객의 다양한 요구에 맞춘 품질 높은 콘텐츠(EEAT) 생산이 필수적입니다. AI크롤러가 인용하기 쉽도록 핵심 정보가 잘 구조화(스키마 마크업 등)돼 있기도 해야 합니다. 인용 문구를 잘 선택해 갈 수 있도록 콘텐츠 위계도 잘 잡아둬야 합니다. GEO를 위한 기술적 인프라가 잘 정비된 플랫폼에 콘텐츠를 게시해야 GEO 개선을 기대할 수 있다는 의미입니다.
그렇다고 GEO를 위한 콘텐츠를 매번 공식 웹사이트나 블로그에 올리는 것도 쉽지 않습니다. 통상 내부 가이드라인에 따라 엄격하게 콘텐츠를 관리하는 기업들이 많기 때문이죠. 그 엄격함을 모두 준수하고 GEO 대응 콘텐츠를 생산 및 운영하려면 상당한 시간과 비용이 수반될 수밖에 없습니다. 적시 대응이 어려워, 기회 손실이 커질 수 있습니다. 인간이 아니라 AI크롤러를 위한 전용 채널, AI채널이 필요한 이유입니다.
AI채널은 기존 콘텐츠 플랫폼과 달리 전용 대시보드를 갖춰야 합니다. AI 크롤러가 얼마나 방문하는지, AI채널에 게시한 콘텐츠가 얼마나 인용되는지, 그리고 어떤 AI검색에 의해 인용되는지 세세하게 체크하고 관리할 수 있어야 합니다. 취약점을 발견하고 대응 전략도 확인할 수 있어야 합니다. 블루닷에이아이가 AI채널 개발을 꾸준하게 이어가는 이유입니다.
AI검색 전용 콘텐츠 플랫폼 'AI채널' 구축에 관심이 있으시면 언제든 저희에게 문의해주세요.
Bluedot
