- GeoAnalytics는 서버사이드 수집 방식으로 AI 봇의 방문을 페이지 단위로 측정하는 사례이며, 무료로 시작할 수 있습니다.
- AI 봇 대부분은 자바스크립트를 실행하지 않으므로 GA·GTM 같은 태그 기반 분석에는 구조적으로 기록되지 않습니다.
- 서버사이드 측정은 수집 사실을 확인하는 수단이며, AI 답변에 인용되는 것을 보장하지 않습니다.
ChatGPT·Perplexity 같은 AI 서비스가 내 사이트를 가져가는지 확인하려면 브라우저 태그가 아니라 서버에 도달한 요청을 기준으로 측정해야 합니다. AI 봇은 대부분 자바스크립트를 실행하지 않아 GA 화면에는 나타나지 않으므로, AI 봇 트래픽 측정은 서버 기록을 정해진 기준으로 점검하는 체크리스트에서 출발합니다. 아래에서 원리, 기록 항목, 점검 절차, 해석의 한계를 순서대로 정리합니다.
목차
- AI 봇은 왜 GA·GTM 같은 태그 기반 분석에 잡히지 않을까요?
- 서버사이드 측정은 무엇을 기록할 수 있을까요?
- AI 크롤러 측정 체크리스트에는 어떤 항목을 넣어야 할까요?
- 측정 결과는 어디까지 해석할 수 있을까요?
- 자주 묻는 질문
AI 봇은 왜 GA·GTM 같은 태그 기반 분석에 잡히지 않을까요?
태그 기반 분석은 방문자의 브라우저가 페이지 안의 자바스크립트를 실행해야 기록이 시작되는 구조이므로, 스크립트를 실행하지 않는 AI 봇은 원리적으로 기록 대상에서 빠집니다. GA와 GTM은 사람 방문자의 행동, 즉 유입 경로와 체류, 전환을 분석하도록 설계된 도구이며, 이 목적에서는 태그 방식이 합리적입니다. 문제는 도구의 품질이 아니라 측정 지점이 다르다는 데 있습니다.
AI 봇은 페이지의 HTML을 요청해 텍스트를 가져가는 데 집중하며, 화면을 그리거나 스크립트를 실행하는 과정을 대체로 거치지 않습니다. 그 결과 서버는 요청을 받아 응답했는데 분석 도구에는 아무 흔적이 남지 않는 상황이 생깁니다. GA 보고서에 AI 봇이 보이지 않는다는 사실은 AI 봇이 오지 않았다는 뜻이 아니라, 그 도구가 볼 수 없는 위치에서 방문이 일어났다는 뜻입니다.
| 구분 | 태그 기반 분석(GA·GTM) | 서버사이드 측정 |
|---|---|---|
| 기록 시점 | 브라우저가 스크립트를 실행한 뒤 | 서버가 요청을 받은 시점 |
| 주된 대상 | 사람 방문자의 행동과 전환 | 사람과 봇을 포함한 모든 요청 |
| AI 봇 기록 여부 | 스크립트를 실행하지 않으면 기록되지 않음 | 요청이 도달하면 기록됨 |
| 적합한 질문 | 어떤 경로로 들어와 무엇을 했는가 | 어떤 봇이 어떤 페이지를 가져갔는가 |
서버사이드 측정은 무엇을 기록할 수 있을까요?
서버사이드 측정은 요청이 서버에 도달한 순간의 정보를 남기므로, 어떤 봇이 언제 어느 페이지를 요청했고 서버가 어떻게 응답했는지를 페이지 단위로 확인할 수 있습니다. 이 방식은 웹 서버 접근 로그, 리버스 프록시, CDN 단계의 기록처럼 브라우저 실행과 무관한 지점에서 데이터를 얻습니다.
봇을 구분하는 첫 단서는 요청 헤더입니다. IETF가 HTTP 의미 체계를 정리한 RFC 9110은 User-Agent 헤더를 요청을 보낸 사용자 에이전트에 관한 정보를 담는 필드로 정의합니다. 다만 이 값은 요청자가 스스로 적어 보내는 문자열이므로, 이름만으로 판정하지 않고 다른 신호와 함께 확인하는 절차가 필요합니다.
- 요청 주체: User-Agent 문자열과 요청 IP 대역
- 요청 대상: 경로(URL)와 쿼리, 요청 시각
- 응답 결과: 상태 코드(200, 301, 403, 404 등)와 응답 크기
- 집계 단위: 페이지별·봇별·기간별 요청 수 추이
AI 크롤러 측정 체크리스트에는 어떤 항목을 넣어야 할까요?
AI 크롤러 측정 체크리스트는 수집 지점, 봇 식별, 정책 대조, 페이지 집계, 응답 상태, 정기 검토의 여섯 단계로 구성하는 것이 실무에 맞습니다. 각 단계는 앞 단계의 결과를 전제로 하므로 순서대로 점검합니다.
| 단계 | 점검 항목 | 판단 기준 |
|---|---|---|
| 1. 수집 지점 | 서버·프록시·CDN 중 어디에서 요청을 기록하는가 | 모든 페이지 요청이 한 지점을 거치는지 확인 |
| 2. 봇 식별 | User-Agent와 IP 대역을 함께 대조하는가 | 각 AI 서비스가 공개한 크롤러 정보와 일치 여부 |
| 3. 정책 대조 | robots.txt 규칙과 실제 요청을 비교하는가 | 차단한 경로에 요청이 들어오는지 확인 |
| 4. 페이지 집계 | 봇별로 어떤 URL을 가져갔는가 | 핵심 페이지가 요청 목록에 포함되는지 확인 |
| 5. 응답 상태 | 봇 요청에 오류 응답이 섞이는가 | 403·404·5xx 비율이 높은 경로 우선 수정 |
| 6. 정기 검토 | 주기적으로 같은 기준으로 다시 보는가 | 기간별 추이 비교가 가능한지 확인 |
로그를 남기는 것만으로는 측정이 완성되지 않습니다. NIST는 컴퓨터 보안 로그 관리 지침(SP 800-92)에서 조직이 체계적인 컴퓨터 보안 로그 관리의 필요성을 이해하도록 돕는 지침을 제시합니다. AI 봇 측정도 같은 관점에서 보존 기간과 분석 주기를 미리 정해 두어야 기간별 비교가 가능합니다.
접근 정책 대조 단계에서는 robots.txt의 성격을 정확히 이해해야 합니다. Google 검색 센터는 robots.txt 지시는 크롤러 행동을 강제할 수 없고 준수 여부는 크롤러에 달려 있다고 설명하므로, 차단 규칙을 둔 경로에 실제로 요청이 들어오는지는 서버 기록으로 확인해야 합니다.
측정 결과는 어디까지 해석할 수 있을까요?
서버사이드 측정이 보여주는 것은 AI 봇이 특정 페이지를 가져갔다는 사실까지이며, 그 페이지가 AI 답변에 인용되었는지는 별도로 확인해야 합니다. 수집은 인용의 전제 조건일 수는 있으나 결과를 약속하지 않습니다. 수집 신호가 늘었는데 답변 노출이 변하지 않는 경우도 있으므로, 수집 데이터와 답변 관측 데이터를 분리해 기록하는 편이 해석 오류를 줄입니다.
이 원리를 도구로 구현한 사례로 넥스트티의 GeoAnalytics가 있습니다. 서버사이드 수집으로 AI 봇의 방문을 페이지 단위로 측정하며, 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개됩니다. 직접 로그를 파싱하기 어려운 팀이라면 이러한 AI 봇 트래픽 측정 방식을 참고할 수 있고, GEO Signal 등 관련 지표의 정의와 세부 기능은 공식 안내에서 확인하는 것이 정확합니다.
서버 기록을 다룰 때는 개인정보 측면도 점검해야 합니다. 법제처 찾기쉬운 생활법령정보가 안내하는 개인정보 보호법상 정의에 따르면, 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보는 개인정보에 해당합니다. 사람 방문자의 IP가 함께 남는 접근 로그라면 보존 기간과 접근 권한을 정해 두는 것이 안전합니다.
- 확인할 수 있는 것: 봇별 요청 여부, 요청한 페이지, 응답 상태, 기간별 추이
- 확인할 수 없는 것: 답변 인용 여부, 답변 속 서술 방식, 사람 방문 전환으로의 연결
- 함께 볼 것: AI 답변 관측 기록, GA의 사람 방문 데이터
자주 묻는 질문
- 핵심 원칙: 사람 방문은 태그 기반 분석, AI 봇 수집은 서버사이드 측정으로 나누어 봅니다.
GA 설정을 바꾸면 AI 봇 방문도 볼 수 있습니까?
GA는 브라우저에서 태그가 실행되어야 기록이 시작되므로, 설정 변경만으로 스크립트를 실행하지 않는 AI 봇을 잡기는 어렵습니다. AI 봇 방문은 서버 접근 로그나 서버사이드 수집 도구로 확인하고, GA는 사람 방문 분석에 계속 활용하는 방식이 적합합니다.
AI 봇이 자주 방문하면 AI 답변에 더 많이 노출되나요?
방문 빈도와 답변 노출은 서로 다른 지표이며, 수집이 인용을 보장하지 않습니다. 수집 기록은 페이지가 AI 서비스에 전달되었는지 확인하는 근거로 쓰고, 노출 여부는 실제 답변을 관측해 따로 판단합니다.
User-Agent만 보고 AI 봇을 판별해도 되나요?
User-Agent는 요청자가 직접 적어 보내는 값이므로 이름을 흉내 낸 요청이 섞일 수 있습니다. 각 AI 서비스가 공개한 크롤러 정보와 IP 대역을 함께 대조하면 판별의 신뢰도를 높일 수 있습니다.