Screaming Frog 가이드 2026: AI 통합 기술 SEO 감사
Screaming Frog SEO Spider는 데스크톱 기반 웹사이트 크롤러로, 한 번의 크롤링으로 300개 이상의 기술 SEO 문제, 끊어진 링크, 중복 제목, 리다이렉트 체인, 누락된 스키마 등을 식별합니다. 에이전시들이 수백만 개의 페이지를 가진 사이트를 어떻게 감사하는지 궁금해하셨다면, 이 도구가 그들이 가장 먼저 찾는 솔루션입니다.
이 가이드는 첫 크롤링부터 고급 AI 프롬프트 통합, 커스텀 XPath 추출, 그리고 모든 감사에서 수시간을 절약해주는 정규표현식 패턴까지 모든 것을 다룹니다.
Screaming Frog란 무엇이고 왜 SEO 전문가들이 이를 선호하는가?
Screaming Frog SEO Spider는 Google이 웹사이트를 크롤링하는 방식으로 웹사이트를 크롤링하는 데스크톱 애플리케이션으로, 끊어진 링크, 누락된 메타 태그, 리다이렉트 체인, 고아 페이지 같은 기술 SEO 문제들을 모든 URL에 대해 분석합니다. 이 모든 작업이 귀사의 데이터를 타인의 클라우드로 전송하지 않고 이루어집니다.
클라우드 기반 크롤러가 크롤 속도를 제한하고 URL당 요금을 청구하는 것과 달리, Screaming Frog는 본인의 컴퓨터에서 로컬로 실행됩니다. 크롤 깊이, 렌더링, 속도를 완벽하게 제어할 수 있습니다. 이것이 2010년 이래로 에이전시, 사내 팀, 개발자들이 선호하는 기술 SEO 감사 도구인 이유입니다.
이 도구는 응답 코드, 페이지 제목, 메타 설명, H1/H2 분석, 이미지 대체 텍스트, 캐노니컬 태그, hreflang 구현, 구조화된 데이터 검증, JavaScript 렌더링을 지원합니다. Google Analytics, Google Search Console, PageSpeed Insights, 그리고 v21 버전부터는 OpenAI 및 Google Gemini 같은 AI 제공자들과 통합됩니다.
Screaming Frog가 다른 도구들과 어떻게 함께 작동하는지 더 자세히 알아보려면, 당사의 완전한 SEO 도구 비교표를 참고하세요.
무료 vs 유료: 실제로 얻을 수 있는 것
무료 버전은 소규모 사이트에서 정말 유용합니다. 하지만 500개 URL 상한선에 도달하면 £199/년(약 $259) 가격의 유료 라이선스가 필요합니다.
첫 크롤링을 위한 Screaming Frog 설정 방법
다운로드부터 크롤링 실행까지 약 5분이 걸립니다. Screaming Frog는 Windows, macOS, Linux에서 실행되는 Java 애플리케이션이므로 JVM이 있는 모든 곳에서 작동합니다.
다운로드 및 설치
screamingfrog.co.uk에서 설치 프로그램을 다운로드하세요. 유료 라이선스가 있다면 설치 후 Licence > Enter Licence에서 활성화하세요. 무료 버전은 등록 없이 즉시 작동합니다.
실제로 중요한 설정 사항
시작하기 전에 세 가지를 조정하세요:
- User-Agent, Configuration > User-Agent. 기본값은 "Screaming Frog SEO Spider"입니다. Google이 보는 것을 확인하려면 Googlebot으로 전환하세요(일부 사이트는 사용자 에이전트에 따라 다른 콘텐츠를 제공합니다).
- Crawl Speed, Configuration > Speed. 기본값 5개 스레드는 대부분의 사이트에 충분합니다. 자신의 사이트의 경우 10-20으로 높이세요. 클라이언트 사이트의 경우 속도 제한을 유발하지 않도록 보수적으로 유지하세요.
- Rendering Mode, Configuration > Spider > Rendering. 사이트에서 React, Angular, Vue 또는 기타 SPA 프레임워크를 사용하면 JavaScript로 설정하세요. 이는 내부적으로 Chromium을 사용하며 크롤링을 크게 느리게 하지만, 동적으로 로드되는 콘텐츠를 놓치지 않으려면 필수입니다.
- Memory Allocation, 대부분의 사람들이 건너뛰는 부분입니다. 기본값인 2GB는 약 30,000개 URL 근처에서 작동이 멈춥니다.
50,000개 이상의 페이지가 있는 사이트를 크롤링하는 경우 최소 8GB로 메모리를 증가시키세요. 500,000개 이상의 URL 사이트의 경우 16GB를 할당하고 데이터베이스 저장소 모드(Configuration > System > Storage Mode > Database) 사용을 고려하세요.
상단 막대에 URL을 입력하고 Start를 클릭하세요. 그게 전부입니다.
첫 번째 기술 SEO 감사 실행
Screaming Frog의 기술 SEO 감사는 5단계를 따릅니다: 사이트 크롤링, 응답 코드 검토, 메타 태그 확인, 내부 링크 감사, 팀을 위한 보고서 내보내기. 이 프로세스는 수동 검토로는 보이지 않는 문제들을 포착합니다.
Semrush의 2025 웹사이트 건강 벤치마크에 따르면, 72%의 웹사이트가 최소 하나 이상의 중요한 기술 SEO 요소에서 실패합니다. 우리의 경험상 모든 사이트의 첫 크롤링은 크롤러 없이는 보이지 않는 최소 5~10개의 중요한 문제를 드러냅니다.
기술 SEO의 기초에 대한 완전한 이해를 위해서는 당사의 완전한 SEO 가이드를 참고하세요.
응답 코드 이해하기 (200, 301, 302, 404, 500)
크롤링이 완료된 후 Response Codes 탭을 클릭하세요. 우선순위로 삼을 사항은 다음과 같습니다:
- 4xx (클라이언트 오류), 끊어진 페이지입니다. 리다이렉트 또는 콘텐츠가 필요합니다. 가장 영향이 큰 것부터 수정하기 위해 inlinks를 기준으로 정렬하세요.
- 3xx (리다이렉트), 본질적으로 나쁜 것은 아니지만, 리다이렉트 체인(301 > 301 > 200)은 크롤 예산을 낭비합니다. Reports > Redirect Chains에서 확인하세요.
- 5xx (서버 오류), 서버가 이 URL들에서 작동을 멈췄습니다. 타임아웃 문제, 누락된 데이터베이스 레코드, 또는 잘못 구성된 라우트일 수 있습니다.
- 200 with issues, 잘 로드되지만 얇은 콘텐츠, 중복 제목, 또는 누락된 메타 설명이 있는 페이지입니다. Page Titles 또는 Meta Descriptions 탭을 사용하여 필터링하세요.
메타 태그 및 제목 감사
Page Titles 탭은 중복, 누락된 제목, 60자를 초과하는 제목, 30자 미만의 제목을 표시합니다. Meta Descriptions도 동일하게 "Missing," "Duplicate," 또는 "Over 160 Characters"로 필터링하세요.
가장 링크된 페이지의 우선순위를 정하기 위해 inlinks를 기준으로 정렬하세요. 홈페이지의 누락된 메타 설명이 페이지네이션 페이지의 설명보다 중요합니다.
내부 링킹 분석
Internal 탭은 사이트의 모든 내부 링크를 앵커 텍스트, 링크 깊이, follow/nofollow 상태와 함께 표시합니다. 즉시 확인해야 할 두 가지 사항은:
- 고아 페이지, 이를 가리키는 내부 링크가 0개인 페이지입니다. Reports > Orphan Pages에서 찾으세요(사이트맵 또는 Google Analytics 통합 필요).
- 깊은 페이지, 크롤 깊이 3 이상의 모든 것은 아마도 최소한의 링크 가치를 받고 있을 것입니다. Crawl Depth를 기준으로 필터링하고 중요한 깊은 페이지에 내부 링크를 추가하는 것을 고려하세요.
기술 감사 후 콘텐츠 최적화를 위해서는 당사의 Surfer SEO 가이드를 참고하세요.
끊어진 링크, 리다이렉트, 캐노니컬 찾기 및 수정
이 세 가지 문제는 대부분의 사이트의 기술 SEO 문제의 대부분을 차지합니다. Screaming Frog는 한 번의 크롤링으로 이들 모두를 표면화합니다.
끊어진 링크: 3단계로 찾기 및 수정
- Response Codes > Client Error (4xx)로 필터링하세요
- 끊어진 URL을 우클릭 > Inlinks를 클릭하여 이를 링크하는 페이지를 확인하세요
- 목록을 대량 내보내기(Export > All)하고 권장 리다이렉트 대상과 함께 개발팀에 전달하세요
팁: 끊어진 URL을 inlinks 개수순으로 정렬하세요. 50개의 내부 링크가 가리키는 404 페이지는 링크 가치를 잃고 있습니다. 바닥글의 1개 링크만 가리키는 404는 낮은 우선순위입니다.
리다이렉트 체인: 크롤 예산을 망치는 이유
3개 이상의 리다이렉트 체인은 느릴 뿐만 아니라 Google이 완전히 따르지 않을 수도 있습니다. Screaming Frog는 Reports > Redirect Chains에서 자동으로 이를 표시합니다.
수정은 간단합니다: 원본 URL을 최종 대상을 직접 가리키도록 업데이트하세요. 페이지 A가 페이지 B로 리다이렉트되고 페이지 B가 페이지 C로 리다이렉트되면, 페이지 A의 리다이렉트를 페이지 C로 직접 이동하도록 업데이트하세요.
Reports > Redirect Loops도 확인하세요. 루프(A > B > A)는 브라우저 오류를 반환하는 무한 리다이렉트를 생성합니다. 이는 중요한 수정사항입니다.
캐노니컬 태그 감사
Canonicals 탭에서 세 가지 문제를 찾으세요:
- 누락된 캐노니컬, 모든 인덱싱 가능한 페이지는 자체 참조 캐노니컬을 가져야 합니다
- 잘못된 URL로의 캐노니컬, 페이지들이 자신의 캐노니컬을 관련 없는 페이지로 가리키기(사이트 마이그레이션 후 흔함)
- 인덱싱 불가능한 캐노니컬 대상, 404 또는 noindex된 페이지를 가리키는 캐노니컬은 목적을 무너뜨립니다
XPath와 CSS 선택자를 사용한 커스텀 추출
커스텀 추출을 통해 크롤링 중 모든 페이지에서 특정 데이터를 추출할 수 있습니다. 구조화된 데이터, 추적 코드, Open Graph 태그 또는 모든 HTML 요소를 가져와 Screaming Frog를 감사 도구에서 완전한 사이트 스크래퍼로 전환합니다.
이것이 파워 유저와 초보자를 구분하는 기능이며, 우리는 수천 개의 페이지에 걸쳐 추적 코드와 스키마 마크업을 검증하기 위해 모든 감사에서 커스텀 추출을 사용합니다. Screaming Frog 크롤 데이터를 Semrush 같은 도구의 키워드 데이터와 결합하여 완전한 그림을 얻을 수 있습니다.
...