19 3월 워드프레스 robots.txt 설정 방법: 검색 엔진 수집 효율을 높이는 가이드
robots.txt가 검색 최적화에 중요한 이유
검색 엔진은 무한정 우리 사이트를 머물지 않습니다. ‘크롤링 예산(Crawl Budget)’이라는 한정된 자원을 사용하기 때문입니다.
- 수집 효율성 향상: 관리자 페이지나 중복 콘텐츠 페이지를 차단하여 중요한 글이 더 자주 수집되게 합니다.
- 보안 강화: 민감한 시스템 경로를 로봇의 시야에서 가릴 수 있습니다.
- AI 답변 인용 최적화: AI 검색 시대 SEO 전략의 관점에서 보면, AI 로봇이 고품질의 데이터만 골라 학습하도록 유도하는 기초 작업이 됩니다.
워드프레스에서 robots.txt를 수정하는 실무 방법
워드프레스는 기본적으로 가상의 robots.txt를 생성하지만, 세밀한 제어를 위해서는 직접 수정이 필요합니다.
- SEOPress 활용: [SEO] – [고급] 메뉴에서 제공하는 에디터를 통해 소스 코드 수정 없이 간편하게 관리할 수 있습니다.
- FTP 수동 업로드: 서버 루트 폴더에 직접 robots.txt 파일을 만들어 업로드하는 방식입니다.
- 주의사항: 잘못된 설정은 사이트 전체의 검색 노출을 차단할 수 있으므로 워드프레스 슬러그 SEO 최적화만큼이나 신중한 접근이 필요합니다.
오픽셀이 권장하는 표준 robots.txt 구성
검색 엔진 로봇에게 가장 친절하면서도 효율적인 설정값은 다음과 같습니다.
- User-agent: *: 모든 검색 로봇에게 동일한 규칙을 적용합니다.
- Disallow: /wp-admin/: 관리자 페이지의 수집을 차단합니다.
- Allow: /wp-admin/admin-ajax.php: 테마 기능 작동을 위해 예외적으로 허용합니다.
- Sitemap: 주소 등록: 워드프레스 사이트맵 생성 방법에서 확인한 사이트맵 URL을 하단에 명시하여 로봇의 경로 탐색을 돕습니다.
잘못된 robots.txt와 최적화된 robots.txt 비교
| 구분 | 위험한 설정 (Bad) | 최적화된 설정 (Good) |
|---|---|---|
| 사이트 전체 차단 | Disallow: / (검색 노출 중단) | Disallow: (공란 또는 특정 폴더만 차단) |
| 수집 경로 안내 | 사이트맵 주소 누락 | Sitemap URL 명시 |
| 리소스 접근 | JS/CSS 파일 차단 | 핵심 리소스 수집 허용 |
설정 완료 후 구글 서치 콘솔에서 검토하기
robots.txt를 수정했다면 반드시 구글 서치 콘솔의 ‘robots.txt 테스터’ 도구를 활용해 오류가 없는지 확인해야 합니다. 내가 의도한 대로 특정 페이지가 차단되었는지, 혹은 중요한 페이지가 실수로 막히지는 않았는지 테스트하는 과정이 필수적입니다. 이 기술적 점검은 우리 브랜드의 콘텐츠가 검색 엔진이라는 거대한 도서관에 올바르게 꽂히게 만드는 마지막 퍼즐 조각입니다.
📍 오픽셀 표준 robots.txt 템플릿
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # 아래 주소는 본인의 사이트맵 주소로 변경하세요 Sitemap: https://yourdomain.com/sitemap_index.xml
Q. robots.txt를 설정하면 보안이 완벽해지나요?
A. 아니요, robots.txt는 ‘권고 사항’일 뿐입니다. 악의적인 로봇은 무시할 수 있으므로 비밀번호 설정이나 보안 플러그인을 병행해야 합니다.
Q. 설정을 바꿨는데 구글에 바로 반영이 안 됩니다.
A. 구글 로봇이 바뀐 파일을 다시 읽어가는 데는 수 시간에서 수일이 걸릴 수 있습니다. 서치 콘솔에서 업데이트를 재촉할 수 있습니다.
Q. 이미 색인된 페이지를 robots.txt로 막으면 검색에서 사라지나요?
A. robots.txt는 수집을 막는 것이지 색인 삭제를 보장하지는 않습니다. 이미 노출된 글을 내리려면 ‘noindex’ 태그를 사용해야 합니다.
No Comments