워드프레스 ‘robots.txt 가 존재하지 않습니다’ 라는 경고를 본 적 있으신가요? 이 오류는 단순한 파일 누락 문제로 끝나지 않습니다. 검색 엔진이 귀하의 사이트를 크롤링하지 못하게 되는 SEO 치명적 리스크로 이어질 수 있어요. 아래에 4가지 해결 방법을 알려드려요.
robots.txt가 없는 경우 발생하는 문제
- 사이트 전체가 검색에서 제외될 수 있음
- 구글 서치콘솔에서 오류 경고 발생
- SEO 최적화 점수 하락
robots.txt의 역할
크롤러의 접근 허용/차단 제어
robots.txt 파일은 검색 엔진 크롤러에게 사이트 내 어떤 콘텐츠를 접근해도 되는지, 혹은 차단할지를 알려주는 지침 역할을 합니다. 예를 들어 민감한 관리 페이지나 테스트 디렉토리 등을 차단하거나, 콘텐츠의 우선순위를 설정할 수 있어요.
워드프레스는 동적 파일 생성 방식
워드프레스는 기본적으로 고정 파일 형태의 robots.txt를 사용하지 않고, 가상 경로를 통해 동적으로 생성된 robots.txt를 보여줍니다. 경로는 `https://도메인/robots.txt`로 열 수 있으며, 페이지 소스나 파일 관리자에서는 보이지 않을 수 있어요.
존재하지 않는 경우 문제 발생
구글 서치콘솔이나 크롤링 도구에서 ‘robots.txt 파일이 존재하지 않습니다’라는 오류가 나올 경우, 검색 엔진이 사이트 콘텐츠를 크롤링하지 않거나, 정책에 따라 전체 페이지가 제외될 수 있어 주의가 필요합니다.
해결 방법 총정리
1. 워드프레스 설정 확인
워드프레스 관리자 > 설정 > 읽기 > “검색 엔진이 이 사이트를 인덱스하지 못하게 함” 항목이 체크되어 있다면 즉시 해제하세요. 이 설정이 있으면 자동으로 크롤링 차단 설정이 활성화되며, robots.txt에서 전체 차단을 의미하는 `Disallow: /` 구문이 들어가게 됩니다.
2. Yoast SEO 또는 RankMath 설치
SEO 플러그인을 통해 가상 robots.txt 파일을 편집할 수 있습니다. Yoast SEO 기준 경로: SEO > 도구 > 파일 편집기 → 여기서 직접 robots.txt 내용을 추가하거나 수정할 수 있어요. 아래는 기본적으로 추천되는 설정입니다:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://도메인/sitemap_index.xml
3. FTP로 직접 업로드
가상 파일이 아닌, 실제 텍스트 파일로 robots.txt를 만들고 싶다면 FTP나 호스팅 관리자를 이용해 워드프레스 루트 디렉토리(보통 `public_html`)에 직접 업로드하면 됩니다. 인코딩은 UTF-8, 확장자는 `.txt`로 해야 합니다.
가상 vs 수동 robots.txt 비교
| 항목 | 가상(동적) 방식 | 직접 업로드 |
|---|---|---|
| 기본 설정 | 워드프레스가 자동 생성 | 사용자가 내용 직접 설정 |
| 수정 편의성 | 플러그인 통해 간편 편집 | FTP 필요 |
| 호환성 | SEO 플러그인과 연동됨 | 충돌 발생 가능성 있음 |
위 방식대로 설정하고도 여전히 오류가 발생한다면, CDN 설정 캐시나 서버 리다이렉트 문제일 수 있습니다. 이 경우 서포트 티켓이나 웹호스팅 고객센터에 ‘robots.txt가 정상 노출되지 않는다’는 점을 문의하세요.
워드프레스 설치부터 호스팅 비교까지, 웹사이트 제작을 위한 7단계 가이드!
robots.txt 최적 설정
1. 기본 허용 설정
아래는 워드프레스 공식 추천 기본 robots.txt입니다. 대부분의 사이트에 적합하며, 검색 엔진이 주요 콘텐츠만 접근하도록 제한하면서도 전반적인 인덱싱을 허용합니다.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://도메인/sitemap_index.xml
2. 전체 차단 설정 (테스트용)
사이트 개발 단계거나 검색 제외를 원할 때는 다음과 같이 설정할 수 있습니다. 단, 절대 운영 사이트에 사용하면 안 됩니다.
User-agent: *
Disallow: /
3. 특정 디렉토리 제외
예: 검색엔진이 이미지 폴더만 크롤링하지 않게 하고 싶다면 이렇게 설정할 수 있어요.
User-agent: *
Disallow: /wp-content/uploads/
SEO 향상을 위한 점검 항목
robots.txt 외 함께 확인할 요소
- 사이트맵 제출 여부: 서치콘솔에 XML 사이트맵 등록 필수
- noindex 태그: 페이지별 메타 태그 설정도 함께 확인
- canonical 태그: 중복 콘텐츠 방지를 위한 기본 설정
- 모바일 호환성: 구글 모바일 친화도 체크도 중요
돈버는 수익형 워드프레스 블로그 만드는 방법 3가지!
robots.txt 테스트 도구
Google Search Console → 도구 → robots.txt 테스터 기능을 통해 해당 파일이 실제로 검색엔진에 어떻게 인식되는지 확인할 수 있습니다. 잘못된 구문이 있다면 여기서 바로 알려줍니다.
실사용자 후기
개발자 없는 1인 운영자 후기
“내 사이트가 구글에 안 뜨는 이유가 robots.txt 때문이었다니 충격이었어요. Yoast로 설정하니 바로 해결됐고, 검색 노출도 확 달라졌습니다.”
호스팅 변경 후 발생한 오류
“호스팅 이전하고 나서 갑자기 robots.txt가 사라졌는데, 알고 보니 가상 설정이 리셋돼 있더라고요. 플러그인 다시 설정하고 나니 문제 해결됐어요.”
카페24 이용자의 팁
“FTP로 직접 올려도 되지만, 카페24나 고도몰은 루트 권한이 제한돼 있어서 플러그인 설정이 제일 편했어요.”
robots.txt 오류 해결 체크리스트
- 워드프레스 ‘검색 차단’ 설정 해제
- Yoast SEO로 파일 직접 수정
- 구글 Search Console로 확인
- 사이트맵 주소 반드시 포함
요약 비교표
| 문제 원인 | 해결 방법 |
|---|---|
| robots.txt 없음 | Yoast/RankMath로 가상 설정 생성 |
| 검색 차단 설정 | 설정 → 읽기에서 인덱스 허용 |
| 구문 오류 | Search Console의 테스트 도구 활용 |
| 호스팅 문제 | FTP 접근 후 직접 robots.txt 업로드 |
FAQ
Q. robots.txt가 없으면 사이트가 검색되지 않나요?
A. 기본 설정에 따라 다르지만, 없는 경우 검색 엔진이 콘텐츠 크롤링을 시도하다 중단할 수 있어 SEO에 불리합니다.
Q. 가상 robots.txt와 실제 파일이 충돌하나요?
A. 실제 파일이 존재하면 워드프레스의 가상 파일보다 우선 적용됩니다. 둘 다 설정하면 혼동이 생길 수 있어 하나만 유지하세요.
Q. Search Console에서 오류가 계속 나요
A. 캐시 문제일 수 있습니다. 변경 후 24~48시간 기다리거나, 캐시 삭제 후 재시도해 보세요.
Q. 사이트맵 주소는 꼭 포함해야 하나요?
A. 구글이 더 정확하게 사이트 구조를 이해하는 데 도움되며, SEO 필수 요소 중 하나입니다.
Q. 플러그인을 껐더니 robots.txt도 사라졌어요
A. SEO 플러그인에서 가상 robots.txt를 생성하기 때문에 비활성화 시 함께 사라질 수 있습니다. 주의가 필요합니다.