블로그(티스토리) 등 실제 적용되는 robots.txt 확인하기

특히 티스토리 사용하는 사용하는 블로거들 중에 robots.txt 때문에 곤란을 겪는 사람들이 많다. 애드센스에서 robots.txt에서 검색로봇을 차단했다거나 색인이 되지 않았다는 등의 경고를 받았을 때 뭘 어떻게 해야할지 혼란이 많다.

네이버 웹마스터도구 → 도메인 → 검증 → robots.txt

인터넷 검색해 보면 네이버의 웹마스터도구관리에서 블로그의 robots.txt를 설정하라는 포스팅도 심심찮게 볼 수 있다. 그런데 대부분 사실과 다른 부분들이 있다.

이 페이지의 기능은 말 그대로 robots.txt가 제대로 적용되고 있는지 내용을 검증하는 것이다. 티스토리의 robots.txt 내용을 변경 할 수 없다.

또 혹자는 티스토리의 스킨 편집 창에서 이미지 파일 첨부에 robots.txt 파일을 업로드하라고 하는데 그것도 사실과 다르다.

robots.txt는 www.mydomain.com/robots.txt처럼 도메인의 root 디렉토리에 text file 형태로 존재해야 검색로봇이 인식할 수 있다. 티스토리의 이미지 파일 경로에 업로드하면 전혀 다른 주소에 업로드 되는 것이라 아무 소용이 없다.

 

728x90

 

 

구글의 Search Console에서 robosts.txt가 실제로 어떻게 적용되는지 테스트 할 수 있다. (https://support.google.com/webmasters/answer/6062598?hl=ko)

[robosts.txt 테스터 열기 ]파란 버튼을 클릭해 보자.

 

다음 페이지에서 [속성을 선택하세요. ▼] 버튼을 클릭하면 Google Search Console에서 등록했던 URL 목록이 뜬다. 원하는 URL을 선택한다. (https://search.google.com/search-console/about?hl=ko)

 

반응형

 

실제로 내가 선택한 URL에 적용되고 있는 robots.txt 내용이다.
카카오와 구글 애드센스는 업무협약을 통해 과거 고절적이었던 애드센스의 robots.txt 경고 내용을 해결했다. 그래서 티스토리 사용자라면 기본으로 이 내용이며 딱히 문제 될 것이 없다.
만약 하위 페이지의 검색로봇 오류를 검증하고 싶다면 하단에 URL/ 옆에 '차단되었는지..." 부분에 나머지 하위 주소를 넣어 테스트 할 수 있다.

 

https://support.google.com/webmasters/answer/6062598?hl=ko 

robots.txt 테스터를 이용해 robots.txt 테스트하기 - Search Console 고객센터

 

https://zibsin.net/2655

애드센스 광고 크롤러 오류가 있다는 메일, 알림을 받았을 때