httpd 에러 로그에 어제 부터인가 자꾸 이러한 로그가 나타납니다. 아시는 분 답변 좀 주십시오. [client 61.77.XX.149] file does not exist: /dir/dir1/dir2/robots.txt 이러한 로그가 자꾸 쌓이는 군요. 실질적으로 위에서 보는 파일 robots.txt라는 파일은 존재하지 않은데 누가 자꾸 이 파일을 열어 보려고 하는 것인지 아니면.............. 참 알수 없는 일입니다.
검색 엔진 로봇(구글봇 등)이 크롤링 전에 robots.txt 를 요청하는 것입니다. 파일이 없어도 해가 없습니다. 로그가 거슬리면 빈 robots.txt 를 만들어 두면 됩니다. 접근을 막으려면 Disallow 로 지정하세요.