워드프레스 robots.txt 파일 설정 및 크롤링 차단하는 법
워드프레스 사이트의 경우 robots.txt 파일의 설정을 손수 하는 것이 좋다고 합니다. robots.txt 파일 안에 우리 사이트 내에서 크롤러가 방문해도 될 곳과 안 될 곳을 명시하기 때문입니다. 아무래도 관리자 폴더는 크롤러가 방문해서는 안 되겠죠. 이번에는 robots.txt 파일을 설정해서 크롤링을 차단하거나 허용하는 법에 대해 알아보았습니다. 1. robots.txt 파일이란? 검색엔진은 크롤러라고 부르는 검색 로봇이 사이트를 방문하면서 샤이트에 대한 … Read more