robots.txt 파일은 크롤러에게 교통 표지판과 같은 역할을 합니다. 도로에 교통 표지판이 없다면 매우 혼잡하거나 여기저기서 사고가 끊이지 않을 것입니다. 이번 포스팅에서는 검색엔진 크롤러가 웹사이트에서 접근해야 하지 말아야 할 곳은 어디인지, 사이트맵 (sitemap.xml) 은 어디에 있는지와 같은 중요한 정보를 담고 있는 robots.txt 파일에 대한 모든 것을 알려드리겠습니다. 1. robots.txt 란? robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색엔진 크롤러(또는 검색 로봇)가 액세스 하거나 정보수집을 해도 되는 페이지가 무엇인지, 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일입니다. robots.txt 파일은 검색엔진 크롤러가 웹사..