예를 들어 SEO를 위해 WordPress Robots.txt를 최적화하는 방법

SEO는 웹사이트 소유자에게 최우선 순위였습니다. 상위 5개 결과가 75%의 클릭을 얻었으므로 더 높은 순위를 위한 경쟁은 도전이었습니다. 다양한 오프 페이지 및 온 페이지 SEO 기술이 사용됩니다. Robot.txt 파일을 최적화하는 것은 사이트의 SEO를 강화할 수 있는 트릭 중 하나입니다.

그러나 대부분의 초보자는 SEO를 위해 WordPress Robots.txt를 최적화하는 방법을 모릅니다. 일부는 처음부터 robots.txt 파일이 무엇인지조차 모를 수 있습니다.

운 좋게도 이 기사는 당신을 구출할 것입니다.

여기서는 robots.txt 파일이 무엇인지, robots.txt 파일을 생성하는 방법과 SEO에 맞게 robots.txt 파일을 최적화하는 방법에 대해 설명합니다. 마지막에 몇 가지 FAQ도 추가했습니다. 그러니 당신이 끝까지 우리와 함께 있는지 확인하십시오.

이제 시작하겠습니다!

Robots.txt 파일이란 무엇입니까?

WordPress의 Robots.txt는 사이트에서 크롤링하고 색인을 생성할 페이지를 검색 엔진 봇에 알려주는 일반 텍스트 파일입니다. 색인에서 페이지를 제외하도록 파일을 포맷할 수도 있습니다.

robots.txt는 WordPress 루트 디렉토리에 저장됩니다. 이 파일의 기본 형식은 다음과 같습니다.

 User-agent: [user-name] Disallow: [URL of the string not to be crawled] Allow: [URL of the string to be crawled] Sitemap: [URL of your WordPress XML Sitemap]

Robots.txt 파일은 어떻게 생겼습니까?

robots.txt 파일은 사이트에서 크롤링하는 방법과 대상에 대해 검색 엔진에 지시하는 몇 줄의 텍스트입니다. 이 파일에는 특정 페이지 URL을 허용하거나 제한하는 여러 줄이 있습니다. 여러 사이트맵을 추가할 수도 있습니다. URL을 허용하지 않으면 검색 엔진 봇이 해당 페이지를 크롤링하지 않습니다.

다음은 robots.txt 파일의 예입니다.

 User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Sitemap: https://URL/sitemap_index.xml

이제 robots 파일에서 찾을 수 있는 다음 네 가지 주요 용어에 대해 알아보겠습니다.

• 사용자 에이전트 : 사용자 에이전트는 크롤링 지침을 제공하는 특정 웹 크롤러입니다. 일반적으로 검색 엔진입니다.

• Allow : Allow는 하위 폴더나 상위 페이지가 허용되지 않더라도 페이지나 하위 폴더에 액세스할 수 있음을 Googlebot에 알리는 명령입니다.

• Disallow : disallow 명령은 사용자 에이전트에게 특정 URL을 크롤링하지 않도록 지시합니다. 각 URL에 대해 "Disallow:" 줄을 하나만 포함할 수 있습니다.

• 사이트맵 : 사이트맵은 이 URL과 관련된 XML 사이트맵의 위치를 ​​호출하는 데 사용됩니다. 이 명령은 Google, Bing, Ask 및 Yahoo에서만 지원됩니다.

위의 예에서는 검색 봇이 업로드 폴더를 크롤링하고 인덱싱할 수 있도록 허용했지만 플러그인 폴더는 제한했습니다. 결국 우리는 XML 사이트맵의 인덱싱을 허용했습니다.

User-Agent 뒤의 별표 기호는 텍스트가 모든 검색 엔진 봇에 적용됨을 의미합니다. 각 검색 엔진에는 사이트를 색인화하는 사용자 에이전트가 있습니다. 다음은 인기 있는 검색 엔진의 일부 사용자 에이전트입니다.

• 구글: 구글봇
• Googlebot 이미지: Googlebot-이미지
• Googlebot 뉴스: Googlebot-뉴스
• Googlebot 비디오: Googlebot-비디오
• 야후: Slurp 봇
• 빙: 빙봇
• 아마존 알렉사: ia_archiver
• 덕덕고: 덕덕봇
• 얀덱스: 얀덱스봇
• 바이두: 바이두스파이더
• 엑살리드: 엑사봇

요즘 너무 많은 사용자 에이전트가 있습니다. 특정 검색 엔진에 집중하고 싶다면 robots.txt 파일에 지정할 수도 있습니다. 즉, Googlebot에 대한 지침을 설정하기 위해 robots.txt 파일의 첫 번째 줄을 다음과 같이 작성할 수 있습니다.

사용자 에이전트: Googlebot

WordPress에 Robots.txt 파일이 필요한 이유는 무엇입니까?

robots.txt 파일이 없더라도 검색 봇은 사이트를 크롤링하고 색인을 생성합니다. 그렇다면 왜 그것이 정말로 필요할까요? robots.txt 파일을 사용하면 검색 엔진이 특정 페이지에서 우선 순위를 인덱싱하도록 지시할 수 있습니다. 또한 인덱싱하지 않으려는 페이지나 폴더를 제외할 수 있습니다.

이것은 처음 시작할 때 더 큰 영향을 미치지 않습니다. 블로그를 시작하고 콘텐츠가 많지 않습니다. 그러나 사이트가 성장하고 콘텐츠가 많아지면 특정 페이지/게시물/폴더에 대한 인덱싱의 우선 순위를 지정하고 일부를 무효화해야 할 수 있습니다.

각 웹사이트에 대한 각 검색 봇에 대한 할당량이 있습니다. 즉, 봇은 특정 크롤링 세션에서 특정 수의 페이지를 크롤링합니다. 봇이 특정 세션에서 크롤링을 완료하지 않으면 봇이 돌아와 다음 세션에서 크롤링을 재개합니다. 이렇게 하면 웹사이트 인덱싱 속도가 느려집니다.

따라서 robots.txt 파일을 사용하여 색인을 생성하고 포함할 페이지, 파일 및 폴더에 대한 검색 봇을 지시할 수 있습니다. 이렇게 하면 크롤링 할당량이 저장됩니다. 대중에게 콘텐츠를 숨기는 가장 안전한 방법은 아닐 수 있지만 제외된 콘텐츠가 SERP에 표시되는 것을 방지합니다.

웹사이트용 Robots.txt를 만드는 방법은 무엇입니까?

두 가지 방법으로 robots.txt를 만들 수 있습니다. 그 방법들은 아래에서 설명드리겠습니다. 그런 다음 가장 효과적이라고 생각하는 방법을 따를 수 있습니다.

방법 1: Rank Math 플러그인을 사용하여 Robots.txt 파일 만들기

여기에서는 인기 있는 Rank Math 플러그인을 사용하여 robots.txt 파일을 만드는 방법을 보여줍니다.

Rank Math는 널리 인정되는 모범 사례를 기반으로 하는 기본 제공 제안으로 웹사이트 콘텐츠를 쉽게 최적화할 수 있는 SEO WordPress 플러그인입니다. 이 편리한 도구를 사용하면 중요한 SEO 설정을 쉽게 사용자 정의하고 인덱싱 가능한 페이지를 제어할 수 있습니다.

Rank Math 플러그인을 사용하여 robots.txt 파일을 생성하려면 먼저 WordPress 관리자 대시보드에서 플러그인 -> 새로 추가 로 이동하여 플러그인을 다운로드합니다.

이제 검색 창에서 Rank Math를 검색하고 플러그인을 찾으면 지금 설치 및 활성화 버튼을 클릭하십시오.

플러그인을 활성화하면 WordPress 대시보드에서 Rank Math -> General Settings -> Edit robots.txt 로 이동합니다.

이제 다음 코드를 입력하거나 빈 공간에 이전 예제에서 언급한 코드를 복사하고 변경 사항 저장 버튼을 클릭합니다.

저기요! Rank Math 플러그인을 사용하여 robots.txt 파일을 성공적으로 생성했습니다.

방법 2: FTP를 사용하여 Robots.txt 파일 만들기

두 번째 방법은 로컬 컴퓨터에서 수동으로 robots.txt 파일을 만든 다음 WordPress 사이트의 루트 폴더에 업로드하는 것입니다.

FTP 클라이언트를 사용하여 WordPress 호스팅에 액세스해야 합니다. FTP 클라이언트에 로그인하면 웹사이트의 루트 폴더에서 robots.txt 파일을 볼 수 있습니다. 마우스 오른쪽 버튼을 클릭하고 편집 옵션을 선택합니다.

이제 파일에 사용자 지정 규칙을 추가하고 변경 사항을 저장합니다. 예를 들어:

 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

루트 폴더에 파일이 없으면 메모장을 사용하여 로컬 컴퓨터에 만들 수 있습니다. 규칙을 추가한 다음 FTP를 사용하여 루터 폴더에 업로드하십시오.

Robots.txt 파일을 어디에 둘 것인가?

robots.txt 파일은 항상 웹사이트의 루트 디렉토리에 배치해야 합니다. 예를 들어 사이트가 domainname.com 인 경우 robots.txt 파일 도메인은 https://domainname.com/robots.txt가 됩니다.

루트 디렉토리에 robots.txt 파일을 추가하는 것 외에도 다음은 몇 가지 추가 팁입니다.

• 파일 이름은 "robots.txt"로 지정해야 합니다.
• 파일 이름은 대소문자를 구분합니다. 따라서 올바르게 설정해야 합니다. 그렇지 않으면 작동하지 않습니다.
• 각각의 새 규칙에 대해 새 줄을 추가해야 합니다.
• URL의 끝을 나타내기 위해 "$" 기호를 추가합니다.
• 각 사용자 에이전트를 한 번만 사용하십시오.

Robots.txt 파일을 테스트하는 방법?

robots.txt 파일을 만든 후 Google Search Console을 사용하여 테스트할 수 있습니다. 여기에서 Open robot.txt 테스터 도구를 찾을 수 있습니다.

• 주어진 드롭다운 목록에서 속성을 선택합니다.

이 도구는 사이트의 robots.txt 파일을 가져와 오류를 강조 표시하고 오류가 있으면 경고를 표시합니다.

참고 : 드롭다운 속성 옵션은 WordPress 사이트를 Google Search Console과 연결한 경우에만 나타납니다.

아직 하지 않았다면 다음과 같이 사이트를 빠르게 연결할 수 있습니다.

• Google Search Console에 로그인하고 계정을 만듭니다. 도메인 또는 URL 접두사를 사용하여 계정을 설정할 수 있습니다. URL 접두사를 사용하는 것이 비교적 쉽기 때문에 사용하는 것이 좋습니다.
• 웹사이트의 URL을 입력합니다.
• 이제 "계속" 버튼을 클릭합니다.

• 이제 사이트의 소유권을 확인해야 합니다. 주어진 옵션을 사용하여 이 작업을 수행할 수 있습니다. 그러나 HTML 태그 옵션을 사용하는 것이 좋습니다.
• 주어진 코드를 복사한 다음 WordPress 대시보드로 이동합니다.

이제 머리글 및 바닥글 삽입 플러그인을 사용하여 코드를 확인할 수 있습니다. 확인하려면:

• WordPress 관리 대시보드에서 플러그인 -> 새로 추가 로 이동합니다.
• 이제 검색 창에서 머리글 및 바닥글 삽입 플러그인을 검색한 다음 플러그인을 설치 및 활성화합니다.

• 그런 다음 WordPress 대시보드에서 설정 -> 머리글 및 바닥글 로 리디렉션한 다음 복사한 코드를 머리글 및 바닥글 탭에 붙여넣습니다. 완료되면 저장 버튼을 클릭합니다.

• 브라우저에서 Google Search Console 탭으로 돌아갑니다. 그런 다음 확인 버튼을 클릭하십시오.
• Google은 소유권을 확인하고 완료되면 완료된 메시지를 표시합니다.
• Google Search Console 대시보드에 액세스하려면 "속성으로 이동" 옵션을 클릭합니다.

이제 Open robot.txt 테스터 도구로 돌아가 위에서 언급한 대로 robots.txt를 테스트합니다.

Robots.txt 파일의 장점

다음은 SEO 컨텍스트에서 Robots.txt 파일을 사용할 때의 이점입니다.

• 봇 크롤링을 원하지 않는 페이지에서 인덱싱을 건너뛰어 검색 엔진의 크롤링 예산을 최적화하는 데 도움이 됩니다. 이렇게 하면 검색 엔진이 사용자에게 중요한 페이지만 크롤링하는 우선 순위가 생성됩니다.
• 불필요하게 리소스를 소비하는 봇을 제한하여 웹 서버를 최적화하는 데 도움이 됩니다.
• 로그인 페이지, 방문 페이지, 감사 페이지를 검색 엔진의 인덱싱에서 숨기는 데 도움이 됩니다. 따라서 웹 사이트의 성능을 최적화합니다.

robots.txt 파일의 단점

• 위에서 설명한 것처럼 robots.txt 파일을 만드는 것은 매우 쉽습니다. 그러나 robots.txt 파일에는 로그인 페이지와 같이 크롤링 봇이 색인을 생성하지 못하도록 하는 내부 페이지의 URL도 포함되어 있습니다. 이것은 귀하의 웹사이트를 보안 침해에 취약하게 만듭니다.
• robots.txt 파일을 만드는 것은 쉽지만 간단한 실수라도 모든 노력을 낭비할 수 있습니다. 예를 들어 파일에 단일 문자를 추가하거나 잘못 배치하면 모든 SEO 노력이 엉망이 됩니다.

자주 묻는 질문(FAQ)

결론

웹사이트의 SEO 작업을 할 때 대부분의 사용자는 사이트맵 생성, 백링크 작업, 키워드 연구 및 콘텐츠 최적화에 중점을 둡니다. 소수의 웹마스터만이 robots.txt 파일에 주의를 기울입니다.

robots.txt 파일은 사이트를 시작할 때 많은 역할을 하지 않을 수 있습니다. 그러나 웹사이트가 성장함에 따라 robots.txt 파일에 주의를 기울이면 더 나은 결과를 얻을 수 있습니다.

또한 카테고리, 아카이브 페이지 및 태그를 차단하면 크롤링 속도가 증가하고 더 빠른 인덱싱이 촉진된다는 신화가 있습니다. 그것은 거짓입니다.

위에서 언급한 방법에 따라 robots.txt 파일을 만드십시오.

이 기사가 SEO용 WordPress robots.txt를 만들고 최적화하는 방법에 대한 쿼리를 정렬하는 데 도움이 되었기를 바랍니다.

WordPress와 관련된 더 유용한 기사를 읽고 싶다면 다음 기사를 읽을 수 있습니다.

• WordPress에서 Sitemap을 만드는 방법은 무엇입니까?
• WordPress 블로그를 시작하는 방법?