소개

Google은 Googlebot 제품군에 두 가지 새로운 웹 크롤러를 도입했습니다:

• Google기타-이미지
• Google기타 동영상

이 새로운 크롤러는 바이너리 데이터의 크롤링을 향상시키기 위해 설계되었으며, 구글은 연구 및 개발을 지원할 것이라고 밝혔습니다.

AI가 SEO와 디지털 마케팅에 미치는 영향에 대해 알아보세요.

새로운 크롤러 소개

두 개의 새로운 크롤러인 GoogleOther-Image와 GoogleOther-Video는 각각 이미지와 동영상 바이트를 가져오는 데 최적화된 GoogleOther 버전입니다. GoogleOther는 2023년 4월에 Google 팀 내부에서 공개 웹을 크롤링하는 데 사용하도록 처음 추가되어 기본 Googlebot 크롤러를 위한 리소스를 확보할 수 있게 되었습니다.

사용자 제작 콘텐츠 통합의 이점을 알아보세요.

Google기타-이미지

GoogleOther-Image는 공개적으로 액세스할 수 있는 이미지 URL을 가져오기 위해 맞춤화된 GoogleOther 버전입니다. 문서에 따르면 GoogleOther-Image 및 GoogleOther의 사용자 에이전트 토큰으로 작동합니다. 전체 사용자 에이전트 문자열은 GoogleOther-Image/1.0입니다.

콘텐츠 정확도를 높이기 위한 전략을 살펴보세요.

Google기타 동영상

GoogleOther-Video는 공개적으로 액세스할 수 있는 동영상 URL을 가져오기 위해 설계된 GoogleOther의 버전입니다. GoogleOther-Image와 마찬가지로 GoogleOther-Video 및 GoogleOther의 사용자 에이전트 토큰을 사용합니다. 전체 사용자 에이전트 문자열은 GoogleOther-Video/1.0입니다.

디지털 광고에서 AI의 미래에 대해 알아보세요.

새로운 크롤러의 목적

Google은 연구 및 개발에 사용될 수 있는 바이너리 데이터의 크롤링을 더 잘 지원하기 위해 이 새로운 크롤러를 출시했습니다. 이 이니셔티브는 이미지 및 동영상 데이터를 효율적으로 처리하는 Google의 능력을 향상시키는 것을 목표로 합니다.

AI 기반 마케팅에서 가이드라인의 역할을 이해합니다.

Google 크롤러 개요

Google은 다음과 같은 다양한 유형의 크롤러를 활용합니다:

• Googlebot: Google 검색 제품의 기본 크롤러로, 항상 robots.txt 규칙을 준수합니다.
• 특수 케이스 크롤러: 이러한 크롤러는 특정 기능(예: AdsBot)을 수행하며 robots.txt 규칙을 준수하거나 준수하지 않을 수 있습니다.
• 사용자 트리거 가져오기: 최종 사용자가 불러오기를 트리거하는 도구 및 제품 기능입니다. 예를 들어, Google 사이트 검사기 또는 일부 Google Search Console 도구는 사용자 작업에 따라 페이지를 가져오도록 Google에 전송합니다.

AI로 고품질 콘텐츠를 제작하는 방법에 대해 알아보세요.

Google IP 주소 범위 및 DNS 마스크

Google은 각 크롤러 유형에 대한 IP 주소 범위와 역방향 DNS 마스크를 나열했습니다:

• Googlebot: googlebot.json (크롤링----.googlebot.com 또는 지리적 크롤링----.geo.googlebot.com)
• 특수 케이스 크롤러: special-crawlers.json (rate-limited-proxy----.google.com)
• 사용자 트리거 페처: 사용자 트리거 페처.json (---.gae.googleusercontent.com)

광고에서 AI의 윤리에 대해 알아보세요.

이것이 중요한 이유

웹사이트의 크롤링 활동 및 봇 활동을 모니터링하는 경우, 이러한 새로운 GoogleOther 크롤러를 합법적인 Google봇으로 인식하는 것이 중요합니다. 로그 파일에서 이러한 크롤러의 활동이 확인되면 검색 및 데이터 처리 기능을 개선하기 위한 Google의 노력의 일환이며 정품임을 확신할 수 있습니다.

AI 도구에서 콘텐츠 제한의 중요성을 이해합니다.