안녕하세요

호스팅 전문기업 비아웹입니다.

​

최근 AI 가 핫해지면서, AI 기계학습을 위해 데이터를 수집하는 봇이 늘어나고 있습니다.

해당 bot 에 대한 차단 방법에 대해 정리합니다.

​

1. bot 리스트 및 robots.txt

   User-agent: AI2Bot
   User-agent: Ai2Bot-Dolma
   User-agent: Amazonbot
   User-agent: anthropic-ai
   User-agent: Applebot
   User-agent: Applebot-Extended
   User-agent: Brightbot 1.0
   User-agent: Bytespider
   User-agent: CCBot
   User-agent: ChatGPT-User
   User-agent: Claude-Web
   User-agent: ClaudeBot
   User-agent: cohere-ai
   User-agent: cohere-training-data-crawler
   User-agent: Crawlspace
   User-agent: Diffbot
   User-agent: DuckAssistBot
   User-agent: FacebookBot
   User-agent: FriendlyCrawler
   User-agent: Google-Extended
   User-agent: GoogleOther
   User-agent: GoogleOther-Image
   User-agent: GoogleOther-Video
   User-agent: GPTBot
   User-agent: iaskspider/2.0
   User-agent: ICC-Crawler
   User-agent: ImagesiftBot
   User-agent: img2dataset
   User-agent: ISSCyberRiskCrawler
   User-agent: Kangaroo Bot
   User-agent: Meta-ExternalAgent
   User-agent: Meta-ExternalFetcher
   User-agent: OAI-SearchBot
   User-agent: omgili
   User-agent: omgilibot
   User-agent: PanguBot
   User-agent: PerplexityBot
   User-agent: PetalBot
   User-agent: Scrapy
   User-agent: SemrushBot-OCOB
   User-agent: SemrushBot-SWA
   User-agent: Sidetrade indexer bot
   User-agent: Timpibot
   User-agent: VelenPublicWebCrawler
   User-agent: Webzio-Extended
   User-agent: YouBot
   Disallow: /
   

2. .htaccess 파일 

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} (AI2Bot|Ai2Bot\-Dolma|Amazonbot|anthropic\-ai|Applebot|Applebot\-Extended|Brightbot\ 1\.0|Bytespider|CCBot|ChatGPT\-User|Claude\-Web|ClaudeBot|cohere\-ai|cohere\-training\-data\-crawler|Crawlspace|Diffbot|DuckAssistBot|FacebookBot|FriendlyCrawler|Google\-Extended|GoogleOther|GoogleOther\-Image|GoogleOther\-Video|GPTBot|iaskspider/2\.0|ICC\-Crawler|ImagesiftBot|img2dataset|ISSCyberRiskCrawler|Kangaroo\ Bot|Meta\-ExternalAgent|Meta\-ExternalFetcher|OAI\-SearchBot|omgili|omgilibot|PanguBot|PerplexityBot|PetalBot|Scrapy|SemrushBot\-OCOB|SemrushBot\-SWA|Sidetrade\ indexer\ bot|Timpibot|VelenPublicWebCrawler|Webzio\-Extended|YouBot) [NC]
   RewriteRule !^/?robots\.txt$ - [F,L]
   

이상의 내역은 크롤링 bot 에 허용하지 않겠다는 rule 입니다.

​

그렇지만, 크롤링 봇이 이상의 정책을 따르지 않을 수 있음을 명심하셔서

개인정보 및 중요 정보는 내부망에 위치하거나, 최소한 웹 접근시 패스워드 인증 연동하시기 바랍니다.

​

감사합니다.

호스팅 전문기업 비아웹