#robots.txt

숨은 링크 하나로 봇 트래픽 80% 감소: 허니팟 차단 도구 'B6' 살펴보기

AI 크롤러가 늘어나면서 작은 사이트 운영자의 고민도 커졌습니다. 취미로 운영하는 사이트 OpenBenches.org는 한 달 데이터 전송량이 2.5TB를 넘었고, 운영자는 AI 봇이 데이터와 이미지를 계속 긁어 간 탓이라고 봤습니다.