스크랩
우리 집 스마트 가전이 스크레이퍼 봇이 됐을지도 모른다? Anubis 허니팟이 밝혀낸 267만 IP의 정체
핵심 요약
오픈소스 웹 방화벽 Anubis의 허니팟이 Sourceware에서 수집한 데이터가 흥미로운 사실을 보여줬어요. 고유 IP 2,678,193개 중 무려 89.3%가 기존 위협 목록에 없는 주소였다는 것인데요. 다시 말해, 알려진 차단 목록만으로는 오늘날의 스크레이퍼 활동 대부분을 잡아낼 수 없다는 뜻입니다.
더 흥미로운 가설은 이 트래픽의 상당 부분이 프록시 네트워크에 편입된 감염된 스마트 가전에서 나올 수 있다는 점이에요. 물론 아직은 추측 단계이지만, 한 번쯤 우리 집 IoT 기기를 점검해봐야 할 이유가 될 수 있겠죠.
Anubis 허니팟은 어떻게 스크레이퍼를 가둘까?
Anubis는 스크레이퍼 문제의 규모를 측정하기 위해 재치 있는 함정을 설치했습니다. 모든 챌린지 페이지에 다음과 같은 의미상 유효하지 않은 HTML을 심어둔 거예요.
<script type="ignore">
<a href="/.within.website/x/cmd/anubis/api/honeypot/<uuidv4>/init">Don't click me</a>
</script>
- 정상적인 브라우저나 잘 만든 크롤러라면
script태그 안의 링크는 무시합니다 - 하지만 부실하게 작성된 스크레이퍼는 이 "Don't click me" 링크를 따라가고, 생성 비용은 낮지만 아무 정보도 없는 콘텐츠를 받게 돼요
- 그 콘텐츠 안에는 또 다른 페이지로 이어지는 링크 두 개가 들어 있어, 스크레이퍼가 보호 대상 사이트 대신 허니팟 안을 계속 맴돌게 됩니다
덕분에 실제 웹사이트를 보호하면서 동시에 문제의 규모까지 측정할 수 있는 구조예요.
수집된 IP, 뜯어보니 이렇습니다
위협 데이터베이스에 등록된 건 10.7%뿐
- 전체 2,678,193개 중 데이터베이스 등록 주소는 286,161개(10.7%)
- 등록된 주소 중 98.6%(282,182개)가 abuse 범주
- 그 외 datacenter 7,918개(2.8%), proxy 2,562개(0.9%), vpn 1,264개(0.4%), crawler 46개, tor 17개
- 위협 정보 공급자는 126개였고, netshield가 237,945개(83.2%)로 최대 비중. bitwire(33.7%), magicteamc(9.3%) 등이 뒤를 이었어요
- 하나의 IP에 여러 범주·공급자가 중복 적용될 수 있어 비율 합계는 100%를 넘습니다
전 세계 229개 국가, 21,116개 ASN에 분산
- 주소 수 상위 국가: 브라질 270,937개, 인도 185,091개, 사우디아라비아 120,372개, 멕시코 95,449개, 튀르키예 87,258개
- 데이터베이스 등록률은 방글라데시 29.9%, 우크라이나 27.6% 등으로 국가마다 편차가 컸고, 미국은 8.2% 수준
- ISO 3166-1 국가가 249개, UN 회원국이 193개라는 점을 감안하면 사실상 전 세계 거의 모든 지역에서 스크레이핑이 관측된 셈이에요
- ASN별로는 Reliance Jio(인도), VNPT(베트남), 그리고 스타링크를 운영하는 Space Exploration Technologies까지 포함돼 있습니다
정말 스마트 가전이 범인일까?
트래픽이 특정 데이터센터가 아니라 일반 가정용 통신망 전반에 넓고 얇게 퍼져 있다는 점에서, 프록시 네트워크에 트래픽을 제공하는 감염된 스마트 가전이 원인일 가능성이 제기됐어요.
다만 솔직하게 짚고 넘어가야 할 부분이 있습니다.
- 수집된 데이터만으로는 개별 IP 뒤에 있는 실제 장치 유형이나 감염 여부를 입증할 수 없습니다
- 어디까지나 트래픽 분포 패턴에 기반한 합리적 추측이에요
그래서 무엇을 해야 할까
- 사이트 운영자라면: 차단 목록에만 의존하는 방어는 이미 한계에 도달했습니다. 89.3%가 목록 밖에 있으니까요. Anubis 같은 챌린지 기반 웹 애플리케이션 방화벽 도입을 검토해볼 만합니다
- 개인 사용자라면: 집 안의 스마트 가전이 나도 모르게 프록시 노드로 동원되고 있을 가능성을 염두에 두고, 펌웨어 업데이트와 네트워크 트래픽 점검을 해보는 것이 좋겠어요
- 근본적으로는: 229개 국가, 2만 개가 넘는 ASN에 퍼진 문제인 만큼, 개별 대응을 넘어선 조율된 세계적 대응이 필요합니다
원문 공개 이후 상황이 달라졌을 수 있으니, 불명확한 부분은 성급히 결론 내리기 전에 직접 확인해보시길 권합니다.