오픈AI 크롤러로 인한 DDoS 공격, 당신의 사이트도 위험할 수 있다!

오픈AI 크롤러의 DDoS 공격

• DDoS 공격 발생: 미국의 한 전자상거래 사이트가 DDoS 공격으로 다운되었으며, 이 공격의 원인은 오픈AI의 웹 크롤러의 무분별한 스크랩 행위로 밝혀졌다.
• 테크크런치 보도: 테크크런치는 오픈AI의 'GPT봇'이 전자상거래 사이트인 트리플갱거스를 DDoS 공격 수준으로 무분별하게 크롤링하여 사이트가 다운되는 사태가 발생했다고 보도하였다.
• 크롤링의 심각성: 이 사건은 단순한 크롤링이 아니라, 사이트의 정상적인 운영을 방해하는 심각한 문제로 이어졌다.

트리플갱거스의 피해 상황

• CEO의 발언: 올렉산드르 톰척 트리플갱거스 CEO는 오픈AI가 6만5000개 이상의 제품 페이지와 수십만 장의 사진을 크롤링하기 위해 600개 이상의 IP를 사용하여 수만 건의 서버 요청을 시도했다고 밝혔다.
• 사이트 다운 현상: 이러한 크롤링 행위로 인해 사이트가 다운되는 사태가 발생하였으며, 이는 DDoS 공격과 유사한 결과를 초래하였다.

CEO의 우려와 설명

• 정상 운영 방해: 톰척 CEO는 GPT봇이 사이트의 정상적인 운영을 방해하여 사실상 DDoS 공격과 같은 결과를 초래했다고 설명하였다.
• 비용 문제: 그는 봇의 CPU 및 다운로드 활동으로 인해 엄청난 네트워크 사용료가 발생할 것으로 예상하고 있다.

사이트 운영 방해와 비용 문제

• 서비스 약관 게시: 트리플갱거스는 봇이 허가 없이 이미지를 가져가지 못하도록 서비스 약관 페이지를 게시하였으나, 이는 충분하지 않았다고 밝혔다.
• 비용 부담: 사이트 운영에 있어 발생하는 비용 문제는 크롤링으로 인해 더욱 심각해지고 있다.

서비스 약관과 robot.txt

• robot.txt의 필요성: GPT봇을 차단하기 위해서는 robot.txt 파일에 거부 의사를 삽입해야 한다.
• 기능 설명: robot.txt는 웹사이트가 크롤링을 허용하거나 제한할 항목을 지정하는 표준으로, 이를 통해 크롤러의 접근을 관리할 수 있다.

robot.txt의 중요성

• 오픈AI의 준수: 오픈AI는 robot.txt를 준수한다고 밝히고 있으나, 업데이트된 내용을 반영하는 데 최대 24시간이 걸릴 수 있다고 경고하고 있다.
• 신호 해석: 만약 사이트에 적절한 robot.txt 파일이 없다면, 오픈AI를 비롯한 다른 봇들은 이를 자유롭게 크롤링할 수 있는 신호로 간주하게 된다.

트리플갱거스의 대응 조치

• 사이트 복구 조치: 트리플갱거스는 robot.txt 파일을 설정하고 GPT봇과 다른 크롤러를 차단함으로써 사이트를 복구하였다.
• 데이터 확인 문제: 그러나 여전히 오픈AI가 가져간 데이터를 확인하거나 삭제를 요청할 방법을 찾지 못하고 있다.

AI 크롤러의 자발적 준수 문제

• AI 회사의 준수 여부: AI 회사들은 robot.txt를 자발적으로 따르지만, 그렇지 않은 경우도 존재한다.
• 과거 논란: 오픈AI와 앤트로픽, 퍼플렉시티 등은 지난해 robot.txt 규정을 지키지 않았다는 증거가 드러나 논란이 되었다.

유효하지 않은 트래픽 증가

• 트래픽 증가 통계: 디지털 광고 회사 더블베리파이의 연구에 따르면, ‘유효하지 않은 트래픽’은 지난해 86% 증가하였다.
• 봇의 영향: 이는 실제 사용자가 아닌 봇이 만들어낸 트래픽을 의미하며, 사이트 운영에 부정적인 영향을 미친다.

사이트 모니터링의 필요성

• 모니터링 필요성: 톰척 CEO는 "대부분 사이트는 봇에 의해 스크래핑됐다는 사실을 알아차리지도 못한다"라고 언급하며, 이제는 매일 로그 활동을 모니터링해야 한다고 강조하였다.
• 봇 탐지의 중요성: 이는 사이트의 보안을 강화하고, 불법적인 데이터 수집을 방지하기 위한 필수적인 조치로 여겨진다.