[IT] 크롤링 데이터 수집의 법적 문제

서론

최근 빅데이터와 AI 기술이 발전하면서 타사 웹사이트의 정보를 수집하는 '크롤링(Crawling)'이 사업의 필수적인 도구로 자리 잡았습니다. 하지만 “이게 남의 데이터를 함부로 가져다 쓰는 게 아닐까? 어디까지가 허용되는 범위일까?"라는 고민으로 밤잠 설치는 스타트업 대표님들이 많으신데요.

 

오늘은 크롤링 데이터 수집 시 발생할 수 있는 법적 쟁점을 간단히 소개하며 안전한 데이터 수집의 기준을 살펴보겠습니다.

---

1. 크롤링, 잘못하면 어떤 법적 책임이 따를까요?

웹사이트에 공개된 정보라고 해서 무조건 마음대로 써도 되는 것은 아닙니다. 판례상 문제될 수 있는 부분들은 다음과 같습니다.

• 정보통신망법 위반(망침해): 웹사이트 운영자가 명시적으로 공개한 자동화된 수집 거부 정책(robots.txt, 이용약관 등)이나 크롤링 방지 기술을 우회하여 사이트에서 데이터를 자동화된 수집 방식으로 가져오면 정보통신망법 위반에 해당할 수 있습니다(제48조 제1항, 제71조 제1항)(민/형사책임).
• 데이터베이스 제작자의 권리 침해(저작권법위반) :  데이터베이스의 ‘상당한 부분’의 복제 혹은 반복적이거나 체계적인 복제가 발생한 경우 저작권법에서 보호하는 데이터베이스 제작자의 권리 침해가 성립할 수 있습니다. (제93조 제1항, 제136조 제2항 제3호)(민/형사책임)
• 시스템 장애 유발: 수집 과정에서 과도한 트래픽을 발생시키는 등의 방식으로 상대방의 시스템에 악영향을 주거나 상대방의 시스템에 장애를 발생시킨다면 업무방해죄가 성립할 우려도 커집니다(형사책임).
• 부정경쟁행위: 경쟁업체의 핵심 DB를 그대로 긁어와 유사한 서비스를 만드는 데 사용한다면 성과도용 유형 부정경쟁방지법 위반 문제가 발생할 수 있습니다(부정경쟁행위 파목)(민사책임).

---

2. 크롤링에 대한 망침해(정보통신망법 위반) 성립가능성

위와 같이 문제될 수 있는 쟁점 중에서 가장 심각한 쟁점은 정보통신망법 위반(망침해) 부분입니다. 매우 강한 형사책임(5년 이하 징역, 5천만원 이하 벌금)이 생길 수 있는 부분이기 때문에 실제 분쟁에서도 가장 첨예하게 다뤄집니다.

• Y사 형사사건(대법원 2021도1533) : 크롤링 형사사건에서 가장 중요한 판례 중 하나입니다. 이 사건에서 타사의 웹사이트 숙박정보 데이터베이스를 크롤링해 복제한 피고인 회사에 대해 대법원은 망침해 혐의에 대해 무죄를 선고하면서 그 이유를 다음과 같이 들었습니다.

즉, 크롤링이 망침해(정보통신망법 위반) 행위가 될지 판단하기 위해서는 다음의 요소들이 중요합니다.

(1)크롤링 대상 데이터에 자동수집 프로그램(봇)의 접근을 막는 별도의 보호조치가 있었는지 여부

(2)크롤링 대상 웹사이트의 이용약관이나 기타 공개된 정책에 자동화된 정보 접근이나 권한을 제한하는 내용이 있었는지 여부

---

3. 크롤링에 대한 데이터베이스 제작자 권리 침해(저작권법 위반) 성립가능성

그 외에 저작권법 위반이 자주 문제됩니다. 저작권법상 데이터베이스 제작자의 권리는 저작권은 아니지만 저작권법에서 별도로 보호하는 권리(제91조)입니다. 데이터베이스제작자는 데이터베이스의 전부 또는 상당한 부분을 복제ㆍ배포ㆍ방송 또는 전송할 권리를 가집니다.

 실제로는 데이터베이스의 “전부 또는 상당한 부분”을 복제한 것인지 여부가 가장 중요한 쟁점이 되는 경우가 많습니다.

• Y사 형사사건(대법원 2021도1533) : 이 사건에서 대법원은 피고인 회사에 대해  저작권법 위반 혐의에 대해서도 무죄를 선고하면서 그 이유를 다음과 같이 들었습니다.

즉, 크롤링이 데이터베이스제작자 권리침해(저작권법 위반) 행위가 될지 판단하기 위해서는 다음의 요소들이 중요합니다.

(1) 대상 데이터베이스에서 양적으로 상당한 부분의 복제등이 일어났는지 여부

(2) 대상 데이터베이스에서 질적으로(복제등이 된 부분의 제작 또는 소재의 갱신/검증/또는 보충에 인적 또는 물적으로 상당한 투자를 하였는지를 기준으로) 상당한 부분의 복제등이 일어났는지 여부

---

4. 실무적 대응전략

AI 시대에는 데이터가 곧 자원입니다. 현실적으로 데이터 수집이 기업의 생존과 직결되는 경우가 많습니다. 하지만 중요한 법적 리스크를 피하려면 다음 사항을 반드시 체크해야 합니다.

• API 이용 우선: 해당 플랫폼에서 공식적으로 제공하는 데이터 제공용 인터페이스(API)가 있다면 이를 활용하는 것이 가장 안전합니다.
• 상대방 사이트의 이용약관이나 robots.txt 확인 : 상대방이 명시적으로 자동화된 수집을 금지하거나 이용권한을 금지하는 정책을 공개한 상태라면 이런 정책에 반한 자동화된 크롤링은 법적 위험을 발생시킬 수 있습니다.
• 상대방 사이트의 데이터 접근에 대한 별도의 보호조치 확인 : 자동수집 프로그램(봇)의 접근을 막는 별도의 보호조치가 존재하는데 이를 우회하거나 속이는 방식으로 보호조치를 무력화시켰다면 정보통신망법 위반 관련 법적 위험을 발생시킬 수 있습니다.
• 수집 대상 데이터의 독창성 확인: 수집하려는 데이터가 상대방이 '상당한 비용과 노력'을 들여 만든 독자적인 DB인지 확인해야 합니다. 누구나 알 수 있을 정도의 공개적 정보라면 법적 책임 발생의 위험 면에서 좀 더 안전하게 평가할 수 있습니다.
• 트래픽 조절: 크롤링 대상 서버에 과도한 부하를 주지 않도록 수집 속도 등을 조절해야 합니다.

---

맺음말

 

크롤링은 기술적으로는 매우 쉽고 단순한 수단에 불과하지만 법적으로는 '권리침해'나 '정보통신시스템 침해'의 경계를 아슬아슬하게 걷는 행위입니다. 특히 경쟁사 간의 데이터 수집은 매우 큰 문제가 될 가능성이 높습니다. 단순히 "공개된 거니까 괜찮겠지"라는 생각보다는, 기획 단계부터 법률 전문가의 검토를 거쳐 안전한 가이드라인을 수립하시길 권장합니다.

 

---

 

문의사항은 다음 담당변호사에게 문의해 주시기 바랍니다:

김정민 변호사(jmkim@weonlaw.co.kr)