AI로 코딩 잘 활용하고 있는 사람 혹은 코딩 좀 아는 사람 좀 도와줘(크롤링(?) 불가 문제)

Google Apps Script(자바스크립트 기반) 활용하는 일이 종종 있는데, 웹사이트 크롤링 할 때 오류나는 경우가 많더라고.챗지피티나 제미나이는 "웹사이트에서 API를 활용한 크롤링을 막고자, 정보가 없는 가짜 페이지를 보낸다" 뭐 그런 이야기를 해....