电商网站给假商品假价格都是公开的秘密了……
当然是只有爬虫可见的……
通常发现爬虫又不想被爬的时候,很多网站会选择拒绝请求,但也有很多网站会投毒,上面说的电商网站的策略就是一种经典的投毒手段。
更简单一点儿的还有给404欺骗爬虫这个页面不存在,给无穷跳转玩死爬虫等等……
当然这个事情应该说还是爬虫先动手的……毕竟爬虫经常骗网站自己是Chrome、Firefox什么的。为了避免被投毒,现在爬虫也有冒充自己是百度或者谷歌的蜘蛛的……