虽然爬虫是一个中立的词,但是绝大多数爬虫并不是网站所有者喜欢或者允许的行为。所以早就应该有把节操彻底抛弃的觉悟。
同样的,网站反爬虫的手段也是毫无节操……往死里坑……
所以别把自己想得太高尚,网站要真的想公开这些数据会直接给公开接口的……大家都省事儿。
绝大多数时候,爬虫和网站的关系就是你别太过分,我也懒得管的关系,处于一种微妙的平衡之中。