1.尽量减少网站访问次数
单次爬虫把主要时间消耗在网络请求等待响应上边，因此能减少网站访问就减少网站访问，既减少本身的工作量，也缓解网站的压力，还减少被封的风险。第一步要做的便是流程优化，尽可能精简流程，某些数据倘若能够在一个网页页面内获得就不需要在好几个网页页面下获得。接着去重，同样是非常关键的手段，爬过的就不再继续爬了。