2016-09-27 81 浏览 0 评论 【爬虫学习笔记】Url 过滤模块 UrlFilter UrlFilter 则是对提取出来的 URL 再进行一次筛选。不同的应用筛选的标准是不一样的，比如对于 baidu/google 的搜索，一般不进行筛选，但是对于垂直搜索或者定向抓取的应用，那么它可能只需要满足某个条件的 url，比如不需要图片的 url，比如只需要某个特定网站的 url 等等。UrlFilter 是一个和应用密切相关的模块。usingSystem;usingSystem.Collections.Gen 爬虫 UrlFilter