ScrapySharp
0 篇文章
为了便于使用及日后的扩展，将 Scrapy 简单封装为了 Requester。具体代码如下：usingSystem;usingSystem.Collections.Generic;usingCrawler.Common;namespaceCrawler.Protocol{publicclassRequester{privateUriUrl{get;set;}privateBrowserBrowser{ge
最近因为一个作业需要完成 CNKI 爬虫，研究爬虫架构的时候发现了这个疑似移植于 Python 的著名开源爬虫框架 Scrapy 的 ScrapySharp，然而在网上寻找之后只发现了这个 F#的 Demo，就使用原文中示例的网站写了这个 C#版本的代码。实现下面是代码:usingSystem;usingSystem.IO;usingSystem.Linq;usingSystem.Threading.Tasks;usi