Mamba’s Home

Airflow 安装部署新闻信息是通过爬虫获取，使用 scrapy 框架进行爬虫任务；使用 airflow 工作流监控平台对爬虫任务进行管理、监控（可使用 CeleryExecutor 分布式，也可使用 LocalExecutor 多进程进行数据采集）。以下主要是对 airflow 的安装和配置。1.系统环境 y 目前使用的系统环境为 CentosLinuxrelease7.4.1708(core),linux 版本的内核 Lin

1、什么是 Redis？Redis 本质上是一个 Key-Value 类型的内存数据库，很像 memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据 flush 到硬盘上进行保存。因为是纯内存操作，Redis 的性能非常出色，每秒可以处理超过 10 万次读写操作，是已知性能最快的 Key-ValueDB。Redis 的出色之处不仅仅是性能，Redis 最大的魅力是支持保存多种数据结构，此外单个

Pipe 博客平台已经初始化完毕，可在管理后台-设置-基础设置中调整更多细节。如果需要导入已有博客文章，请参考文档 Hexo/Jekyll/Markdown 文件导入。另外，出于安全考虑请尽快完成如下操作：使用 GitHub 账号登录社区在社区个人设置-B3 中更新 B3Key 在 Pipe 管理后台-设置-账号中也进行同样的 B3Key 更新最后，如果你觉得 Pipe 很赞，请到项目主页给颗星鼓励一下 ❤️