记录精彩的程序人生
0 篇文章

Airflow 安装

Airflow 安装部署新闻信息是通过爬虫获取,使用 scrapy 框架进行爬虫任务;使用 airflow 工作流监控平台对爬虫任务进行管理、监控(可使用 CeleryExecutor 分布式,也可使用 LocalExecutor 多进程进行数据采集)。以下主要是对 airflow 的安装和配置。1.系统环境 y 目前使用的系统环境为 CentosLinuxrelease7.4.1708(core),linux 版本的内核 Lin