Drony + mitmdump 抓包 Drony 当 charles 抓包抓不到信息时，需要设置手机代理，使用 charles+Drony 进行抓取手机流量经过 drony 转发到抓包软使用方式下载 drony 的 apk，安装手机配置手机或模拟器 wifi 设置代理为 127.0.0.1:8020drony 配置默认代理端口为 8020network 设置 ip 和 address，该 ip 和 address 为 charles 的地址，默认端口为 8888mitmdump 配置参考 h 爬虫
mitmdump 抓包 mitmproxy、mitmdump、mitmweb 比较启动 mitmdump,用 mitmproxy、mitmdump、mitmweb 这三个命令中的任意一个即可，这三个命令功能一致，且都可以加载自定义脚本，唯一的区别是交互界面的不同 mitmproxy 会提供一个在终端下的图形界面，具有修改请求和响应，流量重放等功能，具体操作方式有点 vim 的风格,mitmproxy 命令不支持在 windows 系统中运行 mi 爬虫
Drony+charles 抓包 App Drony 当 charles 抓包抓不到信息时，需要设置手机代理，使用 charles+Drony 进行抓取 android 客户端下载手机流量经过 drony 转发到抓包软使用方式下载 drony 的 apk，安装手机配置手机或模拟器 wifi 设置代理为 127.0.0.1:8020drony 配置默认代理端口为 8020network 设置 ip 和 address，该 ip 和 address 为 charles 的地址，默认端口为 8888c 爬虫
pyppeteer - 配置及常见问题 官方文档 https://miyakogi.github.io/pyppeteer/reference.html 读取 option#options 是 dict 类型,初始化时使用 awaitlaunch(self.options)options 选项#是否忽略 https 错误，默认为 FalseignoreHTTPSErrors#将 pyppeteer 操作减慢指定的毫秒数 slowMo(int|float)#是否以无头 爬虫
pyppeteer - 安装及简单命令 官方文档 https://miyakogi.github.io/pyppeteer/reference.html 安装#需要 pyppeteer.chromium_downloaderpipinstallwebsockets==7.0#默认安装 driver 路径 C:\Users\xxx\AppData\Local\pyppeteer\pyppeteer\local-chromium\chromdriver# 爬虫
python 使用 ssh 隧道连接 mysql 服务器 如果服务器使用密钥登陆，连接 mysql 数据库时，就必须使用 ssh 连接，然后再进行数据库连接操作。可以使用 python 的 sshtunnel 库，进行 ssh 连接，连接成功后再进行数据库连接。首先连接是 redisfromsshtunnelimportSSHTunnelForwarderwithSSHTunnelForwarder(ssh_address_or_host=('xxx.xxx.xxx.xxx', Python
爬虫代理 为什么需要代理之所以使用代理，可能是因为：1.加速访问速度；2.隐藏主机真实 ip 简单的说，网络通信需要 ip 地址，ip 地址提供主机在网络中的位置，而公共网络 ip 地址具有唯一性。ip 可以理解为主机的门牌号，要保证网络信息的快递顺利送达，必须保证门牌号的唯一性。而就因为是具有唯一性的，所以直接访问对方站点，对方会被明确的告知(写在请求头中)源地址。网络爬虫往往并不能告知对方自己的 ip，因为站点会在一定程度 爬虫
RabbitMQ 基本操作 安装配置 yum 安装 erlang，然后安装 rabbitmq-server 配置配置文件路径：/etc/rabbitmq/rabbitmq.config 配置内容：允许外部访问，设置{loopback_users,[]}，默认为 guest，如需要外部访问，配置此项日志文件路径：/var/log/rabbitmq/启动 systemctlstartrabbitmq-server 也可后台运行，nohuprabbi 消息队列
Git Gogs 安装配置 https://blog.csdn.net/hwm_life/article/details/82969005 配置问题域名：ip，不带 port 访问端口，默认 3000，如需要修改需要修改 gogs 配置文件启动./gogsweb，前台启动 nohup./gogsweb，后台启动使用 gitinit，gitadd，gitcommit 等命令使用方法和 git 一致 gitremoteaddoriginhttp: Git
Git 私有仓库 github 私有库在 github 上申请团队库开源免费，私有付费 git 私有库：在服务器中搭建私有仓库服务端安装，开启 git 服务建立 git 用户，设置密码初始化仓库：git-bareinit 或使用 gitinit，但需要修改：.git/config，添加[receive]denyCurrentBranch=ignore 如果为常用地址，免去每次提交需要输入帐号秘密，将客户端的 ssh 文件写入/home/git/ Git
Git 基本操作 gitinit，目录初始化 gitinit 在一个文件目录下使用 gitpull，拉仓库到本地，必须在仓库文件中使用，如果不是 git 仓库，初始化：gitinitgitpullhttp://192.168.10.123/test01/test_resp01mastergitpulloriginmaster 没有建立远程连接，使用仓库的 url 地址进行 gitpull 使用 origin 拉仓库，需要与远程仓库建立连接（ Git
docker 快速部署 redis 一般情况下，linux 环境安装 redis，需要编译安装，配置，启动服务等步骤，需要一点时间，而使用 docker 进行 redis 部署，迅速简洁，过程也较为间单。首先使用 docker 搜索 redis[root@192]#dockersearchredisNAMEDESCRIPTIONSTARSOFFICIALAUTOMATEDredisRedisisanopensourcekey-valuestoretha docker
mysql 整数类型 1.类型选择根据 mysql 手册，MySQL 支持的整数类型所需的存储和范围：类型存储（字节）最小值签名最小值无符号最大值签名最大值无符号 TINYINT1-1280127255SMALLINT2-3276803276765535MEDIUMINT3-83886080838860716777215INT4-2147483648021474836474294967295BIGINT8-2630263-126 MySQL