python采集模块功能模块化整理

一、虚拟环境安装

#升级环境
python.exe -m pip install --upgrade pip

pip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple
#创建虚拟环境
python -m venv  demo

二、常用模块安装

pip install json5  tinyaes lxml aiohttp aiofiles requests  BeautifulSoup4 tqdm pyinstaller  -i https://pypi.tuna.tsinghua.edu.cn/simple

三、加密打包

四、模块封装文件类

五、封装工具类

六、网页BeautifulSoup模块使用

完整代码