Pyppeteer其实是Puppeteer的Python版本，下面简单介绍下Pyppeteer的两大特点，chromium浏览器和asyncio框架： 1).chromium Chromium是一款独立的浏览器，是Google为发展自家的浏览器G...

一：nodejs，jsdom环境安装 ①去官网下载nodejs安装， ②npm install jsdom ③在node_modules文件夹里检查有没有jsdom文件夹，有则代表安装成功，将此路径复制下来在代码里使用。 二：登录Cookie...

import pycurl , time, traceback from com.fy.utils.html.HtmlCode import HtmlCodeUtils from com.fy.utils.date.DateUtils impor...

Python在爬取数据，获取读取文件字符串时，经常会报如下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\uXXXX' in position 10: illegal mu...

01 网络爬虫实现原理详解 不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在很多共性。在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫 首先我们来看通用...

最近写了几十篇文章，发现也就爬虫系列之Pyppeteer：比selenium更高效的爬虫界的新神器阅读数还可以，看来大家对Pyppeteer还是比较感兴趣啊， 今天就把先前使用中整理的常用方法发出来，供大家参考一下。 import asyncio...

asyncio是遵循Python标准库的一个异步 I/O框架．在这篇文章里，我将介绍 uvloop: 可以完整替代asyncio事件循环．uvloop是用Cython写的，基于 libuv. uvloop 使得 asyncio 更快. 实际上，比...