Pyppeteer其实是Puppeteer的Python版本，下面简单介绍下Pyppeteer的两大特点，chromium浏览器和asyncio框架： 1).chromium Chromium是一款独立的浏览器，是Google为发展自家的浏览器G...

Python在爬取数据，获取读取文件字符串时，经常会报如下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\uXXXX' in position 10: illegal mu...

01 网络爬虫实现原理详解 不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在很多共性。在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫 首先我们来看通用...

最近写了几十篇文章，发现也就爬虫系列之Pyppeteer：比selenium更高效的爬虫界的新神器阅读数还可以，看来大家对Pyppeteer还是比较感兴趣啊， 今天就把先前使用中整理的常用方法发出来，供大家参考一下。 import asyncio...

asyncio是遵循Python标准库的一个异步 I/O框架．在这篇文章里，我将介绍 uvloop: 可以完整替代asyncio事件循环．uvloop是用Cython写的，基于 libuv. uvloop 使得 asyncio 更快. 实际上，比...

一：模块介绍 Pycurl是一个用C语言编写的libcurl Python实现，功能非常强大，支持操作协议有FTP，HTTP，HTTPS，TELNET等。与urllib相比，Pycurl的速度要快很多。 二：安装 大家可以去官网下载与本地Pyth...

在微博搜索采集时，默认情况下只显示当前页数据。如果搜索的关键词是热词，当前页数据的时间范围可能只有三五分钟。所以，如果要把数据采集全，则必须登录。 在大批量采集时，必须使用账号构建cookie池，并根据cookie有效期实时更新已过期的cooki...

自从2013年，自媒体开始崛起。再到2014年，自媒体开始能够赚钱，自媒体逐渐成为这个时代的一个趋势性的潮流。 随着公众号平台的不断火爆，各个自媒体平台如春笋班拔地而起。自媒体的蓬勃发展，很大程度上重塑了信息传播的格局，同时也催生了庞大的市场红利...

先前写过一篇《Python爬虫实践：如何快速、高效的爬取微信公众号阅读在看》的文章，里面介绍了四种公众号阅读数、在看数的采集方法，分别是： 第一种：使用第三方的平台获取 第二种方法：使用PC端模拟点击； 第三种：使用第三方工具； 第四种：基于微信...