爬虫_十点数据

爬虫系列之Pyppeteer：比selenium更高效的爬虫界的新神器

Pyppeteer其实是Puppeteer的Python版本，下面简单介绍下Pyppeteer的两大特点，chromium浏览器和asyncio框架： 1).chromium Chromium是一款独立的浏览器，是Google为发展自家的浏览器G...
- 十点数据
- 爬虫
- 1年前
- 12792
- 1
解决requests下载网页时的"RecursionError: maximum recursion depth exceeded while calling a Python object"错误！

我的requests库是2.25.0，重新安装2.23.0解决问题。其他版本没有尝试，具体原因尚未详细研究。 pip install requests==2.23.0
- 十点数据
- 爬虫
- 7月前
- 459
- 0
新版知乎搜索采集x-zse-93、x-zse-96加密破解

一：nodejs，jsdom环境安装 ①去官网下载nodejs安装， ②npm install jsdom ③在node_modules文件夹里检查有没有jsdom文件夹，有则代表安装成功，将此路径复制下来在代码里使用。二：登录Cookie...
- 十点数据
- 爬虫
- 1年前
- 2500
- 1
PyCurl设置HTTP代理示例

import pycurl , time, traceback from com.fy.utils.html.HtmlCode import HtmlCodeUtils from com.fy.utils.date.DateUtils impor...
- 十点数据
- 爬虫
- 1年前
- 2075
- 0
Gevent结合PyCurl实践(升级篇)

# encoding=utf-8 ''' Created on 2015-11-23 @author: fy ''' import pycurl , time, traceback #如果没有给gevent打上补丁的话，它是检测不到除gevent...
- 十点数据
- 爬虫
- 1年前
- 1034
- 0
json.decoder.JSONDecodeError: Expecting property name enclosed in double quo错误

写爬虫的时候遇到 json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)错误! 这里是把j...
- 十点数据
- 爬虫
- 1年前
- 2987
- 0
Python3.X中编码问题

Python在爬取数据，获取读取文件字符串时，经常会报如下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\uXXXX' in position 10: illegal mu...
- 十点数据
- 爬虫
- 1年前
- 2090
- 0
网络爬虫的实现原理与技术

01 网络爬虫实现原理详解不同类型的网络爬虫，其实现原理也是不同的，但这些实现原理中，会存在很多共性。在此，我们将以两种典型的网络爬虫为例（即通用网络爬虫和聚焦网络爬虫），分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫首先我们来看通用...
- 十点数据
- 爬虫
- 1年前
- 2628
- 0
比selenium更高效的爬虫界的新神器之Pyppeteer常用方法汇总

最近写了几十篇文章，发现也就爬虫系列之Pyppeteer：比selenium更高效的爬虫界的新神器阅读数还可以，看来大家对Pyppeteer还是比较感兴趣啊，今天就把先前使用中整理的常用方法发出来，供大家参考一下。 import asyncio...
- 十点数据
- 爬虫
- 1年前
- 2589
- 0
uvloop：一个比gevent还要快两倍的 Python 异步网络框架

asyncio是遵循Python标准库的一个异步 I/O框架．在这篇文章里，我将介绍 uvloop: 可以完整替代asyncio事件循环．uvloop是用Cython写的，基于 libuv. uvloop 使得 asyncio 更快. 实际上，比...
- 十点数据
- 爬虫
- 1年前
- 4571
- 0