数据采集、爬虫、自媒体

自媒体之百家号账号信息

扫码关注博主公众号(十点数据)，可以获得200积分哦！！最近在研究自媒体信息的采集，目前收集了一批百家号账号信息，大概有120万左右，有哪位需要，可以下载。主要包括以下字段： self_media_name 自媒体账号名称 self_media...
- 十点数据
- 下载
- 1年前
- 3551
- 2
- 6500
- 9
微信采集整体解决方案

扫码关注博主公众号(十点数据)，可以获得200积分哦！！先前设计微信采集时，简单的写了一个整体解决方案，文档大致内容如下图，供大家参考一下。如需要完整的文档，可以登录下载。
- 十点数据
- 下载
- 1年前
- 2984
- 0
- 2000
- 9
微信采集之公众号账号信息

扫码关注博主公众号(十点数据)，可以获得1000积分哦！！最近几年一直在做采集相关的工作，工作之余收集了一些微信公众号账号信息，和搜狗搜索中的微信公众号差不多。每天都会更新一部分公众的信息，同时也会有一部分新的公众号加入，如有需要可以下载。主要...
- 十点数据
- 下载
- 1年前
- 4062
- 0
- 58800
- 17
一个不错的验证码打码平台

最近在处理基于搜狗微信的公众号信息(不是文章)的采集，由于采集量较大，频繁出现验证码。先前找了一个打码平台，忘记叫啥名字了，费用非调用一次3里钱，而且验证码的识别的准确率也就60~70%吧！平均一天要花费20元左右；这几天重新找了一家，识别的准...
- 十点数据
- 博客
- 1年前
- 5918
- 1
爬虫系列之Pyppeteer：比selenium更高效的爬虫界的新神器

Pyppeteer其实是Puppeteer的Python版本，下面简单介绍下Pyppeteer的两大特点，chromium浏览器和asyncio框架： 1).chromium Chromium是一款独立的浏览器，是Google为发展自家的浏览器G...
- 十点数据
- 爬虫
- 1年前
- 10594
- 1
爬虫系列之基于XPosed框架的微信公众号采集

1.所需插件介绍所需插件如下如： (1)VirtualXposed_AOSP_0.17.3.apk ①无需ROOt，无需刷机，就可以使用Xposed框架的插件 (2)weixinapp.apk ①自己编写的抓包插件 (3)Webviewde...
- 十点数据
- banner
- 1年前
- 7450
- 2
- 199
- 13
解决requests下载网页时的"RecursionError: maximum recursion depth exceeded while calling a Python object"错误！

我的requests库是2.25.0，重新安装2.23.0解决问题。其他版本没有尝试，具体原因尚未详细研究。 pip install requests==2.23.0
- 十点数据
- 爬虫
- 1月前
- 96
- 0
Python的print打印报编码错误的解决方法

错误类似如下提示： 'gbk' codec can't encode character '\xa9' in position 19672: illegal multibyte sequence 这个问题一般也就是在cmd中才会有。在cmd中...
- 十点数据
- 博客
- 3月前
- 212
- 0
Urllib库添加Headers的方法

方法一：借助build_opener和addheaders完成 import urllib.request import os,sys,io #解决编码问题，修改默认编码为gb18030 sys.stdout = io.TextIOWrapper...
- 十点数据
- 博客
- 3月前
- 194
- 0
PYTHON Consider using the `--user` option or check the permissions.

ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问。: 'D:\\Program Files (x86)\\Python\\Python39-32\\Lib...
- 十点数据
- 博客
- 3月前
- 498
- 0