数据采集、爬虫、自媒体_十点数据 http://www.blog2019.net/ 十点数据是一个分享Java、Python、微服务、分布式、大数据、NOSQL数据库等使用经验的平台,专注于互联网数据采集、企业数据采集、自媒体运营等领域。 致力于为广大Java、Python、数据采集,爬虫工程师等领域爱好者,提供实际工作中的问题解决方法、方案、使用技巧等。同时,为自媒体工作者,提供一些自媒体写作与运营技巧相关文章,提高其工作效率。 zh-cn Python3.X动态加载模块和类,并执行特定的方法; #coding=UTF-8 import importlib 1、获取模块对象 mName = "org.eseet.traffic.accident.TrafficAccidentyAnQuan"#模块路径,精确到.py文件 module =... 猪猪侠 2021-09-30 18:38 http://www.blog2019.net/post/222 http://www.blog2019.net/post/222 python3.X 报错:ModuleNotFoundError: No module named 'Crypto'的解决方案 在使用python的第三方库Crypto时,代码如下 from Crypto.Cipher import AES 运行程序,出现报错: ModuleNotFoundError:No module named "Crypto" 首先想到的是安装... 猪猪侠 2021-09-28 23:52 http://www.blog2019.net/post/221 http://www.blog2019.net/post/221 新版知乎搜索采集x-zse-93、x-zse-96加密破解 一:nodejs,jsdom环境安装 ①去官网下载nodejs安装, ②npm install jsdom ③在node_modules文件夹里检查有没有jsdom文件夹,有则代表安装成功,将此路径复制下来在代码里使用。 二:登录Cookie... 猪猪侠 2021-09-25 13:51 http://www.blog2019.net/post/220 http://www.blog2019.net/post/220 PyCurl设置HTTP代理示例 import pycurl , time, traceback from com.fy.utils.html.HtmlCode import HtmlCodeUtils from com.fy.utils.date.DateUtils impor... 猪猪侠 2021-09-17 18:19 http://www.blog2019.net/post/219 http://www.blog2019.net/post/219 Gevent结合PyCurl实践(升级篇) # encoding=utf-8 ''' Created on 2015-11-23 @author: fy ''' import pycurl , time, traceback #如果没有给gevent打上补丁的话,它是检测不到除gevent... 猪猪侠 2021-09-14 10:29 http://www.blog2019.net/post/218 http://www.blog2019.net/post/218 错误:pycurl.error: (60, 'SSL certificate problem: self signed certificate in certificate chain')解决方案 The problem is that pycurl needs an up-to-date certificate chain to verify the ssl certificates. A good solution would be t... 猪猪侠 2021-09-12 18:45 http://www.blog2019.net/post/217 http://www.blog2019.net/post/217 Error creating bean with name 'flywayInitializer' defined in class path resource [org/springframework/boot/autoconfigure/flyway/ 错误信息如下: ` Spring Boot : 2.2.6.RELEASE mblog : 4.0.0 mblog storage : E:\WorkSpace\mblog 2021-07-06 01:39:59 [restartedMain] ... 猪猪侠 2021-07-06 01:48 http://www.blog2019.net/post/216 http://www.blog2019.net/post/216 pymysql Warning: (1366, "Incorrect string value: '\\xF0\\x9F\\x92\\xAB` ...' for column 'self_media_brief' at row 1") 在处理emoji时,报错1366,原因是编码造成的 在mysql8里,字符集默认就是 utf8mb4,已支持emoji python3默认就是utf8 原因就出在两个字符集上,utf8mb4是utf8的超集,mb4是most bytes 4的意思... 猪猪侠 2021-06-25 15:36 http://www.blog2019.net/post/215 http://www.blog2019.net/post/215 json.decoder.JSONDecodeError: Expecting property name enclosed in double quo错误 写爬虫的时候遇到 json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)错误! 这里是把j... 猪猪侠 2021-06-23 15:55 http://www.blog2019.net/post/214 http://www.blog2019.net/post/214 JavaFX系列之WebView加载网页后,登录时出现“网络连接失败,请重试”的解决方法 相关阅读: JavaFX系列之给对象添加ContextMenu菜单 JavaFX系列之WebView介绍 JavaFx系列之WebView插件中JavaScript和Java相互调用,并传递值 JavaFX系列之WebView加载网页后,登录时出... 猪猪侠 2021-04-03 23:37 http://www.blog2019.net/post/213 http://www.blog2019.net/post/213 Linux Red Hat 3.10.0-1127.19.1.el7.x86_64 下安装mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz 环境 操作系统:Linux iZ2ze47rd7nthnbzdggsvrZ 3.10.0-1127.19.1.el7.x86_64 #1 SMP Tue Aug 25 17:23:54 UTC 2020 x86_64 x86_64 x86_64 ... 猪猪侠 2021-03-09 21:22 http://www.blog2019.net/post/212 http://www.blog2019.net/post/212 Python3.X中编码问题 Python在爬取数据,获取读取文件字符串时,经常会报如下错误: UnicodeEncodeError: 'gbk' codec can't encode character '\uXXXX' in position 10: illegal mu... 猪猪侠 2021-03-06 00:11 http://www.blog2019.net/post/211 http://www.blog2019.net/post/211 使用SecureCRT实现文件的上传下载 一、使用命令来操作文件传输 1.使用命令来传输文件快捷键 ALT+P 会出现下面界面 现在就可以使用命令来传输和下载了 2.在这个界面里可以使用正常的linux命令 解释如下: sftp> pwd #显示当前路径 /root sftp... 猪猪侠 2020-12-04 15:51 http://www.blog2019.net/post/210 http://www.blog2019.net/post/210 数据采集中代理IP的使用 1.首先构造: session` import requests session=requests.Session() 2.构造代理: proxy proxies的格式如下 第一种:用户名username、 密码password、 proxy_... 猪猪侠 2020-11-27 16:55 http://www.blog2019.net/post/209 http://www.blog2019.net/post/209 解决layui内页打开新的tab页面时,不显示的问题。 调用默认的**xadmin.add_tab添加新tab时,需要刷新界面,新tab才会显示。为了解决这一缺陷,需要在xadmin.js中添加下述代码,新增时改用调用add_tab_f**方法即可。 //在xadmin.js中添加 Xadmin.pr... 猪猪侠 2020-11-16 11:27 http://www.blog2019.net/post/208 http://www.blog2019.net/post/208 一种基于PC端微信公众号的高效采集监测方法 相关阅读: 一套价值十万的微信公众号采集解决方案 史上最快、最笨的公众号文章阅读数、在看数采集,哈哈 Python爬虫实践:如何快速、高效的爬取微信公众号阅读在看数 微信采集之公众号账号信息 最近公司微信采集有了新的突破,可以基于微信PC端进行公... 猪猪侠 2020-09-26 22:29 http://www.blog2019.net/post/207 http://www.blog2019.net/post/207 杰夫·贝佐斯(亚马逊总裁) :2020年致股东的一封信(电商圣经) 致我们的股东: 我们从此次新冠病毒疫情中学到的一件事是:亚马逊对我们的用户来说变得多么重要。我们希望你们知道,我们认真对待这一责任,我们为我们的团队正在帮助用户度过这段困难时期所做的工作感到自豪。 “亚马逊人”正夜以继日地工作,以便将必要的物资直... 猪猪侠 2020-09-05 01:40 http://www.blog2019.net/post/205 http://www.blog2019.net/post/205 新榜指数(NRI)算法说明 新榜指数(NRI)算法说明 什么是新榜指数 新榜指数(New Rank Index,NRI)系由新媒体排行榜(newrank.cn)基于海量数据、用户深度反馈及专家建议而推出,用于衡量中国移动互联网渠道新媒体(主要指两微一端)的传播能力,此指数反... 猪猪侠 2020-09-05 01:22 http://www.blog2019.net/post/204 http://www.blog2019.net/post/204 (WCI)微信指数是怎么算出来的 WCI(由清华大学新闻与传播学院提供学术支持,国内多个高校的知名学者教授担任学术顾问)是清博指数的一种算法,具体算法如下(已更新到V12.0):1、关于公式调整说明: 由于WCI-11.3在指标设置上存在一定局限性(总阅读数受评价周期长短影响大,... 猪猪侠 2020-09-04 23:14 http://www.blog2019.net/post/203 http://www.blog2019.net/post/203 基于jquery-loading实现的九种页面预载入效果(loading) 最近一个多月,在做一个类似搜索引擎的自媒体账号搜索服务平台,点击搜索时需要用到loading数据加载的状态。现整理几种效果较好的实现方式,供大家参考。 第一种:默认效果 第二种:纵向文字颜色 第三种:纵向效果无title 第四种:纵向效果无... 猪猪侠 2020-09-02 02:10 http://www.blog2019.net/post/202 http://www.blog2019.net/post/202 img引用网络图片资源无法加载问题解决 最近在做自媒体号综合查询服务系统时,发现各个账号的头像总是无法显示。但是如果头像地址在浏览器中打开以后,刷新就能显示出来。如下图所示: 后来发现是meta配置问题。 解决办法: 在图片显示的界面把meta referrer标签改为never &... 猪猪侠 2020-08-29 16:05 http://www.blog2019.net/post/201 http://www.blog2019.net/post/201 如何实现一个类似淘宝搜索条件筛选的效果? 最近做自媒体账号搜索,需要一个条件筛选控件,最后发现淘宝的筛选样式挺好,就在网上找了一个,并根据实际进行了部分修改完善。 最终效果如下: 实现代码如下所示: <link rel="stylesheet" type="text/css" h... 猪猪侠 2020-08-26 14:07 http://www.blog2019.net/post/200 http://www.blog2019.net/post/200 基于JQuery.Qrcode插件的URL转为微信可识别的二维码 最近在做一个自媒体账号查询的搜索引擎,其中有微信公众号部分,主要把公众号首页地址转为微信公众号可以识别的二维码,以方便用户添加自己关心的公众号。 本来想采集搜狗微信中的二维码,却发现二维码是临时的,时间长就无法使用了。故想到直接把微信历史文章页转... 猪猪侠 2020-08-26 13:53 http://www.blog2019.net/post/199 http://www.blog2019.net/post/199 CSS实现鼠标经过网页图标弹出微信二维码 特点 1、纯CSS实现二维码展示功能,减少加载JS; 2、使用CSS3 transform 属性; a 第一步 在需要展示二维码的地方添加如下代码,其中标签内容可以根据需要修改成图片等,href=””表示标签作为按钮使用,不做跳转,实现url访... 猪猪侠 2020-08-23 20:20 http://www.blog2019.net/post/198 http://www.blog2019.net/post/198 Eatzilla Food Delivery App If you want to create a Zomato or uber like app the best way to proceed would be to use an ubereats clone script. An uber e... 猪猪侠 2020-07-31 19:39 http://www.blog2019.net/post/197 http://www.blog2019.net/post/197 银行企业客户风险预警方案 扫码关注博主公众号(十点数据),可以获得100积分哦!! 风险预警设计方案说明书 1引言 1.1编写目的 风险预警主要对客户在XXX银行或其他银行出现的违约风险信息、财务风险信息、担保风险信息、经营管理风险信息、关联风险信息和其他预警信息实现主动... 猪猪侠 2020-07-24 10:09 http://www.blog2019.net/post/196 http://www.blog2019.net/post/196 面试官:比如有10万个网站,有什么方法快速的取到数据吗? 相关阅读: 字节跳动面试锦集(一):Android Framework高频面试题总结 字节跳动面试锦集(二):项目HR高频面试总结 数据采集采集架构中各模块详细分析 网络爬虫的实现原理与技术 爬虫工程师,如何高效的支持数据分析人员的工作? 基于大... 猪猪侠 2020-07-16 15:52 http://www.blog2019.net/post/195 http://www.blog2019.net/post/195 爬虫系列之自动化运维(一)服务器节点详细设计 相关阅读: 网络爬虫的实现原理与技术 Python,开发爬虫的不二选择 我们能用Python做什么?学Python有前途吗? 3人团队,如何管理10万采集网站?(最全、最细解读) 运维系列之FastAPI自动化运维接口服务 运维系列之远程部署神器... 猪猪侠 2020-07-13 22:08 http://www.blog2019.net/post/194 http://www.blog2019.net/post/194 自媒体创作,写着写着“没思路”了? 如何治? 即便你不是广告文案、新媒体运营或市场策划,你仍有可能面对要写方案、报 告、工作总结等文稿。如果你数次打开 word 面对白花花的界面不知如何下手,不得不 冲杯咖啡假装可以获得更多灵感,然并卵。 那么你可能需要一些“没思路”的处方了。 没思路有两种... 猪猪侠 2020-07-10 01:24 http://www.blog2019.net/post/193 http://www.blog2019.net/post/193 一个不错的验证码打码平台 最近在处理基于搜狗微信的公众号信息(不是文章)的采集,由于采集量较大,频繁出现验证码。先前找了一个打码平台,忘记叫啥名字了,费用非调用一次3里钱,而且验证码的识别的准确率也就60~70%吧!平均一天要花费20元左右; 这几天重新找了一家,识别的准... 猪猪侠 2020-07-10 01:02 http://www.blog2019.net/post/192 http://www.blog2019.net/post/192 爬虫系列之数据质量监控实践篇:规则库梳理与设计 先前在《爬虫系列之数据质量监控(二):监控系统设计 》一文中,对采集中数据解析部分可能出现的各种异常,进行了大概的总结。比如:标题或内容中包含乱码、css样式、JavaScript代码等。 由于出现的异常可能千奇百怪,我们不可能提前想到所有现象。... 猪猪侠 2020-06-30 23:02 http://www.blog2019.net/post/191 http://www.blog2019.net/post/191 LayUi的Table表格defaultToolbar工具栏的显示与隐藏(权限控制) LayUi的表格上方的列筛选、打印和导出等三个按钮,如果想要控制其显示或隐藏,需要修改“\layui\lib\layui\lay\modules\”目录下“table.js”中源码, 修改内容如下所示: 图中“cols”、“export”、“p... 猪猪侠 2020-06-15 15:08 http://www.blog2019.net/post/190 http://www.blog2019.net/post/190 50个源自硅谷的工作方法论(十):奥巴马顾问的“清单工作法”一一清单革命 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的... 猪猪侠 2020-06-15 10:37 http://www.blog2019.net/post/189 http://www.blog2019.net/post/189 Spring Boot+LayUi实现单文件上传 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 基于X-admin2.2的后台管理系统登录实现 LayUi的动态表格table中设置下拉框Select编辑器 LayUi搜索时,如何只刷新... 猪猪侠 2020-06-15 01:06 http://www.blog2019.net/post/188 http://www.blog2019.net/post/188 50个源自硅谷的工作方法论(九):贝索斯的“电商圣经”一一PPP工作法 相关阅读: 杰夫·贝佐斯(亚马逊总裁) :2010年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :2014年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :2011年致股东的一封信(电商圣经) 杰夫·贝佐斯(亚马逊总裁) :... 猪猪侠 2020-06-10 16:58 http://www.blog2019.net/post/187 http://www.blog2019.net/post/187 Spring Boot 2.X+Shiro中如何获取访问的类和方法的注解 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boot+LayUi实现单文件上传 Spring Boot集成X-admin2.2时,Layui字体图... 猪猪侠 2020-06-09 11:48 http://www.blog2019.net/post/186 http://www.blog2019.net/post/186 35岁的技术如何进行职业转型。技术转管理?据说成功率不到70% 导读:曾经看到过一个数据,技术转管理的成功率不到7成,也就是说好不容易在职场中拼杀突围,获得了晋升机会,10个人里至少有3 个人没能完成技术转管理的“惊险一跳”。本文整理自黄哲铿老师在“CSDN学院”的分享,原题为《从技术到管理,你必须迈过的九道... 猪猪侠 2020-06-08 13:33 http://www.blog2019.net/post/185 http://www.blog2019.net/post/185 LayUi的动态表格table中设置下拉框Select编辑器 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boo... 猪猪侠 2020-06-07 17:58 http://www.blog2019.net/post/184 http://www.blog2019.net/post/184 Spring Boot+JPA微服务中数据更新问题(update) 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot整合Java web项目 Spring Boot 踩坑系列之Error resolving template Spring Boot集成X-admin2.2时,L... 猪猪侠 2020-06-05 09:23 http://www.blog2019.net/post/183 http://www.blog2019.net/post/183 基于X-admin2.2的后台管理系统登录实现 相关阅读: X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? Spring Boot+JPA微服务中数据更新问题(update) Spring Boot集成X-admin2.2时,Layui字体图标... 猪猪侠 2020-06-04 00:52 http://www.blog2019.net/post/182 http://www.blog2019.net/post/182 X-admin2.2打开页面(添加弹窗),执行成功后如何关闭弹出窗口和刷新table表格内容? 相关阅读: 基于X-admin2.2的后台管理系统登录实现 Spring Boot+JPA微服务中数据更新问题(update) Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 LayUi搜索... 猪猪侠 2020-06-02 15:46 http://www.blog2019.net/post/181 http://www.blog2019.net/post/181 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的) 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 50... 猪猪侠 2020-06-02 13:53 http://www.blog2019.net/post/180 http://www.blog2019.net/post/180 50个源自硅谷的工作方法论(七):如何吃掉一头大象?一一Issue(任务) 相关阅读: 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 50个源自硅谷的工作方法论(八):找到“方法”的方法一一Solution(方法) 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 50个... 猪猪侠 2020-06-02 13:46 http://www.blog2019.net/post/179 http://www.blog2019.net/post/179 LayUi搜索时,如何只刷新表格内容,其他内容不变? 相关阅读: Spring Boot 踩坑系列之Error resolving template Maven项目中引入net.sf.json.JSONObject依赖jar包 X-admin2.2表单提交方式及注意事项 X-admin2.2中swi... 猪猪侠 2020-06-02 10:09 http://www.blog2019.net/post/178 http://www.blog2019.net/post/178 ZTree工具类汇总,包括:新增、编辑和删除节点,并提交后台 相关阅读: X-admin2.2中switch开关的监听,以及属性值获取和更改状态等操作 Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 X-admin2.2表单提交方式及注意事项 Spri... 猪猪侠 2020-06-02 01:55 http://www.blog2019.net/post/177 http://www.blog2019.net/post/177 面试准备、HR、Android技术等面试问题汇总 第一章程序员简历 程序员简历就该这样写 本篇文章除了教大家用Markdown如何写一份程序员专属的简历,后面还会给大家推荐一些不错的用来写Markdown简历的软件或者网站,以及如何优雅的将Markdown格式转变为PDF格式或者其他格式。 推荐... 猪猪侠 2020-05-24 17:23 http://www.blog2019.net/post/176 http://www.blog2019.net/post/176 爬虫系列之数据质量监控(三):kafka统一接口处理逻辑分析 (二)KAFKA统一数据推送接口 1)非空校验 处理逻辑:除标题为空数据直接存入异常MySQL库中外,其他类型的数据直接流到数据质量校验步骤进行分析; 2)数据质量校验 主要是根据每个字段设置的校验规则,对其进行相应的校验处理。 3)二次排重处理... 猪猪侠 2020-05-23 08:08 http://www.blog2019.net/post/175 http://www.blog2019.net/post/175 爬虫系列之数据质量监控(二):监控系统设计 如需完整Word文档,请关注“十点数据”公众号获取。 二、数据监控流程图 三、流程详解 (一)信源系统 信源系统主要是用来管理各种规则,同时接收异常信息、并分析异常情况。 根据分析结果,把相应的信息推送给信源管理、采集人员等相关人员,以便优化采... 猪猪侠 2020-05-23 03:28 http://www.blog2019.net/post/174 http://www.blog2019.net/post/174 50个源自硅谷的工作方法论(六):把事做对,还是做对的事?一一Target(目的) 吹牛也要有目的 《用得上的商学课》第一季全网销量超过30万的时候,从订阅份数来看,已经可以臭不要脸地说全网第一名了。然后你懂的,老路就膨胀了,就爆棚了,就要原地爆炸了。我立马给团队开会,说:“咱们做一个大型发布会,把这个事儿吹出去。” 然后,我们... 猪猪侠 2020-05-21 09:12 http://www.blog2019.net/post/173 http://www.blog2019.net/post/173 员工晋升系列之述职报告 工作回顾 前言 能参加本次晋升陈述我感到十分荣幸,首先感谢领导能给我这次机会。回顾自己这段时间里做过的工作,我主要是通过不断的复盘总结进行着自我提升,也一直在思考过自己的优势与不足。今后我会努力发挥好自己的优势,朝着更好的方向前进。 我的主要工... 猪猪侠 2020-05-21 02:17 http://www.blog2019.net/post/172 http://www.blog2019.net/post/172 字节跳动面试锦集(二):项目HR高频面试总结 1.项目开发中遇到的最大的一个难题和挑战,你是如何解决的。(95% 会问到) 说说你开发最大的优势点(95% 会问到) 你为什么会离开上家公司 你的缺点是什么? 你能给公司带来什么效益? 你对未来的职业规划? 1、自我介绍... 猪猪侠 2020-05-20 01:07 http://www.blog2019.net/post/171 http://www.blog2019.net/post/171 字节跳动面试锦集(一):Android Framework高频面试题总结 相关阅读: 字节跳动面试锦集(二):项目HR高频面试总结 1.AMS 、PMS 1.AMS概述 AMS是系统的引导服务,应用进程的启动、切换和调度、四大组件的启动和管理都需要AMS的支持。从这里可以看出AMS的功能会十分的繁多,当然它并不是一个类... 猪猪侠 2020-05-20 00:57 http://www.blog2019.net/post/170 http://www.blog2019.net/post/170 Spring Boot集成X-admin2.2时,Layui字体图标无法正常显示或乱码问题解决方法 最近在Spring Boot集成X-admin2.2时,好多按钮的图标都不显示了,只是显示个小方块乱码。其他的一些checkbox之类的也是不能正常显示。如下所示: 解决方法主要有以下几步: 第一步:确定已经引入fonts或lib/layui/... 猪猪侠 2020-05-19 22:34 http://www.blog2019.net/post/169 http://www.blog2019.net/post/169 一处景观雕塑,点亮庭院艺术 雕塑是设计的点睛之笔, 往往能撑起整个门面, 提升整体气质,成为亮点。 创意的设计, 总是会带来出乎意料的惊喜。 金地中核 ·格林格林——《时间音乐盒》 ▲你是否回想起儿时的音乐盒? 勾起客户儿时美好回忆的心理沉浸式体验的舞女雕塑 舞女自由自... 猪猪侠 2020-05-19 21:43 http://www.blog2019.net/post/168 http://www.blog2019.net/post/168 X-admin2.2中switch开关的监听,以及属性值获取和更改状态等操作 背景 最近在整合一个项目的后台管理系统中的权限部分功能时,用户有个启用和禁用的切换,先前是使用的按钮作为一个操作进行。 但是比较麻烦,最后决定使用layui的switch切换。通过参考文档及网友的经验,在此备记录,以备不时之需。 HTML代码部分... 猪猪侠 2020-05-18 22:13 http://www.blog2019.net/post/167 http://www.blog2019.net/post/167 X-admin2.2表单提交方式及注意事项 在做基于SpringBoot+Frammark+X-admin2.2的开发时,涉及到的表单提交处理逻辑,记录一下以备不时之需。 前端代码如下所示: // 表单提交 form.on('submit(first1)', function (data)... 猪猪侠 2020-05-18 12:50 http://www.blog2019.net/post/166 http://www.blog2019.net/post/166 Maven项目中引入net.sf.json.JSONObject依赖jar包 最近在做基于SpringBoot+Frammark+X-admin2.2的开发时,涉及到json的处理,涉及到了net.sf.json.JSONObject相关的依赖包。Maven中的引用如下所示: <!-- JSONObject对象依... 猪猪侠 2020-05-18 11:27 http://www.blog2019.net/post/165 http://www.blog2019.net/post/165 ECharts中From Left to Right Tree树形图后台数据构造与节点点击事件 最近在做一个项目中涉及到了百度ECharts中From Left to Right Tree树形图的使用,。虽然ECharts使用有些年头了,但是在后台数据构造时还是浪费了一点时间。 现在记录一下,算是留做备份吧。同时也给需要的童鞋做个参考。 ... 猪猪侠 2020-05-14 13:55 http://www.blog2019.net/post/163 http://www.blog2019.net/post/163 爬虫系列之数据质量监控(一) 如需完整Word文档,请关注“十点数据”公众号获取。 一、概述 1.现状 最近SaaS平台、APP等产品,总是采集的数据中存在各种各样的问题,如标题解析成JavaScript代码,或者包含一段无用的字符、或者出现一个乱码字符串等等。 先前的那套监... 猪猪侠 2020-05-13 09:07 http://www.blog2019.net/post/162 http://www.blog2019.net/post/162 50个源自硅谷的工作方法论(五):我们如何摆脱平庸与短视?一一买单理论 一支神奇的股票 在美国的股市里,有一支神奇的股票,叫亚马逊。 如果你在1997年,它刚刚上市的时候,买了这支股票,那么,2000年互联网泡沫破灭的时候,你99%的钱都会变成废纸。这个结果,你,接受吗? 如果你在1997年,想买这个股票却没有买。到... 猪猪侠 2020-05-12 16:39 http://www.blog2019.net/post/161 http://www.blog2019.net/post/161 50个源自硅谷的工作方法论(四):我们是如何陷入贫穷与忙碌?一一稀缺心态 为什么大多数穷人,会穷一辈子? 在印度一个市场里,有这样一群小贩。他们每天天不亮,就花1000卢比进货,大概100块钱人民币的样子。辛苦一天卖完,能净赚100卢比。大部分小贩都需要借钱才能进货,所以赚的100卢比里,还有一半,要用来还利息。 听着... 猪猪侠 2020-05-10 15:25 http://www.blog2019.net/post/159 http://www.blog2019.net/post/159 50个源自硅谷的工作方法论(三):波浪式前进,螺旋式上升一一平衡记分卡 从“评价NBA球员”到“管理企业” 有些同学可能知道,我这个人没什么爱好,就一个,爱看NBA,看了快二十年。 很多年前,评价一个篮球运动员,就是看得分、篮板、助攻。但是,这些数据展现了“结果”,却没有展现“过程”。于是,人们开始关注新的数据,比如... 猪猪侠 2020-05-09 12:55 http://www.blog2019.net/post/158 http://www.blog2019.net/post/158 50个源自硅谷的工作方法论(二):麦肯锡为什么只用这一套方法?一一金字塔原理 微软的面试题在考什么? 微软有一道名震四海的面试题:“下水道的井盖为什么是圆的?” 大部分人能想到的答案是:因为圆井盖,不容易掉下去。这个答案只能是普通,而普通的答案,没法帮你,拉开跟别人的差距。 老路给你说几个答案,你感受一下: 1. 圆井盖更... 猪猪侠 2020-05-08 14:18 http://www.blog2019.net/post/157 http://www.blog2019.net/post/157 50个源自硅谷的工作方法论(一):马斯克为什么只认这一理论?一一第一性原理 马斯克为什么总能创新? 说第一性原理,就必须还得提马斯克,是他把这个概念带火的。 这个人确实神奇。他好奇在火星上种庄稼,能种出什么来,于是自己创办了SpaceX造火箭。所以,嘲讽一般的人,你可以跟他说,你咋不上天呢?怼马斯克,你可千万别这么说,... 猪猪侠 2020-05-07 10:36 http://www.blog2019.net/post/156 http://www.blog2019.net/post/156 Python爬虫中requests下载插件常用方法汇总(一) 最近在对先前写的爬虫框架进行升级,今天把下载部分使用的插件更新了一下,把原来的urllib.request换成了requests插件。 花了几个小时仔细的研究了一下requests的参数,目前初步整理一个工具类,代码如下: import requ... 猪猪侠 2020-05-07 02:15 http://www.blog2019.net/post/155 http://www.blog2019.net/post/155 把Tomcat安装到系统服务 安装步骤如下: 一:下载软件包 官网:Tomcat官网 下载自己想要的安装包,我下载的是:64-bit Windows zip (pgp, sha512) 。 二:解压安装包 解压下载的安装包,到合适的位置,建议解压至非系统盘,以免占用系统盘空间... 猪猪侠 2020-05-05 12:43 http://www.blog2019.net/post/154 http://www.blog2019.net/post/154 前端Web界面,显示Java后端的图片流 最近在做一个寺庙相关信息的大屏显示系统时,由于使用的历史系统后台,跨域问题较难解决,最后决定使用图片流的方式,在前端显示图片。 后端Java如下: @RequestMapping(value = "/getFileStream", method... 猪猪侠 2020-05-04 15:17 http://www.blog2019.net/post/153 http://www.blog2019.net/post/153 前端Web界面播放Java后端返回的音频流,视频流 最近在做一个大屏系统时,需要在界面中播放一段视频,由于跨域问题,最后决定使用视频流的方式,把音频文件传到前端进行播放。 后端Java代码如下: @RequestMapping(value = "/videoFlow", method = Req... 猪猪侠 2020-05-04 15:06 http://www.blog2019.net/post/152 http://www.blog2019.net/post/152 不用CSDN和知乎,我照样写博客 以前经常会在豆瓣、简书等自媒体上写一些文章,来记录一些工作中遇到的问题,或者某些问题/事件的解决方法。 有时总是被告知因为 XXX 原因未能发布,转有私有!反复校验,也找不到什么敏感词,申诉多次也都不成功! 有时,发表的内容,会无意间就被删帖或者... 猪猪侠 2020-05-03 22:01 http://www.blog2019.net/post/151 http://www.blog2019.net/post/151 网络爬虫的实现原理与技术 01 网络爬虫实现原理详解 不同类型的网络爬虫,其实现原理也是不同的,但这些实现原理中,会存在很多共性。在此,我们将以两种典型的网络爬虫为例(即通用网络爬虫和聚焦网络爬虫),分别为大家讲解网络爬虫的实现原理。 1. 通用网络爬虫 首先我们来看通用... 猪猪侠 2020-05-03 17:06 http://www.blog2019.net/post/150 http://www.blog2019.net/post/150 Spring Boot 踩坑系列之Error resolving template 异常信息: 【Spring Boot+Mybatis+thymeleaf报错】Error resolving template "XXX", template might not exist or might not be accessible... 猪猪侠 2020-04-29 15:27 http://www.blog2019.net/post/149 http://www.blog2019.net/post/149 Spring Boot整合Java web项目 Spring Boot简介 1:Spring Boot是Spring家族中的一个全新的框架,它用来简化Spring应用程序的创建和开发过程,也可以说Spring boot能简化我们之前采用SpringMVC+Spring+Mybatis框架进行... 猪猪侠 2020-04-29 01:21 http://www.blog2019.net/post/148 http://www.blog2019.net/post/148 分享一份技术大牛整理的一个技术简历模板 这是一个技术大牛直播后写的一份技术简历,感觉挺好,分享一下。 简历大概分为六部分:基本信息,工作经验,IT技能,项目经验,教育经历和个人评价。各部分格式如下如: 基本信息和工作经验: IT技能 项目经验 经历和个人评价 如需原始模板,请加... 猪猪侠 2020-04-28 14:20 http://www.blog2019.net/post/147 http://www.blog2019.net/post/147 一文带你了解Elasticsearch与Solr优缺点 Elasticsearch简介 Elasticsearch是一个建立在 Apache Lucene™ 基础上的实时的分布式搜索和分析引擎,是基于Lucene实现的、当今最先进,最高效的全功能开源搜索引擎框架。 Elasticsearch使用Luc... 猪猪侠 2020-04-28 00:04 http://www.blog2019.net/post/146 http://www.blog2019.net/post/146 网站SEO系列之站内链接和网站结构优化 一:站内链接 1:站内链接概念 简单理解就是网站内部,网页与网页之间的链接。 2:作用 a:搜索引擎抓取网页更加容易,提高收录量; b:让搜索引擎更加清楚的判断出你的网站的主题是什么; c:合理传递网站的权重; d:更有利于排名; 3:如何... 猪猪侠 2020-04-27 00:25 http://www.blog2019.net/post/145 http://www.blog2019.net/post/145 一文带你了解solr部署全过程(word免费送) 扫码关注右侧博主公众号,回复“solr”,即可获取Word版原始文件。 一、环境准备 软件版本: Tomcat 版本:7.0.56 JDK 版本:1.7.0_71 SOLR 版本:4.8.1 软件包: apache-tomcat-7.0.56... 猪猪侠 2020-04-26 10:52 http://www.blog2019.net/post/144 http://www.blog2019.net/post/144 13 个基本动,让你成为批量炮制观点犀利爆款文章的高手! 总有不少人问我如何运营微信公众号,就好像我知道似的……这个问题很大,没有一本书是回答不了的。 也许我能回答这个小问题:如何批量炮制有观点的微信文章? Ctrl+C、Ctrl+V也难为无米之炊。欲练此功,必先有文章,再加入观点,再批量生产。三步完成... 猪猪侠 2020-04-25 02:19 http://www.blog2019.net/post/143 http://www.blog2019.net/post/143 在Python环境中如何调用可执行exe文件 在我们平常工作中,经常涉及到用代码启动一个可执行文件的情况。那么,在Python环境中,启动一个可执行文件的方式有哪些呢? 一:system方式 os.system() 会保存可执行程序中的打印值和主函数的返回值,且会将执行过程中要打印的内容打印... 猪猪侠 2020-04-23 01:54 http://www.blog2019.net/post/142 http://www.blog2019.net/post/142 爆款是怎样炼成的( 9 字箴言 ) 内容来源:本文来自天地出版社《爆品方法论》读书笔记。 如何在预算非常少的前提下,让更多的人知道你的产品? 在北京,有一个做红酒电商的创业团队。据该团队透露,获得 1 位客户的成本是 130 元,而主打的红酒产品成本每瓶只有 60 元。他们连续花费... 猪猪侠 2020-04-22 11:04 http://www.blog2019.net/post/141 http://www.blog2019.net/post/141 关注博主公众号送高额积分哦! 关注送积分活动! 猪猪侠 2020-04-22 09:26 http://www.blog2019.net/post/140 http://www.blog2019.net/post/140 常用的MySQL数据库优化方法 查询部分: 1、等值连接(from a,b)>外连接(from a left join b)>子查询。 2、依照小结果驱集驱动大结果集的原则写where条件的顺序。 3、不使用not in ,可用 not exists代替。 4、尽量... 猪猪侠 2020-04-21 22:17 http://www.blog2019.net/post/139 http://www.blog2019.net/post/139 一套价值十万的微信公众号采集解决方案 ​1 整体概述 1.1 编写目的 本文主要用于描述微信采集过程中,各流程节点的解决方案。详细介绍了采集架构、手机号购买注意事项、微信注册注意事项、微信号养号注意事项、公众号采集方式,以及采集过程中遇到的问题等。 1.2 整体架构 微信数据采集主要... 猪猪侠 2020-04-21 21:39 http://www.blog2019.net/post/138 http://www.blog2019.net/post/138 基于百度文字识别接口的图片中文识别 最近在做基于模拟器的微信自动添加好友的应用时,模拟器中的打开的微信总是会出现一些异常,如下图: 此时,就需要识别一下,然后重新启动模拟器。 有时,有些手机号对应的微信号不存在,如下图: 此时,就需要识别出提示信息(该用户不存在),然后决定下一... 猪猪侠 2020-04-20 00:32 http://www.blog2019.net/post/137 http://www.blog2019.net/post/137 比selenium更高效的爬虫界的新神器之Pyppeteer常用方法汇总 最近写了几十篇文章,发现也就爬虫系列之Pyppeteer:比selenium更高效的爬虫界的新神器阅读数还可以,看来大家对Pyppeteer还是比较感兴趣啊, 今天就把先前使用中整理的常用方法发出来,供大家参考一下。 import asyncio... 猪猪侠 2020-04-19 11:10 http://www.blog2019.net/post/136 http://www.blog2019.net/post/136 JavaFX系列之给对象添加ContextMenu菜单 在进行JavaFX进行桌面程序开发时,主要是开发一款采集软件,难免会遇到添加右键菜单的情况,今天就介绍一种通用的添加右键菜单的方式。 JavaFX中右键菜单均是通过ContextMenu来实现,首先定义GlobalMenu,继承ContextMe... 猪猪侠 2020-04-17 17:59 http://www.blog2019.net/post/135 http://www.blog2019.net/post/135 JavaFx系列之WebView插件中JavaScript和Java相互调用,并传递值 在编写JavaFx工作流的过程中,由于工作流用的是jquery实现,其中有一些数据,需要通过JavaScript传递到后台Java对象,并保存。 大概原则是:首先在Java中创建一个对象,把该对象设置到网页去。而对于另一个方向,JavaScrip... 猪猪侠 2020-04-17 15:06 http://www.blog2019.net/post/134 http://www.blog2019.net/post/134 爬虫工程师,如何高效的支持数据分析人员的工作? 数据分析是以统计分析方法为基础,对采集来的大量数据进行分析,并将其加以汇总、理解和消化,以提取有用信息和形成结论,最大化地开发出数据的功能,发挥数据的作用。 所以,数据采集,是科学地进行数据分析的基础。其采集数据的准确性,直接决定了数据分析输出内... 猪猪侠 2020-04-17 10:14 http://www.blog2019.net/post/133 http://www.blog2019.net/post/133 文案大神不会告诉你的 5 种思维武器 “你的文案太平了”、“没有眼前一亮的感觉”、“看完就忘,没有记忆度”、“不能引起共鸣”、“没有说服力”……这些话里有毒,让大部分文案在恼怒过后也曾质疑自己,是不是我书读的不够多?技巧掌握的不够娴熟?我是不是不适合做文案? 然而,这一切背后的根源,... 猪猪侠 2020-04-14 23:18 http://www.blog2019.net/post/132 http://www.blog2019.net/post/132 网站SEO系列之基础篇 去年基于MBlog进行二次开发,整了个自己的博客(二猫的博客)。虽然写了几十篇文章,可是百度搜索收录始终都是二十几篇。最近花了点时间,找了几个视频学习了一下。根据网站SEO的核心要素,对博客后台、前端显示等均进行了优化,收录的效果确实好了很多,现... 猪猪侠 2020-04-14 13:29 http://www.blog2019.net/post/129 http://www.blog2019.net/post/129 百度百家号账号分析 最近一年,一直在处理自媒体账号文章、账号等信息的采集,结果一段时间的采集,目前搜集了大概有4800万左右的百家号账号信息。其中,使用关键词采集数据时搜索的百家号账号有75万左右,今天就对这75万的账号数据进行一个简单的分析。 发文排名 通过分析发... 猪猪侠 2020-04-11 23:14 http://www.blog2019.net/post/128 http://www.blog2019.net/post/128 数据采集采集架构中各模块详细分析 先前简单的介绍了一下[《基于大数据平台的互联网数据采集平台基本架构》,今天主要介绍一下采集的各个环节中,应该如何处理,应该注意哪些方面。 废话不多说了,正文开始....... 第一:信源系统 其实就是采集任务管理系统,我们叫信源管理系统。主要包括... 猪猪侠 2020-04-11 04:37 http://www.blog2019.net/post/127 http://www.blog2019.net/post/127 基于JavaScript的流程图 最近在研究微信根据手机号自动添加好友的功能,由于其中要使用模拟器进行各种点击操作,为了能够可视化显示整个处理流程,想使用流程图的方式来展现整个流程。 目前市面上基于JavaScript是现实的流程图主要有: 1:GooFlow.js在线制作编辑流... 猪猪侠 2020-04-10 00:54 http://www.blog2019.net/post/126 http://www.blog2019.net/post/126 100万+阅读量,是如何炼成的? 新号打造百万流量的硬核方法 一、爆款 4 要素 大家在买东西的时候经常看到一个现象:买东西,新疆永远不包邮。我们有篇文章就 是讲这个主题,之后有将近 500 家新媒体对它进行了转载,还有很多的不知名的团队它做 成了短视频发布在快手、抖音上。 我们... 猪猪侠 2020-04-09 22:09 http://www.blog2019.net/post/125 http://www.blog2019.net/post/125 基于java的鼠标键盘模拟操作常用方法汇总 最近在研究基于模拟器的,根据手机号微信自动添加好友的工具,其中涉及到了鼠标模拟点击、字符串输入等方法。同时,针对采集中可能需要截取验证码图片,整理了截图的功能。 具体代码如下所示: package org.crawler; import java... 猪猪侠 2020-04-09 01:22 http://www.blog2019.net/post/124 http://www.blog2019.net/post/124 纯Python的GUI自动化工具PyAutoGUI常用方法汇总 PyAutoGUI是一个纯Python的GUI自动化工具,其目的是可以用程序自动控制鼠标和键盘操作,多平台支持(Windows,OS X,Linux)。可以用pip安装,Github上有源代码。 import pyautogui, time, p... 猪猪侠 2020-04-08 11:18 http://www.blog2019.net/post/123 http://www.blog2019.net/post/123 通过Python,如何获取鼠标在屏幕上的X、Y轴坐标点 最近在开发基于模拟器的微信自动添加好友工具时,需要获取模拟器中相应按钮,在当前屏幕中的X、Y轴坐标点。先前都是通过“Ctrl+Alt+A”截屏的方式 获取。如下图红框部分所示: 由于需要做成通用工具,而且截屏的方式不易操作。所以想通过直接获取鼠... 猪猪侠 2020-04-07 01:37 http://www.blog2019.net/post/122 http://www.blog2019.net/post/122 基于大数据平台的互联网数据采集平台基本架构 互联网的飞速发展将社会带入数据高度发达且公开的信息时代,数据对于企业经营、政府决策及社会动态分析等具有极其重要的作用,而如何大规模、快速采集数据成为技术焦点。 网络爬虫是按照一定规则自动游走爬取互联网文本网页的程序或者脚本。文本数据大多嵌套于网页... 猪猪侠 2020-04-06 18:06 http://www.blog2019.net/post/121 http://www.blog2019.net/post/121 新媒体运营:8 种追热点的写作姿势,你掌握几个? 下班后点好了自己最喜欢吃的菜,坐等胡吃海喝的时候,突然手机震动了,打开是老板发来的消息。 “今天的**舆论热点记得跟下” 当你在做着自己的事情,面对突如其来的热点,纵然心中有上万只草泥马在奔跑,作为新媒体运营你都需要停下来去思考怎样写出一篇不错的... 猪猪侠 2020-04-05 00:02 http://www.blog2019.net/post/120 http://www.blog2019.net/post/120 4 个新媒体运营的核心关键词 全文略长,正文7500多字,4个词涵盖就是:数据、选题、排版、推送。 ##一、上班前10分钟的都用来看数据 1、分析数据哪些数据?都有什么用? 进入后台首页,很直观的有4组数字出现在你眼前:新消息、新增人数、总人数、留言管理(原创号并开通留言功能... 猪猪侠 2020-04-04 23:36 http://www.blog2019.net/post/119 http://www.blog2019.net/post/119 uvloop:一个比gevent还要快两倍的 Python 异步网络框架 asyncio是遵循Python标准库的一个异步 I/O框架.在这篇文章里,我将介绍 uvloop: 可以完整替代asyncio事件循环.uvloop是用Cython写的,基于 libuv. uvloop 使得 asyncio 更快. 实际上,比... 猪猪侠 2020-04-03 21:45 http://www.blog2019.net/post/118 http://www.blog2019.net/post/118