m.mzitu.com网站爬虫的修复

友情提示:本文内容少儿不宜。

这一次修复的原因是m.mzitu.com网站的反爬机制又升级了,现在就是直接请求网页也会失败。而之前的程序是模拟浏览器下载图片而没有模拟浏览器请求网页,所以已经不能用了,所以这一次修复的目标是增加模拟浏览器请求、精简代码和制作命令行工具方便图片更新。

如果你想爬图片,推荐爬https://www.mzitu.com/。这个和我爬的https://m.mzitu.com/是一样的,但是更好爬一些。

关于爬取思路的介绍,可以参考这篇博客:m.mzitu.com网站爬虫的改进

BT之家网站图片爬取

友情提示:本文内容少儿不宜。

比特币评论分析

本文使用R和Python对stocktwits网站上的评论进行了爬取。这个网站大概每几分钟只能请求200次,超过这个次数会被封IP几分钟。

最后本文使用爬取到的数据绘制了一张图堆叠柱形图。

使用ggplot2和echarts4r绘制我的微信好友分布图

今天下午随意看了一下echarts4r这个包。发现这个包对ECharts的封装比谢益辉的recharts好太多!使用起来非常容易且功能很强大。作为开篇,这篇博客介绍了如何使用ggplot2和echarts4r包绘制我的微信好友分布图(统计图表+地图)。

如何使用自己网站的评论系统快速收集零散的信息?

昨天班里要统计一下每个人关于毕业相册的选择,一般这种任务都是让每个人把自己的选择私信发给搜集员,例如班长。但是显然班长再一个个统计是非常麻烦的,针对于这种东西,有两种快速的解决办法。第一种方法就是使用各种问卷调查工具,制作一个问卷让大家填,第二种就是找个评论区让大家把自己的选择都评论上去。

cryptocmd——获取加密货币交易数据

该包的GitHub地址为:guptarohit/cryptoCMD,可以用于获取加密货币的数据,输出格式可以选择list、DataFrame和csv,非常方便。

使用Docker建立QUANTAXIS执行环境

昨天有又试了一下使用Docker建立QUANTAXIS执行环境,没想到成功了,按照官方教程,具体步骤如下:

链家网爬虫框架

该项目的GitHub地址为:jumper2014/lianjia-spider

Python创建虚拟环境

如果你同时负责多个Python项目,或者想要轻松打包某个项目及其关联的库文件,再或者你担心已安装的库之间可能产生冲突,那么你就可以安装一个Python虚拟环境来分而治之。

简单策略回测详解

这篇文章介绍了QA回测的一个示例。

QA框架策略综述

这篇博客介绍了一些常见的交易策略。

马科维茨有效前沿实现(Python版本)

这里使用的数据是QA框架建立的数据库里面的数据。

QA RISK插件

QA_Risk插件是QA对于风险、绩效的一个评估插件。

QAARP模块——账户、组合、策略

这部分看起来已经非常让我感到晕眩了。。。

easyhistory——获取股票的历史数据

该库的地址为shidenggui/easyhistory。可以用来获取股票历史数据。

easyquotation库——实时获取股票、分级基金行情

新发现的一个数据获取库,项目地址为:shidenggui/easyquotation。可以用于实时获取新浪/腾讯的免费股票行情/集思路的分级基金行情数据。

torrent-cli——磁力获取器命令行工具

该项目的地址是:chenjiandongx/torrent-cli,可以在命令行直接使用,获取磁力链。

QUANTAXIS的一般和高级财务方法

这部分介绍了QA框架中财务数据的获取方法。

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×