Osheep

时光不回头,当下最重要。

大数据学习 半年小结 — 我的知识地图

2017年1月开始学习数据分析,现在已经快半年了,交个小结作业。
先截个猴子学习群的图,基本上是按照这个顺序来的,另外参加了城市数据团的课和简书的python爬虫群,也算是超额完成任务了吧。

《大数据学习 半年小结 — 我的知识地图》

1.png

数据分析课程,一共写了以下文章
学习小结方面:

我的2017年大数据学习目标
学习大数据两周笔记
迄今为止最有效率的春节
终身学习:啃啃大数据分析
大数据学习 第一季度小结

R语言数据展现(5篇)
R语言做统计学习题(2篇)
R语言Quantmod金融笔记(2篇)
R语言与地产结合的初步分析(5篇)

SQL练习,主要是做完了SQLZOO的练习。SQL专栏: http://www.jianshu.com/nb/13379194
上了城市数据团的课,满满四门课,也很有收获。http://www.jianshu.com/p/9dc2edb8154e
另外还有python 爬虫。Python爬虫专栏:http://www.jianshu.com/nb/12863403


笔记功课主要发表在知乎和简书,看一下数据:
在知乎上,获得赞最多的文章是《用R语言计算统计学习题》(大概很有需求吧!)其次是《买房还是买车位》,接下来是两篇总结,《大数据学习第一季度小结》和《学习大数据两周笔记》。

《大数据学习 半年小结 — 我的知识地图》

知乎-赞.png

获得评论最多的,也差不多是这几篇。

《大数据学习 半年小结 — 我的知识地图》

知乎-评论.png

在简书比较久一点(不过越来越不喜欢首页的鸡汤风…),所以文章数目也多很多。差不多到目前,阅读量已经过万,可见坚持还是有成效的。

《大数据学习 半年小结 — 我的知识地图》

简书-阅读.png

虚线是平均阅读数。

把阅读量在100以上的筛选出来,阅读量最高的是《幻想摩拜单车的美好世界》,数据学习方面,是《大数据学习第一季度小结》,很简单的一篇《利用R语言做最最初级金融分析de笔记》居然点赞数也很高,大概是因为很多人不知道R中quantmod包的强大功能吧。

《大数据学习 半年小结 — 我的知识地图》

2.png

5月开始学习python爬虫,在学习期间,因为每个网站的网页结构都不太相同,遇坑无数,每次爬都值得记录下来。一共写了20余篇。所以专门把爬虫这个单独列出来,看一下数据。

阅读量最高的是《简书爬虫的功课一小览》,因为比较全面。
其次是bs4和xpath比较,这篇也是点赞和评论最多的。其实写的很简单,但可能毕竟基础平实吧。

《大数据学习 半年小结 — 我的知识地图》

爬虫.png

下面7月计划:

  1. 练习Kaggle的案例,这方面已经比很多同学落后太多了。
  2. 进一步拓展更深的知识,如聚类决策树,随机森林等知识。
    3.继续学习统计学知识,打好基础。

加油吧!

附录:爬取简书代码。自己起先写的时候评论和赞都没爬出来,原来又是多多手加上“*//”了。基础不牢啊啊啊。

import requests
from lxml import etree
import random

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }

for i in range(1,11):
    url = 'http://www.jianshu.com/u/b062b6eb573b?order_by=shared_at&page='+str(i)
    html = requests.get(url, headers=headers).content
    selector=etree.HTML(html)
    infos= selector.xpath('//div[@id="list-container"]/ul[@class="note-list"]/li')
    for info in infos:
        title=info.xpath('div/a[@class="title"]/text()')
        comment = str(info.xpath('div/div[2]/a[2]/text()')[1]).strip()
        #comment=info.xpath('/div[@class="meta"]/a/i[@class="iconfont ic-list-comments"]/text()')
        #comment=info.xpath('*//div/div[2]/a[2]/i/text()')

        like = info.xpath('div/div[2]/span/text()')[0]
        #like=info.xpath('/div[@class="meta"]/span/i[@class="iconfont ic-list-like"]/text()')
        #like=info.xpath('*//div/div[2]/span/i/text()')
        reader = str(info.xpath('div/div[2]/a[1]/text()')[1]).strip()
        print (title, '  , ',reader, ' , ',comment, '  , ',like)
点赞