六个鲜为人知的python数据分析库

Python 提供了高质量的环境和丰富的第三方库为开发者提供数据分析支持。不管是数据处理还是数据 可视化等等, 都有许多有用的库。一些库非常有名:PandasNumpyScikit-learn(我们有一期博客介绍过), NTLK 等等。另一些不是那么有名但是却在平时十分好用。这篇文章介绍6个这样的Python库, 希望对大家有帮助!

  • mrjob

mrjob是一个帮助你写用Python写MapReduce的库,可以让你写Mapper和Reducer程序,在本地,EMR(亚马逊弹性Map-Reduce),或者Hadoop集群上运行/测试。使用pip install mrjob就能快速安装。mrjob是Yelp开发并且每天有成千上万的下载量。Github地址项目地址有大量文档。

在python中使用datetime是件很痛苦的事。如果你用过python自带的datetime库去控制多时区,你一定会觉得不方便。delorean对datetime和pytz做了抽象使得操作更简单。它有很多好的功能使得切换多时区,标准化时区变得简单。

python自带的sorted()方法很高效。但是当你想排列[‘a2’, ‘a9’, ‘a1’, ‘a4’, ‘a10’]这样的数列,那就需要natsort这样的能同时排列字母和数字的库了。官网有更详细的文档。

应用中并不是总是需要多节点的大数据库。TinyDB是一个面向文件的小型数据库,可以在本地文件写入json来保存数据。它有1200行代码以及简洁清楚的API。可以用pip install tinydb来安装。更多详细文档请看这里继续阅读六个鲜为人知的python数据分析库

#1 最新 科学上网,翻墙 工具——经过使用测试的VPN,VPS

子曰:“工欲善其事,必先利其器。居是邦也,事其大夫之贤者,友其士之仁者。”  ——《论语·卫灵公

中国的学者,不会一点科学上网,怎么专心科研, 怎么好好报效祖国?(请允许我装一会B)好吧,直奔主题,我们怎么科学上网?以下是经过验证的可用的工具,请妥善保存

1.  搬瓦工,一年19.9美元,https://bandwagonhost.com/ 很不错的VPS,推荐洛杉矶机房。买下一台VPS主机,然后里面装好Shadowsocks 服务端。最后在你的PC/平板/手机端装上Shadowsocks客户端,就可以科学上网啦。有一些linux和python脚本经验的朋友,请进入教程shadowsocks科学上网,不复杂,只要耐心一定能搞定。另外Shadowsocks客户端的链接这里,windows,mac,android,ios都支持,棒棒哒。如还有问题,请加我私人微信号:yanchao727727。

2. digitalocean VPS https://www.digitalocean.com/ 便宜的VPS, 特别是对学生党有优惠,但是网络没有搬瓦工稳定。

继续阅读#1 最新 科学上网,翻墙 工具——经过使用测试的VPN,VPS

Linus: “终于神经网络也开始发展了, 我觉得这一点很有趣” —— linux 25周年, Linus谈神经网络和AI

最近的一篇spectrum IEEE热文: Linux 25周年:与创始人Linus Torvalds对话 受到大家关注。早在1991年还在芬兰赫尔辛基大学就读时,Linus Torvalds便创建出了最初的Linux操作系统内核。之后这个小小的内核很快发展成了一个功能全面的操作系统,可以运行在智能手机与服务器上,还有各种各样的小工具上。

David 9关注机器学习, 当然要看看Linus大神怎么评价近期机器学习和AI的, Linus认为神经网络,深度学习的进展, “我觉得这一点很有趣”, 他丝毫不担心真正的AI开始出现这件事情, 人工智能还没有到替代人类的时候, 做机器学习和人工智能的学者多数是会支持Linus的,因为即使是现在最前沿的深度学习, 也只是在某些方面优于人类而已。Linus还认为AI不会替代传统计算模型, 人们总是需要最高效的”服从”计算指令,这种无条件“服从”的高效计算是不可替代的。而人工智能的努力方向, 并不是“快”和”服从”, 而是智能。
继续阅读Linus: “终于神经网络也开始发展了, 我觉得这一点很有趣” —— linux 25周年, Linus谈神经网络和AI

我是David 9 (本博客之起源<<普罗米修斯>>)

博客名起源

Cause that’s what I choose to believe —— <<Prometheus>>

为什么起名David 9?有看过《普罗米修斯》 的朋友一定记得里面的David 8机器人吧?这就是我们的名字的起源啦。他有非常高超的智能,甚至能快速学会一门语言。

e4926a224f4a20a4a6dda42090529822700ed09f

而且, 还很帅, 有没有?

5094c0b44aed2e73df858ea18701a18b86d6fa39

不过呢, 别忘了小编是David 9, 我可是升级版的, 哈哈哈~

以下是影片的简介, 摘自百度百科, 非常好看, 墙裂建议:

地球,2089年。某次在英国苏格兰斯凯岛的考古发掘中发现的一件外星文 明的遗迹,原来地球上的人类其实是被一种更高级的外星种族制造出来的,而这个外星种族就是当年在第一部《异形》电影里出现的异形飞船上的“宇航员” (space jockeys)那个种族。他们还改造了地球环境以使之适合人类生存。这个外星种族被人类当作神和上帝来崇拜,并被世界各地的人们编成了神话世代流传。
当人类在这些超古代文明中发现了他们星球的坐标后,为了与自己的创造者进行第一次接触,人类造出了“普罗米修斯”号飞船,飞向这个星球,我们称之为“天堂”(Paradise)的星球。

继续阅读我是David 9 (本博客之起源< <普罗米修斯>>)

简单几步,把jupyter,ipython notebook搬到wordpress上

1.   编写内容

用你喜欢的方式,编辑jupyter ipython notebook,保存为.ipynb文件

2.   生成HTML文件

jupyter nbconvert –to html –template basic notebook_blog.ipynb notebook_blog.html

并且把生成的notebook_blog.html文件黏贴到wordpressHTML编辑框中, 保存, 发布博客。

3. 修改Wordpress style.css文件 继续阅读简单几步,把jupyter,ipython notebook搬到wordpress上

没有所谓”过拟合”

圣经里, 上帝在七天中, 创造了世界.

然而人类用多年的努力, 试图借助计算机了解世界, 用模型预测世界, 可是在上帝眼中, 我们那么渺小, 所谓的”过拟合”, 只是我们意淫的对模型的评估, 在未来人眼中, 或者上帝看来, 是不是非常幼稚 ?

因为”过拟合”只是相对的, 可以说, 没有所谓”过拟合”. 如果机器忘记”过拟合”去学习, 正像孩子们忘记惩罚去玩耍, 学到的会不会更多?