小猿圈分享-数据分析工具

我们很多人学习python是为了开发,但是也有的人的是为了数据分析,今天小猿圈就给大家分享一些数据分析的工具,希望能帮助到大家,让大家的数据分析更便捷。

处理较大、较复杂的类excel数据

[if !supportLists]·       [endif]Pandas -处理tabular(类似Excel)数据的通用工具套件

[if !supportLists]·       [endif]SQLite – Tabular数据库格式,能够处理大规模数据集,同时也能在桌面环境运行。

[if !supportLists]·       [endif]PostgreSQL –企业级数据库系统

处理空间、地理数据:

PostGIS – Postgres的地理空间数据类型扩展

Carto – 地理空间数据的商业数据挖掘工具

Mapbox – 商业地图绘制工具,同时也是一个web地图系统。

Leaflet – 基于网络资源和本地数据开发活动web地图的代码库

qGIS – 适用于几乎所有地理空间和地图绘制的图形化GIS工具

处理非常规数据:

[if !supportLists]·       [endif]RethinkDB –处理实时数据流非常棒的数据库,正在从商业转开源,小心使用。

[if !supportLists]·       [endif]MongoDB –处理大规模非结构化和半结构化数据的流行数据库,应用于生产环境需要加小心。

[if !supportLists]·       [endif]CouchDB –与MongoDB有些类似但不尽相同。

[if !supportLists]·       [endif]Cassandra –图谱和关系数据库

为大规模数据集创建性能代码:

[if !supportLists]·       [endif]Pandas – Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。

[if !supportLists]·       [endif]Apache Spark – 一个通用的高性能数据处理系统

[if !supportLists]·       [endif]SciPy and Numpy -可编写脚本的基于C的数值算法,能在紧凑的,底层机器数据架构上运行。

[if !supportLists]·       [endif]Cython –使用用C编译器的Python编译器,用来提升Python性能。

[if !supportLists]·       [endif]PyOpenCL –在图形显卡上进行数值计算和统计处理。

数据清洗工具

[if !supportLists]·       [endif]ODO – 在不同数据格式间进行转换的Python库。

[if !supportLists]·       [endif]OpenRefine –拥有图形用户界面的数据发现和清洗工具

[if !supportLists]·       [endif]Pandas –数据科学任务中用来处理tabular数据的通用Python工具集

[if !supportLists]·       [endif]Scrapy – Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。

[if !supportLists]·       [endif]BeautifulSoup – 与Scrapy类似但不尽相同

[if !supportLists]·       [endif]Scrubadub –去除个人身份信息

[if !supportLists]·       [endif]Arrow – 帮你轻松驾驭日期和时间戳的Python库

[if !supportLists]·       [endif]DataCleaner –剔除脏数据的Python库

[if !supportLists]·       [endif]Dora – 与DataCleaner功能类似的Python库。

数据可视化工具

[if !supportLists]·       [endif]Processing –交互式开发交互式可视化内容. 推荐读本:VisualizingData

[if !supportLists]·       [endif]D3 – 在web上开发可视化交互

[if !supportLists]·       [endif]C3 – 来自D3的图表.

[if !supportLists]·       [endif]Bokeh – 与D3类似, 但基于Python.

[if !supportLists]·       [endif]matplotlib –最早的Python数据可视化工具集。

[if !supportLists]·       [endif]Leaflet –一个为开发移动设备友好的互动地图的开源 JavaScript 库。

[if !supportLists]·       [endif]MapBox -详见地图工具集。

[if !supportLists]·       [endif]qGIS – 详见地图工具集。

[if !supportLists]·       [endif]VTK – 在医疗、  和物理研究领域常用的重型可视化工具包。

数据挖掘和机器学习工具

[if !supportLists]·       [endif]Weka – 一个机器学习和数据挖掘工具包,这里有一本免费可读的参考书

[if !supportLists]·       [endif]SciKitLearn –基于Python的机器学习和数据挖掘工具套件。

[if !supportLists]·       [endif]Orange –另一个基于Python的数据挖掘工具套件,同样拥有图形用户界面。

[if !supportLists]·       [endif]TensorFlow – Google开源的多维度图谱数学建模工具。

分享、协作以及知识管理工具

[if !supportLists]·       [endif]Django -基于Python的web框架

[if !supportLists]·       [endif]Django REST Framework – 为Django网站创建REST APIs

[if !supportLists]·       [endif]IRODS – 企业级数据存储和管理,包括元数据管理和基于规则的数据处理。

[if !supportLists]·       [endif]Cassandra (useful for metadata and relationship storage) – 一个存储和查询元数据经常用到的开源分布式数据管理系统

[if !supportLists]·       [endif]GitLab -GitHub的开源替代品,可搭建私人服务器。

[if !supportLists]·       [endif]ReciPy –

[if !supportLists]·       [endif]Prov –Python implementation of the W3C provenance model

[if !supportLists]·       [endif]Kanren (部署基于元数据和数据源信息的业务逻辑非常有用) – 一个描述性Python逻辑编程系统,非常适合科学元数据的查询和基于规则的处理。

[if !supportLists]·       [endif]好了今天的分享就是这么多,希望能够帮助到大家,这些工具涉及到了我们数据分析师的每个工作内容,希望可以让我们复杂的工作变得更加便捷更加灵活,觉得不错的话要推荐给身边的朋友哦,记得收藏加关注。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容

  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML标准。 注意:讲述HT...
    kismetajun阅读 27,400评论 1 45
  • Python语言特性 1 Python的函数参数传递 看两个如下例子,分析运行结果: 代码一: a = 1 def...
    时光清浅03阅读 466评论 0 0
  • 前段时间,我在纠结一个问题,我是读普高还是中专? 操着家乡话的班主任把职中夸的天花乱坠,说实话,我犹豫了。 职中方...
    明客阅读 179评论 0 0
  • 姓名:游向国 公司:海南蔚蓝时代实业有限公司 组别:上海第361期感动一组 【知~学习】 《六项精进》大纲1遍 共...
    莜面山药蛋阅读 97评论 0 0
  • 一定要幸福吖阅读 83评论 0 0