古交首页 政务 社会 纵横 关注 文明 出行 曝光 理财 房产  
高清图片 民生 文化 体育 经济 财富 健康 消费  
首页>> 纵横 >>正文
两款大数据清洗工具——DataWrangler、GoogleRefine
2019-12-10 17:42:49  来源:人民网 
两款大数据清洗工具——DataWrangler、GoogleRefine

两款大数据清洗工具——DataWrangler、Google Refine

在进行数据分析和可视化之前,经常需要先“清洗”数据。这意味着什么?可能有些词条列表里是“New York City”,而其他人写成“New York, NY”。然而,你在看到某些模式前得将各种各样的输入词汇标准化。又或者,出现一些数值输入错误,错别字什么的。


有很多工具都可以实现你想要的功能,但大多都是付费的。对于专业人士来说,这些成本是值得的,但对于时不时才使用的业余人士来说,未免有些浪费。下面介绍的两个工具最伟大的地方就是——它们是免费的!


DataWrangler

它是做什么的:这个基于网络的服务是斯坦福大学的可视化组设计来清洗和重排数据的,因此,它的格式适用于电子表格等应用程序。


点击一行或一列,DataWrangler会有修改的建议。例如,你点击了一行空行,一些建议就出弹出来,像“删除行”或“删除空行”等。


同时,DataWrangler有一个历史记录,允许你很容易地实现撤消功能。


优点:文本编辑非常简单。例如,当我选择大标题为“Reported crime in Alabama”的样本数据的某行的“Alabama”,然后选择另一组数据的“Alaska”,它会建议提取每州的名字。把鼠标停留在建议上,就可以看到用红色突出显示的行。


缺点:我发现当我试图探索DataWrangler的选项时会发生一些预料之外的变化。我不得不经常点击“清空”进行重设。还有,有的建议是没用的(当某行是空行的时候,“把行提到标题行”似乎是个奇怪的建议),还有,有的建议很难理解(”fold split 1 using 2 as key”)。


DataWrangler是基于网络的服务,非常方便使用。但不要忘记,代价是必须把数据上传到外部网站。也就是说,对于敏感的内部数据,DataWrangler就不是合适的选择了。不过,未来会有独立的桌面版本。另一个必须考虑的事情是,DataWrangler是用现行的alpha码编写的,它的创建者说它(alpha码)还在改进中。


技能水平:高级新手


运行环境:任何网络浏览器


Google Refine

它是做什么的:第一眼看Google Refine的文本和数字时,可以将它描述为电子表格。像Excel一样,它可以导入导出多种格式的数据,如标签或逗号分隔的文本文件、Excel、XML和JSON文件。


Refine设有内置算法,可以发现一些拼写不一样但实际上应分为一组的文本。导入你的数据后,选择编辑单元格->聚类,编辑,然后选择要用的算法。


Refine运行后,你得决定接受或不接受每条建议。例如,你可以同意将Microsoft和Microsoft Inc作为同个组合,但不同意将Coach Inc 和CQG Inc作为同个组合。假如它提供太少或太多的建议,你可以更改建议功能的强度。


还有数据选项,提供快速简单的数据分布概貌。这个功能可以揭示那些可能由于输入错误导致的异常——例如,工资记录不是80,000美元而竟然是800,000美元;或指出不一致的地方——例如薪酬数据记录之间的差异,有的是计时工资,有的是每周支付,有的是年薪。


除了数据管家功能,Google Refine还提供了一些有用的分析工具,例如排序和筛选。


优点:一旦熟悉Refine的命令和功能,它将是一个强大的数据处理和分析工具,既功能强大又易用。每个操作的撤消/重做列表让你随时回到想要的状态。文本编辑应用Java正则表达式,允许你查找模式(例如,3个数字后跟着两个数位)或特定的字符串或数值。


最后,虽然Refine是一个基于浏览器的应用程序,但适用于桌面文件,因此你的数据可以保留在本地。


缺点:尽管Refine看起来像电子表格,但你无法用它实现典型的电子表格计算。因此,你必须将数据导出到常见的电子表格应用。如果你的数据集很大,得留出一些时间仔细检查Refine的建议,这需要好些时间。还有,这点因数据集而异,当你准备合并一些文本项时,很有可能会得到一些错的建议或忽略一些问题——或两者兼有。


技能水平:高级新手。


运行环境:Windows、Mac OS、Linux


End.

36大数据

36大数据微信号:dashuju36

36大数据是一个专注大数据、大数据技术、大数据应用案例和数据可视化的科技网站。从数据角度出发,讲述大数据电子商务、网络游戏、征信、互联网金融、工/农/商业等多个领域的应用。36大数据是百度大数据战略合作媒体,我们只提供最权威最干货最接地气最具价值的内容。

微信公众号:36大数据(dashuju36)

网站地址:36dsj.com

投稿邮箱:dashuju36@qq.com 36大数据读者QQ千人群:80958753

36大数据是WeMedia自媒体成员之一,WeMedia是自媒体第一联盟,覆盖1000万人群。详情搜索“wemedia2013



相关阅读:
网球比分直播 http://www.668797.com
作者:admin
两款大数据清洗工具——DataWrangler、GoogleRefine
律师:女方若改口称自愿 李天一将被无罪释放
出租车司机遭俩男子殴打致死 下体被涂烤肉酱
2017最新五一劳动节演讲稿范文
关于商务英语词汇解析十四
1
 
调研报告的范文
人生感悟随笔:面向太阳,不问春暖花开
策划部实习工作的自我总结
武冈二中教师全省高中化学说课上课比赛创佳绩
论移动通信长期影响力
洞小工会总结工作总结
太上老钧
热恋中戒指戴哪个手指
糖尿病移动医疗设备现状 前海领创助力物联网构建
安全教育实施方案范文4篇
 
1
1
朝鲜“核暗示”引发各方关切 美韩促朝勿挑衅
表达失恋痛心的句子
柯以柔老公疑出轨女员工 婚姻到底该拿什么保...
按摩乳房一天几次
《一把炒米》
蔚来ES8谍照曝光 将于下月16日正式上市
女人为何会出现假性怀孕呢?
两款大数据清洗工具——DataWrangler、Goog...
1  
1
1
两款大数据清洗工具——DataWrangler、GoogleRefine
索尼公布“2017台北国际电玩展”日程安排 一连五天全程直播
Copyright © 2003-2014 cxtjd.cn All rights reserved. 汉川日报社主办 汉川新闻网版权