花了两天时间,整理如下40+个平台,多数免费即可获取数据。
官方发布数据(多立足社会民生)
1、国家数据——主要用户:社会情况研究人员国家统计局开设网站,公布我国各个领域的宏观经济情况,权威度高
这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样,下面分别聊一下。
一、大数据处理
这个是所谓大数据项目中最先想到的模块。主要有spark,hadoop,es,kafka,hbase,hive等。
当然像是flume,sqoop也都很常用。
这些软件主要是为了解决海量数据处理的问题。软件很多,我只列几个经典的,具体可以自行百度。
二、机器学习相关
大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。
三、web相关技术
大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了。
四、其它
还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。
比如说数据存储:redis,mysql。
数据可视化:echart,d3js。
图数据库:neo4j。
再来说说大数据平台的软件或者工具:
1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先。
3、 云计算,云端大数据类,阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云。实力不差,符合阿里巴巴的气质,很有野心。
4、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。
帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司。
有哪些大数据免费分享平台?
都有那些大数据免费分享平台(例如百度指数,淘宝指数)
大数据免费分享的平台,目前市场上有很多,比如比较常用的流量工具,数据分析工具等。综合起来有以下几种比较常用的。
网站分析平台,了解你的业务从了解你的用户开始
-
谷歌分析,谷歌分析的功能确实强大,很多计算的实现功能或者复杂度比百度统计、CNZZ高一层面;
-
百度统计,百度出品的一个产品,可以结合SEO一起使用;
-
CNZZ,阿里的一个产品,相对前面两个相对功能上要弱一些,子目录统计分析目前都不支持,失望中。
网站排名查询平台,没事查查心仪的网站的排名,心中有点数
-
Alexa,这个算是比较早的一个排名产品,从接触互联网就听到大家都在使用;
-
中文网站排行榜,比较适合中国国情,查看中网网站的排名有一个参考,比较不错的是百度的权重、PR值都有,真有出乎意外。
教育数据,回忆当年高考,看各学校录取分数数据得买本书看
-
高考预测,百度家的,结合大数据技术做的一款预测类的教育产品;
-
教育部,教育部国家权威政府机构发布的教育类相关的数据,放心用;
各国统计机构,政府部门的统计机构数据不能再权威了,关乎国计民生的数据都有
-
中国统计局,国家统计局在做一个国家数据的产品,还是挺不错的,当然区域经济数据就有尽有;
-
美国经济分析局,美国的一些宏观数据在那里应该都可以的找到。
总的来说,大数据平台免费公开的还是挺多,而且,目前各国的政府都在倡导数据开放,相信未来会有越来越多的机构开放数据出来供大家使用。
国内有哪些做的比较好的大数据平台,你怎么评价?
比较好的大数据平台 有阿里云,腾讯,百度,华为和星环.
阿里云的大数据平台偏技术,产品比较齐全.
腾讯大数据产品偏分析,产品和方案偏少
百度大数据的产品也比较齐全,另外偏营销的解决方案不少
华为的产品偏薄弱.
另外一家是星环,产品很有特点,但是研发能力和市场等比较弱.