这个要分好几块来讲,首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样,下面分别聊一下。
一、大数据处理
这个是所谓大数据项目中最先想到的模块。主要有spark,hadoop,es,kafka,hbase,hive等。
当然像是flume,sqoop也都很常用。
这些软件主要是为了解决海量数据处理的问题。软件很多,我只列几个经典的,具体可以自行百度。
二、机器学习相关
大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件,比如说sklearn,spark的ml,当然还有自己实现的代码。
三、web相关技术
大部分项目也都跑不了一个web的展示,因此web就很重要的,java的ssh,python的django都可以,这个看具体的项目组习惯了。
四、其它
还有一些很常用的东西,个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。
比如说数据存储:redis,mysql。
数据可视化:echart,d3js。
图数据库:neo4j。
再来说说大数据平台的软件或者工具:
1、 数据库,大数据平台类,星环,做Hadoop生态系列的大数据平台公司。Hadoop是开源的,星环主要做的是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具。
2、 大数据存储硬件类,浪潮,很老牌的IT公司,国资委控股,研究大数据方面的存储,在国内比较领先。
3、 云计算,云端大数据类,阿里巴巴,明星产品-阿里云,与亚马逊AWS抗衡,做公有云、私有云、混合云。实力不差,符合阿里巴巴的气质,很有野心。
4、 数据应用方面这个有很多,比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。
帆软是商业智能和数据分析平台提供商,从报表工具到商业智能,有十多年的数据应用的底子,在这个领域很成熟,目前处于快速成长期,但是很低调,是一家有技术有实力而且对客户很真诚的公司。
有哪些好的数据来源或者大数据平台?
花了两天时间,整理如下40+个平台,多数免费即可获取数据。
官方发布数据(多立足社会民生)
1、国家数据——主要用户:社会情况研究人员国家统计局开设网站,公布我国各个领域的宏观经济情况,权威度高2、国家统计局——主要用户:社会情况研究人员链接各省市地区的统计网站,提供更多官方统计报告
3、中国裁判文书网——主要用户:法律从业/学习/爱好者中国最高人民法院开设,权威可信,可用于查询国内裁判文书,可作数据统计来源
4、中国互联网信息研究中心——主要用户:互联网研究人员经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告
5、中国信通院——主要用户:互联网研究人员针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观
6、国土资源部——主要用户:相关研究人员国土资源部对外公开的信息报告,内容权威
7、中国气象局——主要用户:气象相关研究人员中国气象局对外公开的年度报告,支持下载查看
网络趋势分析1、5118 / chinaz——主要用户:SEO专员支持查询网站排名及发展趋势、百度收录情况等信息2、艾瑞指数——主要用户:互联网从业者艾瑞旗下/包括移动APP指数、PC Web指数、影视指数、广告指数、移动设备指数五类指数查询工具。
3、百度指数——主要用户:营销人百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱
4、微指数——主要用户:微博营销人新浪微博旗下/反映微博舆情或账号发展走势的数据分析工具
5、搜狗指数——主要用户:营销人搜狗旗下/基于搜狗用户行为的数据分享平台,同时支持搜索微信热度
6、微信指数——主要用户:微信公众号运营人微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用
细分行业趋势分析1、阿里指数——主要用户:淘宝卖家阿里旗下/反映淘宝平台市场动向的数据分析平台2、CBO中国票房——主要用户:电影行业从业人员、爱好者基于国内票房数据,统计票房排行、上座率等信息。
3、爱奇艺指数/——主要用户:爱奇艺用户/视频行业研究人员爱奇艺旗下/基于爱奇艺播放数据,展现视频播放趋势、视频受众画像等信息
4、360大数据平台——主要用户:网络安全相关人员360旗下/支持地区最热新闻、中国人返乡热度、诈骗地图等信息的查询
5、易车指数——主要用户:购车者、汽车从业者反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数。
6、高德地图——主要用户:交通情况关注者支持实时查看国内交通情况,此外高德周期性提供一系列数据报告
7、房天下——主要用户:房地产从业者及相关人士网站数据来源于中国指数研究院和CREIS中指数据,展示国内房地产数据情况
移动端数据监测1、移动观象台——主要用户:移动行业从业人员/关心者基于移动设备用户的操作行为,提供应用、公众号排行等,此外还发布大量数据报告2、艾瑞APP指数——主要用户:移动行业从业人员支持按照月度独立设备数、日均独立设备数、月度总有效时长等多角度展示移动端数据情况。
3、APP annie——主要用户:ASO专员付费产品,支持用户监测APP在线数据情况,市场监测范围可拓展到全球。
4、蝉大师/ASO114 /ASO100/CQASO/APPBK以上几款工具比较类似,支持APP监测,主要用户:ASO专员支持查询APP在应用市场的数据情况,可根据手机、应用市场等不同角度进行检索
5、新榜/微小宝/易赞——主要用户:新媒体工作者以上几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能
以研究报告形式发布的数据信息
1、艾瑞网——主要用户:互联网从业者艾瑞旗下/支持查看较新的数据报告,主研究网络媒体、电子商务、网络游戏等新经济领域。2、艾媒网——主要用户:移动互联网行业从业者艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向
3、易观智库——主要用户:互联网从业者易观国际推出/主要推出新媒体经济方向的行业信息报告
4、DataEye——主要用户:游戏行业、汽车行业从业者及爱好者基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布
5、投中研究院——主要用户:关心投资信息的人群网站保持着较高的频率,为用户推送投资领域的分析报告
6、CBNDdata——主要用户:电商行业人士以阿里巴巴的商业数据库为基础,输出产业经济分析报告
7、QuestMobile——主要用户:移动互联网关注者网站周期性地发布一些关于APP的研究报告
8、阿里研究院——主要用户:电商行业从业者阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关
9、腾讯大数据——主要用户:互联网从业者腾讯旗下/发布与腾讯息息相关的研究报告,常会出现一些比较有趣味性的专题
10、360研究报告——主要用户:互联网安全关心者360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究
11、艺恩——主要用户:影视从业人员、爱好者CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告
12、199IT——主要用户:互联网从业者容纳众多互联网数据报告,其导航网站收集了众多数据相关的网站链接
以上内容由强大易用的应用搭建工具 简道云(www.jiandaoyun.com)整理提供,转载请注明来源。
想查询行业数据,国内有哪些专业的数据平台推荐?
艾媒数据中心(data.iimedia.cn)是全球知名的新经济行业数据挖掘和分析机构iiMedia Research 艾媒咨询旗下行业研究数据库。
基于自主研发6大数据处理系统,以及强大的大数据监测、处理和分析能力,艾媒数据中心有行业数据库、投融数据库、基础数据库、人群洞察数据几大板块,划分了524个垂直行业,包含5000多个数据主题、超2亿条数据,研究领域包含交运物流、金融行业、房地产、电子商务、媒体与广告、零售和贸易、能源和环境服务、农林牧渔、化工和原料、健康与制药、电信行业、IT行业及战略性新兴产业等。
上艾媒数据中心,5000+全景数据主题,为方案策划开拓思路;用可靠的数据支撑您的观点和结论。
艾媒数据,全球权威媒体的选择:
网址:https://data.iimedia.cn/data-overall.jsp