个人如何获得大数据,个人怎样获取大数据？

！

大数据的数据来源主要有三个渠道，分别是物联网系统、传统信息处理系统以及互联网应用（Web和App），所以要想获得大数据就要从这三个渠道来获取。

物联网系统产生的数据占据着大数据中的重要比例，物联网产生的数据多以非结构化数据为主，包括视频、音频、传感数据等等。物联网的应用领域众多，比如工业物联网、农业物联网、车联网、智慧城市等都会产生大量的数据，通常情况下这些数据的采集都是有严格要求的，是不能开放给个人的。如果个人要想获得这部分数据，一个比较可行的方案是跟数据采集者进行合作，比如做数据分析等业务。

传统信息系统涵盖的领域非常广泛，有政务系统、企业ERP、教育信息系统、医疗信息系统等等，传统信息系统涵盖的数据多以结构化数据为主，而且往往有较高的精确度和关联关系，这部分数据的价值密度也是相对比较高的。

但是传统信息系统涵盖的数据往往涉及到个人隐私、商业机密等内容，所以这部分内容通常是受到严密保护的。随着大数据技术的发展，业界对于政务系统的数据开放的呼声越来越高，经过脱敏的数据往往并不会对个人隐私构成侵犯，所以未来某些政务系统的大数据会陆续开放出来。

互联网应用也是产生大数据的重要基础之一，包括各种Web应用以及大量的App产品，这部分数据多以半结构化为主，数据内容也存在真假难辨的情况，但是由于这部分数据的价值密度相对还是比较高的，所以现在不少互联网公司就是基于这些数据对用户进行“画像”，从而进行多维度的分类。

随着这些互联网产品采集的数据越来越多，用户的“画像”也会越来越清晰，大数据分析结果也会越来越准确。对于个人用户来说，要想获得这部分数据，有三个办法，一个是自己开发互联网应用，另一个是对目前的互联网数据进行爬取，最后是与互联网公司开展合作，这样也能拿到一部分数据。

虽然现在大数据相关技术已经开始逐渐落地，很多传统信息系统之间也形成了互联互通，但是数据流通依然有大量的环节需要打通，一定程度上的“数据孤岛”现象依然存在。相信随着云计算、大数据和物联网的发展，数据流通将会越来越方便和合理。

作者简介：中国科学院大学计算机专业研究生导师，从事IT行业多年，研究方向包括动态软件体系结构、大数据、人工智能相关领域，有多年的一线研发经验。欢迎关注作者，欢迎咨询计算机相关问题。

大数据采集平台有哪些？

，据我所知，大数据采集平台根据数据来源大致有这几种：

1、系统日志采集平台。大部分企业都是有系统日志采集平台的，在企业的业务平台下，每天都会产生大量的日志数据。企业通过采集这些日志数据并对它清洗整理后进行数据分析，从而挖掘出这些日志数据中的潜在价值。

2、网络数据采集平台。这种数据采集平台一般都是通过爬虫去采集的，在服务器上搭建一个对目标网站集进行爬取的爬虫，然后将每天爬取到的数据进行清洗整理，最终得到企业所需的数据。

3、数据库采集平台。这主要基于企业旗下的产品，用户使用产品与数据库交互所产生的数据也是一个宝贵的数据来源，往往从这些数据中能获取到一些新的用户需求。

最后，类似阿里云、腾讯云等也都是一些大型的大数据采集平台。

有哪些好的数据来源或者大数据平台？

花了两天时间，整理如下40+个平台，多数免费即可获取数据。

官方发布数据（多立足社会民生）

1、国家数据——主要用户：社会情况研究人员国家统计局开设网站，公布我国各个领域的宏观经济情况，权威度高2、国家统计局——主要用户：社会情况研究人员链接各省市地区的统计网站，提供更多官方统计报告3、中国裁判文书网——主要用户：法律从业/学习/爱好者中国最高人民法院开设，权威可信，可用于查询国内裁判文书，可作数据统计来源4、中国互联网信息研究中心——主要用户：互联网研究人员经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告5、中国信通院——主要用户：互联网研究人员针对互联网多个行业的发展趋势，发布白皮书，角度较为宏观6、国土资源部——主要用户：相关研究人员国土资源部对外公开的信息报告，内容权威7、中国气象局——主要用户：气象相关研究人员中国气象局对外公开的年度报告，支持下载查看

网络趋势分析1、5118 / chinaz——主要用户：SEO专员支持查询网站排名及发展趋势、百度收录情况等信息2、艾瑞指数——主要用户：互联网从业者艾瑞旗下/包括移动APP指数、PC Web指数、影视指数、广告指数、移动设备指数五类指数查询工具。3、百度指数——主要用户：营销人百度旗下/以百度网民行为数据为基础的数据分享平台，支持查询需求图谱4、微指数——主要用户：微博营销人新浪微博旗下/反映微博舆情或账号发展走势的数据分析工具5、搜狗指数——主要用户：营销人搜狗旗下/基于搜狗用户行为的数据分享平台，同时支持搜索微信热度6、微信指数——主要用户：微信公众号运营人微信旗下/基于微信大数据分析的移动端指数，打开微信→搜索“微信指数”可用

细分行业趋势分析1、阿里指数——主要用户：淘宝卖家阿里旗下/反映淘宝平台市场动向的数据分析平台2、CBO中国票房——主要用户：电影行业从业人员、爱好者基于国内票房数据，统计票房排行、上座率等信息。3、爱奇艺指数/——主要用户：爱奇艺用户/视频行业研究人员爱奇艺旗下/基于爱奇艺播放数据，展现视频播放趋势、视频受众画像等信息4、360大数据平台——主要用户：网络安全相关人员360旗下/支持地区最热新闻、中国人返乡热度、诈骗地图等信息的查询5、易车指数——主要用户：购车者、汽车从业者反映国内汽车销售市场，为购车者或汽车从业者提供参考的数据指数。6、高德地图——主要用户：交通情况关注者支持实时查看国内交通情况，此外高德周期性提供一系列数据报告7、房天下——主要用户：房地产从业者及相关人士网站数据来源于中国指数研究院和CREIS中指数据，展示国内房地产数据情况

移动端数据监测1、移动观象台——主要用户：移动行业从业人员/关心者基于移动设备用户的操作行为，提供应用、公众号排行等，此外还发布大量数据报告2、艾瑞APP指数——主要用户：移动行业从业人员支持按照月度独立设备数、日均独立设备数、月度总有效时长等多角度展示移动端数据情况。3、APP annie——主要用户：ASO专员付费产品，支持用户监测APP在线数据情况，市场监测范围可拓展到全球。4、蝉大师/ASO114 /ASO100/CQASO/APPBK以上几款工具比较类似，支持APP监测，主要用户：ASO专员支持查询APP在应用市场的数据情况，可根据手机、应用市场等不同角度进行检索5、新榜/微小宝/易赞——主要用户：新媒体工作者以上几款工具比较类似，支持查看公众号排行、看公众号人群画像等功能

以研究报告形式发布的数据信息

1、艾瑞网——主要用户：互联网从业者艾瑞旗下/支持查看较新的数据报告，主研究网络媒体、电子商务、网络游戏等新经济领域。2、艾媒网——主要用户：移动互联网行业从业者艾媒与艾瑞无关，艾媒网发布的研究报告多偏向移动互联网方向3、易观智库——主要用户：互联网从业者易观国际推出/主要推出新媒体经济方向的行业信息报告4、DataEye——主要用户：游戏行业、汽车行业从业者及爱好者基于国内游戏、汽车行业数据，进行多角度的行业调查报告撰写发布5、投中研究院——主要用户：关心投资信息的人群网站保持着较高的频率，为用户推送投资领域的分析报告6、CBNDdata——主要用户：电商行业人士以阿里巴巴的商业数据库为基础，输出产业经济分析报告7、QuestMobile——主要用户：移动互联网关注者网站周期性地发布一些关于APP的研究报告8、阿里研究院——主要用户：电商行业从业者阿里旗下/发布研究电商等方向趋势的数据报告，内容多与阿里相关9、腾讯大数据——主要用户：互联网从业者腾讯旗下/发布与腾讯息息相关的研究报告，常会出现一些比较有趣味性的专题10、360研究报告——主要用户：互联网安全关心者360旗下/移动、PC、网站、企业、诈骗等安全领域的研究，以及大数据等非安全领域的研究11、艺恩——主要用户：影视从业人员、爱好者CBO中国票房数据的提供方，提供一些行业数据报告，如动漫IP价值研究报告12、199IT——主要用户：互联网从业者容纳众多互联网数据报告，其导航网站收集了众多数据相关的网站链接