mysql是一次性取出数据再分析好还是分多次提取部分数据好?

mysql是一次性取出数据再分析好还是分多次提取部分数据好?

这个个人认为是要看数据量,数据量小怎么处理都可以,数据量大还是要根据性能之类做相应的处理。把数据都取出来是不推荐的一种行为。

Mysql数据分析用到的函数

做数据分析,我们要先看一下mysql的自带的函数或者自己写的函数、存储过程之类的能不能帮助我们把问题给解决掉。数据中常用的统计汇总是不是就可以了。以下两个函数是日常用的比较多的

  • group by/group_concat

group by/group_concat可以利用分组功能,将数据汇总到一个字段,同时也可以进行相应的排序,例如将所学生的成绩按照课程名称汇总到3个字段中,形如:

(姓名,课程名称,课程成绩)->(张三,数学|英语|...,90|80|...)

结合其它函数就可以很方便地找出想要的数据。

  • case when

case when类似于其它编程语言中的if...else...,我们可以通过对字段值的判断,然后得到我们想要的结果,形如,统计所有课程为数字的学生数,我们就可以通过

(case 课程名称 when '数学' then 姓名 else null end)

所以通过这些函数的使用,可以帮助我们做一些简单的逻辑判断和较为复杂的汇总统计功能。

Mysql数据分析的示例

工作中我们碰到从订单中随机抽取某几个订单做为中奖名单,除了利用编程语言或者导出数据在excel上处理,其实我们可以利用Mysql中的rand函数处理,

mysql是一次性取出数据再分析好还是分多次提取部分数据好?

整体的原理是利用rand产生的一个0到1的小数,然后乘以一写的倍数得到一个整数,再后通过整数与从订单编号中取出的某几位数相减,得到一个差值,取最大或者最小值做为我们选择的依据,这样一个简单的随机抽样的方案就出来的。

Mysql中导出数据,如果做为分析最好不要大批量地导,想清楚需要得到什么分析结果,想想能不能利用工具本身的函数帮助我们解决问题,实在不行再想其它的工具帮助我们解决问题。

mysql是一次性取出数据再分析好还是分多次提取部分数据好?

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 xxx@163.com 举报,一经查实,本站将立刻删除。

发表评论

登录后才能评论