如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

根据我十多年从事软件行业的经验,很负责任的告诉你,假如你是一个IT小白,那你现在不是缺操作方法,而是缺少一个技术人员,因为整个流程还是比较复杂的。下面我把整个操作流程讲一下。

1.确定何种数据库

首先你的电子表格要确定是Excel格式的文档,然后你需要自己有一个数据库系统。推荐使用mysql,mysql现在是世界上最流行的免费的数据库,性能很好,国内大量的互联网企业在使用,以前阿里巴巴用的全是Oracle数据库,但是Oracle非常臃肿和昂贵,后来阿里巴巴全部使用mysql替换掉了。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

2.部署数据库

确定好使用哪种数据库之后,需要确认数据库怎么部署,假如你们公司有自己的服务器,而服务器上已经有mysql数据库,那就让技术人员帮助创建一个数据库。假如你们公司没有现成的mysql,那我推荐你使用云数据库。阿里云,腾讯云都可以,购买一个RDS数据库,用来存放你的电子表格数据。下面这个流程图,是阿里云数据库的操作流程,详细步骤需要看阿里云的技术文档。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

3.连接数据库

在阿里云创建了数据库和账号之后,可以说最复杂的操作已经完成大半了。现在我们还需要一个连接数据库的工具,我推荐使用Navicat,这个工具可以管理数据库,最终把Excel表格倒入数据库也需要依靠这个工具。安装完Navicat后,打开操作界面,连接数据库如下:

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

把数据库链接地址,用户名和密码填好,确定,我们就建立好连接了。

4.导入电子表格

假设现在数据库是test,

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

右键鼠标,选择导入向导,然后选择Excel文件,再点击“下一步”。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

选择要导入的Excel文件,再下一步,到最后再点击“开始”。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

导入成功后,

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

可以看到已经创建了一张叫"sheet1"的表格,数据可以双击表名看到。

6.总结

通过手工把数据导入数据库是可以操作的,但是有很多弊端。

首先,假如电子表格非常多,几千上万个,那导入数据库这个工作量也非常大。而且就算都导入了,但是你的业务一直在进行,会源源不断的产生新的电子文档,后续你就要一直往数据库导入,工作繁琐枯燥。

另外,这样导入到数据库中的数据是零碎的,不具有可读性,无法管理和改进,只是把存储介质改成数据库而已,没有太多业务意义。真正意义上的数据库,是经过设计的表结构,表与表之间存在实体关系,这样的数据才具有可管理性。

所以,要想更好的发展业务,需要设计合理的业务支撑系统,通过系统来管理数据,业务和系统相辅相成,好的系统可以更好的促进业务的发展。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

数据库有哪些?

数据库有哪些?

要了解数据库之前,先要了解下关系型数据库和非关系型数据库。

一、关系型数据库

1.概念

关系型数据库是指采用了关系模型来组织数据的数据库。简单来说,关系模式就是二维表格模型。

主要代表:SQL Server, Oracle ,Mysql, PostgreSQL。

2.优点

(1).容易理解,二维表的结构非常贴近现实世界,二维表格,容易理解。

(2)使用方便,通用的sql语句使得操作关系型数据库非常方便。

(3)易于维护,数据库的ACID属性,大大降低了数据冗余和数据不一致的概率。

3.瓶颈

(1 )海量数据的读写效率。

对于网站的并发量高,往往达到每秒上万次的请求,对于传统关系型数据库来说,硬盘I/o是一个很大的挑战。

(2) 高扩展性和可用性。

4.特点

SQL Server

是一个关系数据库管理系统。它最初是由Microsoft、Sybase 和Ashton-Tate三家公司共同开发的,于1988 年推出了第一个OS/2版本。在Windows NT 推出后,Microsoft与Sybase 在SQL Server 的开发上就分道扬镳了,Microsoft 将SQL Server移植到Windows NT系统上,专注于开发推广SQL Server 的Windows NT 版本。Sybase 则较专注于SQL Server在UNⅨ操作系统上的应用。

Mysql

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用软件之一。

PostgreSQL

是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),是以加州大学计算机系开发的POSTGRES,4.2版本为基础的对象关系型数据库管理系统

二、从关系型到非关系型

在基于web的结构中,数据库是最难以横向拓展的,当一个应用系统的用户量和访问量与日俱增的时候,数据库没有办法像web Server那样简单的通过添加更多的硬件和服务节点来拓展性能和负载能力。

关系型数据库的最大优点就是事务的一致性,这个特性,使得关系型数据库中可以适用于一切要求一致性比较高的系统中。比如:银行系统。

但是在网页应用中,对这种一致性的要求不是那么的严格,允许有一定的时间间隔,所以关系型数据库这个特点不是那么的重要了。相反,关系型数据库为了维护一致性所付出的巨大代价就是读写性能比较差。而像微博、facebook这类应用,对于并发读写能力要求极高,关系型数据库已经无法应付。所以必须用一种新的数据结构存储来替代关系型数据库。所以非关系型数据库应用而生。

三、非关系型

1.概念

NoSQL非关系型数据库,主要指那些非关系型的、分布式的,且一般不保证ACID的数据存储。

主要代表:MongoDB,Redis、CouchDB。

2.应用场景

(1)面向高性能并发读写的key-value数据库

主要特点是具有极高的并发读写性能,例如Redis、Tokyo Cabint等。

(2)面向海量数据访问的面向文档数据库

特点是,可以在海量的数据库快速的查询数据。例如MongoDB以及CouchDB.

(3)面向可拓展的分布式数据库

解决的主要问题是传统数据库的扩展性上的缺陷。

3.缺点

但是由于Nosql约束少,所以也不能够像sql那样提供where字段属性的查询。因此适合存储较为简单的数据。有一些不能够持久化数据,所以需要和关系型数据库结合。

4.特点

MongoDB

是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引

redis

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

CouchDB

是用Erlang开发的面向文档的数据库系统,2010年7月14日发布了1.0版本。CouchDB不是一个传统的关系数据库,而是面向文档的数据库,其数据存储方式有点类似lucene的index文件格式,CouchDB最大的意义在于它是一个面向web应用的新一代存储系统,事实上,CouchDB的口号就是:下一代的Web应用存储系统。

四、数据库分类

1、国内数据库

达梦DM、金仓 Kingbase、南大通用Gbase、神通OSCAR、优炫UXDB、翰高 Highgo DB、成都虚谷 XUGU、柏睿数据 RapidsDB、广州巨杉 SequoiaDB、易鲸捷 EsgynDB、鼎天盛华 UPDB、北京恒辉 HHDB、湖南上容 SRDB、许继集团SG-RDB、博阳数据 BeyonDB、北京国信贝斯 iBASE、北京翰云 Hyperic、华易 Huayisoft DB、华鼎 HUABASE、万里开源 GreatDB、福建星瑞格 SinoDB、华胜信泰 ToprowDB、上海热璞 Hot DB、星环科技 KunDB、天曦科技 TXDB、北京新数 ShinDB、东方国信 XCloud DB、海量数据 AtlasDB

2、国外数据库

Oracle、Microsoft SQL Server、SAP HANA、IBM DB2、Teradata

3、云数据库

腾讯 TDSQL、腾讯 Tbase、腾讯 PhxSQL、腾讯 TXSQL、腾讯 CynosDB、华为 HWSQL GaussDB200、百度 TDB、京东云DRDS、金山 KTS、蚂蚁金服 Oceanbase、阿里 PolarDB、浪潮 K-DB、中兴GoldenDB、新华三 H3C DataEngine、东软 OpenBASE、亚信 AntDB、小米 Pegasus、青云 RadonDB

4、开源数据库

MySQL、Greenplum、TiDB

5、其它数据库:

华东师范大学 Cedar、偶数科技 Oushu Database、浙江智臾 DolphinDB、智达方通 Intcube OLAP、上海赜睿 MegaWise、云山云海 haisql

关系型数据库和非关系型数据库有什么区别?

mongdb和redis怎么选择,mongdb优势在哪? 如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

先说说关系型数据库和非关系型数据库有什么区别

这里的关系型和非关系型,主要是数据存储格式的区别,我们常见的关系型数据库有Mysql、Oracle、DB2、SQL Server等,都是通过关系模型来组织数据,也就是二维表格模型。

而非关系型数据库,就不是按照这个二维表格来存储数据了,例如Redis是使用键值对(key-value)来组织数据,MongoDB是采用BSON的格式(可以想象成JSON);并且不局限于固定的结构。

关系型数据库和非关系型数据库之间的关系,也不是有你没有,二者选其一,通常都是配合起来使用的。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

各自的优缺点

  • 关系型数据库,容易理解,使用方便(通过SQL语言操作),易于维护;但是因为数据在磁盘上存储,I/O会成为一个很大的瓶颈,如果在高并发的场景下,性能降低的很快;另外,对于关系型数据库,当单表数据量增加到一定程度的时候,表的操作效率也会很低;表结构固定,当数据量比较大的时候,对表结构的扩展会是灾难性的。

  • 非惯性数据库因为数据结构的“随性”,用户可以根据需要增加字段,关系型数据习惯设计成多张表,然后通过表关联查询,而非关系型数据库(文档性)会把所有字段放到一个集合中,避免多表的关联。不过缺点也非常明显,“随性”也就意味着没有标准,单集合有好处也有坏处,没有完整性约束,对于复杂的业务场景支持比较差。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

至于MongoDB和Redis怎么选择,两者差别还是很大的,适用场景也不同

  • Redis的数据存储格式是key-value,支持持久化、 支持事务,经常用于缓存、高并发下的读写(计数器、最新列表、秒杀),因为单线程的机制也会用于分布式锁。

  • MongoDB的数据存储格式为BSON(类似于JSON),支持快速读写,特别是大吞吐量的写操作;如果表结构不明确,未来可能会发生很大的变化,非常适合使用MongoDB。

  • 架构中可以同时包含关系型数据库、Redis和MongoDB,各司其职。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。

如何对大量数据转化为表格,公司有大量电子表格,怎么能转成数据库系统啊?有好办法吗?

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 xxx@163.com 举报,一经查实,本站将立刻删除。

发表评论

登录后才能评论