excel处理大数据

撒旦

遇女心惊 发表于 2018-1-12 09:10
web开发数据处理这方面倒没什么问题，这些需求我用php+mysql差不多也能处理。我想问，数据是从哪里采集的 ...

1、最简单的方式就是读取数据库，但是一般大型企业都设置网络物理隔离，访问数据库权限非常高，但是企业内部有网页可以显示实时数据，只能采用间接方式网页采集方式。
2、其它功能基本都是模式化的，数据分析这一块是最难的，目前我还有一个问题用excel数据分析一直没有解决。
例如：5台发电机组，每天开机、停机时间频繁，通过采集各台机组开机、停机时间，利用数据分析功能可以自动实现按时间排序机组、按机组排序时间、每台机组开停机次数、总开停机次数、按机组分类显示、某一时刻开着几台机、停着几台机等等，这些功能都已实现，但是无法实现当天最多的时候开着几台机，最少的时候开着几台机的数据分析。这个可能和机组时间轴有关系，目前我还没有方法利用编程+excel数据分析完成这个功能。

撒旦

夕米调 发表于 2018-1-12 09:57
大神！！！！！！！

你楼上的才是大神+高富帅，记得去泡一下他

遇女心惊

撒旦 发表于 2018-1-12 18:52
1、最简单的方式就是读取数据库，但是一般大型企业都设置网络物理隔离，访问数据库权限非常高，但是企业 ...

应该不难吧，我好奇是怎么采集关机开机数据的。
有机器开启关闭，就记录时间点，再统计下这个点的开机关机总数，有必要的话再记录机器编号，存到一个表里。每天自动汇总归档。可以设置系统任务，每隔1秒几秒去遍历机器统计数据
当然以你聪明才智肯定也想到这了，我也是不了解实际情况的瞎说，，时间轴是啥？

撒旦

遇女心惊 发表于 2018-1-13 10:30
应该不难吧，我好奇是怎么采集关机开机数据的。
有机器开启关闭，就记录时间点，再统计下这个点的开机关 ...

时间精确到秒，按照你说的遍历1秒一个循环，24小时要遍历循环8W多次再作比较找出最大最小值，倒是可以实现的，但是这不科学，程序部分采集+计算+生成不到10秒，为了这个功能干个几分钟、十几分钟得不偿失。
1台机组开机时间是从开启到停止这段时间，因此可能存在其他机组在这段时间也有开机、停机，再甚停机后又有开机，分析起来太复杂，当时我的初步想法是利用excel强大数据分析能力配合公式、不利用代码来达到秒算的效果，苦于一直没找到方法。

遇女心惊

撒旦 发表于 2018-1-14 23:06
时间精确到秒，按照你说的遍历1秒一个循环，24小时要遍历循环8W多次再作比较找出最大最小值，倒是可以 ...

24小时才8W多次，对于计算机来说根本不是事啊。而且，只要不是几十万上百万数据，哪里要几分钟，一秒几秒就搞定了

撒旦

遇女心惊 发表于 2018-1-16 08:54
24小时才8W多次，对于计算机来说根本不是事啊。而且，只要不是几十万上百万数据，哪里要几分钟，一秒几秒 ...

①VB在excel中运行效率本身就不高，我做过另外一个循环测试，大概40余次用了8秒，当然因为涉及到网络，可能和网络速度有关系，但是总体而言效率低下是事实。
②按照这个思路来写，并不是单纯的每秒做个判据遍历就可以了，本身机组可能涉及到跨日数据，判据太多，必须嵌套几十层循环，用不好就容易死循环了

遇女心惊

那就不要vb，用js,php这些网络语言都比他快。你不是会c吗，c最快