大数据技术及相关开源软件的发展永恒

今年以来，开源大数据技术在英国的企业中陷入了僵局。

Channel 4的CTO Bob Harris在Computer Weekly会议中说到，企业实施大数据项目通常都需要采用新技术。

有一些数据问题无法在传统数据库中得到解决，因为数据量变大了。我们的用户是从2011年开始使用MapReduce技术的，该软件非常尖端，但我认为它也只是补充性工具。

KPMG咨询服务公司的合伙人之一Eddie Short负责公司的BI实践，他说：虽然目前很多主流企业都开始涉及大数据，但他们纯粹是出于技术层面上的考虑，无法太超前，毕竟CIO掌控着IT架构的大局。

KPMG鼓励员工不要把大数据太当真。Short说：这是一个实验的过程，要做好失败的打算。他还提到，大数据真正成为主流，还有一个大裂口填补（a big chasm building）的阶段。

目前大家使用的开源技术Hadoop,其实很大程度上也只是实验阶段。

想要找到不是试用阶段的软件很难。这也算是IT业的行规了，万事还得靠钱说话。不过从理论上来讲，如果你能通过信息，运用大数据实时分析出结果，并为市场所用的话，那么将实现一个极为成功的案例。

然而，这样的概率很小。

就像BAE Systems Detica公司的数据总监Steve Shelton所说的，如果实施方法不对，那么大数据浪费的开销对企业来说将是一个不小的打击。

Shelton提到了公司的几个客户，他们受到大数据潜能的吸引，部署之后才发现这些工具用处不大，损失惨重。

由于大数据技术开源软件（如Hadoop）的局限性，许多企业在做决策的时候都在挣扎。

他认为，在任何情况下，这些系统与历经多年的企业模型相比，都是不成熟的；尤其在文件编制方面，Hadoop稍微好一点，Storm（Python推出的程序库）就比较差了。

除此之外，还有一个不可避免的问题，就是安全性。Shelton说：有些软件根本没有内置的安全保护。Hadoop比较安全，但也只能放到可信任的络中来看。我们是在一个物理上独立的络中运行Detica的。

Shelton提到，他们公司的客户对于Hadoop及其补充性技术的实施还处于非常早期的阶段。

这是一项长远的工程，一两年内无法完成。

Recommind（一家财务与法律服务方向的企业调研公司）的CEO Bob Tennant是这么评价大数据技术的：Hadoop在数据获取方面表现不错，但它的批量化处理方式使实时数据管理变得很难，而且远未达到满足金融机构对安全性需求的阶段。但是由于大数据容量的不断增长，企业必须迈出这一步。

Teradata产品市场主管Martin Willcox表示，Hadoop和其他大数据技术确实为数据分析软件带来了全新的发展空间。

大数据技术目前存在局限性，还不适用于所有企业。Hadoop对数据的捕捉性能非常出色，但企业用户还需要对数据的种类进行筛选。这就造成了IT与业务之间传统关系的转变--现在已经不再是企业设想出会产生的问题、IT技术随之进行架构开发与支持的时代了；而是，业务人员需要通过一个迭代过程，来发现问题。

他略带一点警示意味地说：现在所有的大数据技术都是由程序员为程序员而开发，这会给企业分析师的使用带来巨大的障碍；毕竟在企业中，既为统计师、程序员出身，又对业务有着深刻理解的人凤毛麟角。

Willcox提到Teradata公司的Aster数据技术可为SQL和Hadoop搭起一座桥梁。

分布式光伏仍然面临电力系统管理约束。我国的电力系统建立在大电源、大电流基础之上 他说：大数据BI就像一个家庭开的作坊，有三个人在地下室里工作。要使它变得和传统BI一样工业化，就需要这样的桥梁\'.

Willcox称，Teradata大数据产品的客户群体主要还是集中于美国西海岸一带。在欧洲、中东和非洲市场，他们预计的客户群体是零售商、银行和高端制造商。然而，欧洲感兴趣的人很多，但受了炒作影响，真正购买的并不多。

他认为欧洲市场缺乏明显的业务重点。很多人实施大数据项目，安装了Hadoop集群，对数据进行捕捉，却不知道它的价值在什么地方。

在Computer Weekly会议中，Hadoop开源架构的设计者之一Doug Cutting说：大数据技术并没有突然之间就跨越了裂口（crossing the chasm），从硅谷技术公司连接到了主流企业；我感觉到的只是它在稳步增长而已。