交流讨论留在本论坛;查完整姓氏源流、郡望堂号、古籍资料,欢迎前往 华世家 huashijia.com

 找回密码
 立即注册
查看: 8|回复: 0

[谢氏企业] 神机妙算大数据:企业该如何导入(谢宗震)(企业资料)

[复制链接]

3

主题

0

回帖

0

积分

百家姓秀才

★

积分
0
发表于 2015-12-29 08:00:00 | 显示全部楼层 |阅读模式
神机妙算大数据
企业该如何导入

DSP智库驱动创办人暨知识长谢宗震

资料
科
学家
不仅能透过大数据找出现实中未被发现的
秘密,更可以预测未来可能发生的事情,防患问题于
未然。资料科学是一门入世的学问,真相不在数字里
,而是在人心与世界。

2014
年8月1
日凌晨,高雄地区传出气爆意外,数个
小时间高雄多个地区发生连环爆炸,造成32人死亡、
321人受伤,如此突发的重大灾难,急促的时间内常出
现伤患送医过程的困难:在不清楚高雄地区各医院急诊
资源的状况下,我们该把伤患送去哪间医院可以最快得到照顾与治疗?如果高雄地区的医院满了,我们是否该送病患去台南?

xiebc_1f2977b8e1c13410_0.png

在天灾之外,我们如何降低后续人祸的延伸效应?

也许我们可以从《谷仓效应》书中的一个例子里,找到未来的救星:2011年4月25日同样是凌晨,纽约一处贫民社区的严重火警造成多人丧生,一时间大家开始点名罪魁祸首,而纽约市政府当然也在其中。但问题来了,在纽约市,住宅火警稀松平常,原因是消防检查队与住民不成比例──200人:400万人,又没有足够经费增加消防预算,怎么办?

还好,「资料科学家」出现了。这个资料科学团队整理纽约市的火警资料,但却发现这些资料无法预测火警,于是干脆走出办公室,跟不同警察局、消防局、房屋署、建筑部的检查人员出去,不断修正假设。终于线索浮现:他们发现当一栋建筑物同时具备「房贷欠缴」、「历史久远」、「住户贫穷」这些特征时,则失火与违建的比率高出很多。

纽约市政府半信半疑的采用了这套资料科学模型作为未来住屋建筑的检查标准,结果相当惊人,原本只有13%被通报的房屋有问题,如今这个数字窜升为70%。结论是,你意想不到的数据,在资料科学家的巧手之下,将成为解决社会问题的最佳救星。

在「八一气爆」的例子中也不例外,台湾资料科学家、DSP智库驱动知识长谢宗震就分享,由「Code for Healthcare」机构主办、以「八一气爆」为核心问题的工作坊,就集结资料科学团队,透过每5分钟更新的急诊室资料搜集与运算,建立起一套即时的数据系统,让未来重大灾难发生的当下,可以透过App即时告诉救护人员:伤患应该优先送到哪间医院?是否该向台南医院寻求协助?有些医院虽然略远,但是否急诊室不用排队?甚至,在工作坊之后,相关单位也开始思考,是否有可能透过数据去重整医疗资源与人力?半夜3点到底需要几个轮值的医护人员?被批「血汗」的医疗工作环境,有没有还工作者健康生活的一天?

资料科学是一门入世的学问,资料科学家的首要工作就是把一个真实世界的问题转换成资料科学问题。相信数据最后是要为人所用的,不然它就失去意义。谈完资料科学案例,接下来聊聊企业如何导入资料科学吧!

企业导入资料科学的第一步,分析性思维的资料共享平台

在大数据思潮之下,以数据作为论证基础的意识抬头,各大企业纷纷寻求资料科学导入方案,急欲将长年累计的数据经验加以分析,用来改善精进其营运流程,并以此为本规划未来方针。

然而,资料科学的导入并非一朝一夕,透过几场教育训练或是采购一套完整解决方案就真的能解决。笔者从事多年的资料分析与资料科学导入经验来说,资料科学的第一步是从具备分析性思维的资料共享开始。资料共享的概念不是新玩意,Google drive, Dropbox 就是众所皆知的解决方案,然而这些产品强调的是档案或是文件共享,并不真的是资料共享。我们认为好的资料共享平台需要事先完成资料预处理 (data pre-processing),让资料分析师能够立即实作,计算结果能在最短时间内产出。另一方面,介接已完成预处理的资料,针对企业营运的重要目标以动态仪表板的方式做呈现,让量化指标能够立即反映企业营运的特征与趋势。

xiebc_405114b67d3d8c97_2.jpg

资料共享平台不只是档案共享,更要能帮助企业营运。(

值得一提的是完成预处理的资料必然不是
docx,xlsx,pdf,jpg,png
等文件、影像格式,是能够透过
API(application programming interface)
的介接转换成
csv, json,xml
可直接应用于资料分析的格式。这种分析性思维的资料共享平台有几个特点:

1.
全体员工的资料素养提升

资料科学的核心是「人」而不是「机器」。企业的营运特征与趋势经由资料共享平台以动态仪表板的方式传递给企业每一个层级的员工,完成预处理的资料让大家可以轻易地介接使用有助于提升全员的资料素养。

日前一位游戏产业的
CEO
跟我抱怨,要寻得同时具备领域经验与资料素养的副手有多么困难。深入了解后发现公司日常的营运报表只有少数几位高层能够看到,完整的报表汇整自业务、行销、技术、客服
…
等不同部门,制作报表的同仁各自行事,虽有各自专业却往往见树不见林。

直到导入了这种资料共享方案,不仅同仁们愿意以数据做为决策依据,更进一步强化员工跨部合作的意识。除此之外,让这位
CEO
从中提拔了优秀人才。

2.
实务上适应性更高

分析性思维的资料共享机制具有高度适应性 (adaptive)
,而非预期性
(predictive)
。资料科学流程可概分为四个主要步骤:定义目标、资料盘点、资料分析、行动决策。所谓的预期性系指整体流程是稳可预期的,需求项目相对固定,可以按部就班交办完成。

实际进行资料分析专案时,稳定的因素其实很难满足。传统上的做法是在一个很长的时间跨度内对各个流程做详细的规划,尽可能降低不确定的因素。然而,我们往往需要在有限的时间内下决策,敏捷地在四个步骤间进行往返修正显得极其重要。

分析性思维系指事先准备好一个资料湖泊
(data lake)
,这是一个汇聚众多已完成预处理资料集的湖泊,水源可以是来自各部门的内部资料,可以是公司外部的开放资料,也可以是前一次完成分析报告后的重要指标。使用者可以在里面对资料集做快筛,找出能解决问题的潜在资料集,快速导入资料分析。这样的机制不仅能够适应实务上充满不确定性的状况,甚至是欢迎变化,透过多次的迭代循环确立更佳的资料科学解决方案。

3.
进阶拓展更容易

对于资料分析目标明确有系统化需求的企业,可以透过 API
向资料湖泊介接资料,从事各种应用服务。其好处在于资料
(
核心
)
与服务
(
外壳
)
能够明确切割,便于资料权限控管以及服务的版本更新。

xiebc_34b60a930e24218f_4.png

分析性思维的资料共享平台三个特点:

资料仪表板提升资料素养、资料湖泊提升分析的适应性、
API
实现进阶应用。

(

现在就开始

我常将资料比喻成食材,资料科学家比喻成厨师,好的资料科学解决方案是秀色可餐且营养兼具的佳肴。正在寻求资料科学解决方案的企业主们,你们要的只是大数据小数据结构化数据非结构化数据都能储存的「超级冰柜」,还是能更进一步在煮饭前就先备好料的「智慧冰箱」呢?
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|华人百家姓论坛

GMT+8, 2026-10-20 23:37 , Processed in 0.044373 second(s), 22 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

华世家
查姓氏史料
快速回复回 返回顶部顶 返回列表列