最近一周都在忙于灾害风险大数据系统设计和开发的具体工作。刚到公司，很希望能够尽快进入状态并为公司创造价值，从内心诉求上来说，也是自己能够以更加自信的状态融入工作中。这些年来因为工作内容的原因，慢慢形成了将自己的思维在总体目标与具体的事务之间来回切换的习惯。在宏观思考时，我尽可能用金字塔原理一层一层将目标细化，考虑清每个环节需要完成的任务，存在的风险和困难。在完成思考转到具体执行环节，也不忘随时跳出来总体审视正在做的事情是否与目标无关。更重要的是通过思考不断深加深对目标和愿景的理解，对达成目标所要完成的关键要务和优先顺序更加清晰。
通过近一段时间的学着和观察，对公司的现有产品，技术积累，业务模型范围有了更深的了解，因此也抽空重新思考灾害风险AI洞察，又有了一些新的收获。
一、关于定位
经过了这么些年的沉淀，公司一直围绕自己的愿景在前进的道路上不断取舍，不断积累，在短临预报，气候预测以及灾害风险模型等方面都积累了丰硕的成果，这本身就是一个充满智慧和勇气的过程，可惜自己没能身在其中。当前公司灾害风险评估产品在气象行业的占据了一定规模的市场，总的来说，我们已经具备了从灾害风险的探索者逐步转变为领航者的条件。在这样的时刻灾害风险AI洞察产品的应运而生，它需要承载的使命就在于实现这个转变。因此在定位上，我们一定需要锁定更大的市场，将需求从原来为气象行业提供灾害风险服务信息化技术支撑转变为与气象行业合作，直接对政府应急部门和企业提供服务。部分业务将从传统软件开发转变灾害风险行业数据服务，这是最本质的改变。
二、关于产品形态
定位的改变势必带来产品形态的改变。起初的认知里，到公司来是要全新打造一款具有创新性和颠覆性的产品。而从目前的观察理解来看，事实上我们是要通过大数据，深度学习、更加专业的气象灾害监测预测模型以及灾害风险预评估模型、更加精准的服务手段的加持为原有的灾害风险评估产品赋能。所以产品的打造不是从无到有，而是从有到优的过程。产品的最终形态依然是数据-产品-服务为主线的信息化系统，当前我们的关键任务依然是核心能力建设，个人以为应该包括以下几个方面内容：
三、关键要务
1、大数据环境打造
首先既然要打造以数据为基础的服务，我们必须建立起完整的行业相关的数据环境，具体工作包括数据采集，数据加工处理，数据储存、数据服务和数据展示五个环节，以及通过技术手段保障数据的稳定性，安全性和读写效率和冗余。但结合所观察到的当前公司现状，细想数据环境的建设处处充满荆棘。
（1）数据源的问题
拿数据采集来说，首先我们可以获取的数据来源还无法撑起大数据三个字。目前主要的数据还是来自气象部门的气象行业数据，自己灾害风险相关的部分普查数据，而这些数据更多是静态数据，更新频率和周期太长，没办法不能够满足后续及时危险性和风险评估的需求。
关于如何丰富数据源，这里有4点建议：一是直接与应急部门和行业机构合作，直接倒入辖区范围内灾害以及灾害相关的数据；二是通过爬虫技术从互联网抓去，特别是孕灾环境，承载体以及抗灾能力等静态数据，我们可以按行政区域进行编排存储；三通过众包采集的方式，在后续的平台建设中增加灾情以及是孕灾环境，承载体以及抗灾能力等静态数据；四是强化现有系统过程数据的积累，对灾害过程数据、模型运算过程数据进行存储。
（2）数据采集的问题
从目前了解的情况，各个项目数据采集依然没有建立统一的方式。主要以系统定时服务组件和基于开源quartz框架搭建的工具为主，通过定时任务实现REST接口调用、数据库同步，FTP文件同步，流媒体数据解析同步等操作。数据的采集难免会有异常，而目前最大的问题有三类，一是在异常发生时，系统不能给出及时的反馈；二是在系统发生异常，不能自动恢复，缺乏补救措施；三是系统日志跟踪困难，对于用户来说不具备可用性。
关于数据采集的办法，上次开会大家都提了很多很好的建议，总体是希望能够统一技术框架，提高数据采集稳定性和可用性。但是从当前资源投入状况来看，整个工作还是需要逐步开展。首先是对于总体的设计方案进行评审。然后重点优先解决数据采集稳定性问题以及加强异常反馈补救措施，在新的项目里面可以尝试用新的方法进行试点，通过具体项目检验模块可用性。最后再次基础上开发数据采集监控和日志实现数据采集的产品化。
（3）数据存储问题
从目前了解的数据存储方式，项目上大体采用mysql为主的关系数据存储结合系统磁盘的文件存储。这样的技术选择对于公司目前的业务来说是足够的，即便是未来采用分布式部署，这样的搭配也是可行的。虽然mysql数据库面临类似气象观测和预报数据高并发写入，但是并没有对写入时间有过高要求，同时用户主要以业务单位工作人员为主，也很少面临高并发读取。而文件存储对于栅格数据存储虽然并非最优选择，但是对于低并发读写的业务场景来说也是足够的，不需要在这个阶段引入HDFS来增加开销。
目前数据存存储重点还是要解决数据规范的问题。主要是非气象类关系数据的存储，例如孕灾环境、承灾体和应急能力数据的表名和属性字段的规范化；另外一块是产品数据以及中间过程数据存储路径和文件命名规范化。这块可以更多参考国家局下发的气象产品命名规范。
（4）数据服务问题
数据服务目前还不是关键点，因为现有项目的数据获取主要还是走内部的接口或文件资源路径。所以当前关键问题还是第三点提到的文件存储和命名规范问题的解决。已有的数据服务，可以直接用到大数据系统，新的数据服务尽可能采用统一的微服务架构实现，以逐步统一数据服务规范。
（5）数据展示问题
数据展示是大数据系统对外的窗口，也是大数据环境建设成果的展示平台。虽然大数据展示系统作为最后一个环节，但是它的设计和开发却应该是先行的。因为前面4点的工作是一个循序渐进的能力建设过程，需要不断积累和完善。而大数据展示快速建立，能够帮助我们以最快的速度与客户之间建立深层次连接，了解到更多的反馈和需求。另外一方面，通过大数据展示系统的建立，倒逼前面4个环节的工作的开展，同时向短临和灾害风险评估系统提出更高要求。
数据展示系统建设分两个阶段，第一阶段以时空数据叠加展示为主，包括气象数据、孕灾环境数据、承灾体数据、抗灾能力数据、地表覆盖与区划数据基于二三位数据一体化展示。第二阶段是对灾害监测、智能化灾害识别、灾害风险预评估结果以及灾害风险预警建议的动态展示。
2、产品质量提升
对于目前各个项目服务产品没有做太深入的了解。但是服务产品的质量是核心价值的关键所在。影响产品质量的因素有6个方面：（1）一是基础数据的完整性、准确性和实时性，所以第一部分数据环境工作意义重大；（2）二是模型算法的科学性，采用权威的灾害预测评估模型是关键，同时加强与专业机构和专家合作，获取更科学的服务产品模型；（3）三是指标参数的准确性，目前模型的指标参数通常由甲方专家提供，但是指标参数存在的问题是区域差异性和时效性，因此我们有必通过深度学习的介入不断计算误差，优化指标参数的精度；（4）四是模型运行稳定性，这主要是指客观化模型运行的稳定性，与确保数据质量一样，稳定的模型运行才能保障产品质量;（5）五是服务产品的精细化程度的提升，我们能够针对特定位置、特定时间提供具有差异化的灾害等级服务；（6）六是服务产品不仅要告诉用户风险所在，还要能够告诉用户如何应对风险。
3、服务方式思考
做服务核心是内容，但是服务方式也很重要。好的服务方式应该让服务内容表达更及时，更清晰。好的服务方式能够让用户更方便地获取服务提交反馈。关于这部分目前没有太深入地思考，大致想到的是基于PC端的专业服务网站的建设，理想的方式是设计基于PaaS的形态进行架构，针对不同的用户提供一致的登陆入口，通过平台账号实现服务内容的获取，提供自主风险资源数据管理、风险阈值设定、系统风格定制、服务内容定制等功能。考虑到服务的便捷性，我们同步推出移动端应用，在移动端加入PC端核心功能的同时，增加移动端特性功能，比如灾情和风险相关资源的众包采集、基于位置的灾害风险推送等功能。
四、先做什么后做什么
确定的关键要务，有必要对任务的优先顺序做一个思考。主要还是结合公司目前的业务现状和资源投入能力进行考量。用尽可能用最少的投入创造最大的成效。
所以首先希望能够通过大数据一张图的建设，通过迭代的方式尽快退出最小可用产品，基于三位效果以及展现能够拿到的气象行业数据，孕灾环境数据，承灾体数据，抗灾能力数据以及地表覆盖和区划数据。这个阶段重点是能够出效果，能够支撑商务给客户展示，争取落地新的单子。在有项目打底的基础上，增加数据的接入，丰富数据表现形态，通过多维度数据叠加展示，提升数据表达的效果。
第二步要做的是服务终端的建设。基于具体项目将灾害监测，危险识别以及风险预警评估结果集成到灾害风险一张图上。其次是着手打造移动端应用。
最后是产品模型的持续优化。其实这个事情已经开始，我正在进行，将来也不会停止。这个阶段重点是将已有的模型能够跑起来，打通与数据展示系统和服务终端的连接，让产品能够服务到用户，从而收集反馈，不断优化模型。
当然如果能够 通过融资手段扩大资源投入能力 ，几个环节也能够同时进行，从而更快实现目标。
五、团队效能提升
传统行业软件公司特有的问题，核心的是心态问题。而对于灾害风险洞察系统的建设，个人认为最佳的策略是小步快跑。在总体规划的基础上，阶段性推出产品迭代版本，并快速与客户交流获取反馈，基于反馈持续改进产品。所以这个阶段团队的效能至关重要，团队人员需要保持积极心态，目的就是要完成一个一个阶段性目标。现在想到的是在灾害风险大数据系统开发过程中，尝试采用敏捷开发方式，小范围周期性迭代，计划制定以一个月为单位。前三周冲刺完成设计和开发工作，第四周进行测试和汇报，制定下一个周期计划。每天坚持立会，明确前一天任务完成情况以及存在的问题和困难，明确今天的工作重点。通过协调公司资源协助保障计划进度。目的是让团队成员紧盯目标，达成目标，从而提升团队效能。
六、小结
总的来说我们可能要面临的是公司部分的转型，这个过程是循序渐进的过程，所以产品的打造是一个升级创新的过程。打造大数据环境、不断提升产品质量、建设服务终端是未来很长一段核心能力建设的重点。当然我们需要以大数据展示系统作为突破口，通过产品迭代，完善需求，倒逼核心能力建设以及团队效能的提升。路漫漫而修远兮，在通往愿景的路上，会有很多困难。时刻保持积极心态，脚踏实地向前迈进的同时不忘随时抬头看路，相信我们能够成为灾害风险管理的领航者。
