Big Data conference: Strata + Hadoop World 2017 in San Jose —— Day 1

2017 年首次 Strata + Hadoop World 大会于 3 月 13 在美国加州圣何塞举办,并持续到 3 月 16 日。来自全球各地的大数据、机器学习以及深度学习的专家在这里分享了很多在各自的业务领域解决实际问题的经验,吸引了很多厂商赞助并设立展台。本文主要总结一下大会开始首日的一些 Event 安排。

我们可以在 这里 看到 3 月 13 日的具体安排。这天虽然是各个参展方布置会场的时间,主办方还是为参加大会的从业者启动了为期两天的培训课程,这些课程包含:

Spark foundations: Prototyping Spark use cases on Wikipedia datasets

Apache Spark 的真正能力和价值在于将 ETL、批量分析、实时流分析、机器学习、图处理以及可视化的技术和方案组合起来并创建了一个统一的方式。主讲者 Jacob Parr 使用维基百科数据集设计了动手练习课程来探索各种可能的 Spark 上的编程模式。训练结束后,参加课程的同学们可以开发一些 Spark 上的原型概念产品。

Data science at scale: Using Spark and Hadoop

数据科学家通过创建信息平台处理数据来提供深度洞见并回答以前无法想象的问题。Spark 和 Hadoop 正在通过提供对大规模数据进行交互和分析的能力来改变数据科学家的工作方式。这个课程将分享数据科学家是如何使用 Spark 和 Hadoop 帮助企业降低成本、增加收入、改进产品、获得并留住用户以及发现新机会的。

主讲者 Bruce Martin 剖析了数据科学家的工作内容、他们解决的问题以及他们使用的技术和工具,通过课程中的模拟和练习,Bruce 会带着参与课程的同学们应用数据科学来解决真实世界中不同行业的实际问题。

课程内容:

  • 如何找到数据科学可以提供有影响力的结果的潜在商业案例
  • 如何获取、清洗以及整合不同的数据源用于分析
  • 如何挑选合适的统计学方法来找到数据中的价值
  • 什么时候在什么地方引入 Spark 和 Hadoop 到数据科学的处理过程中
  • 对于一个特定的数据科学工程来说,如何选择合适的机器学习技术
  • 部署新的分析平台到大规模生产环境中的一些陷阱

Real-time data engineering in the cloud

云计算平台现在可以让我们以更经济、更快地处理业务,而且实时大数据处理正在开创全新的应用场景。将这两者结合起来,我们可以更容易地创建生产环境中的实时处理系统。处理实时大数据,我们会面临两个重要挑战:

  1. 如获取大量的数据
  2. 如何实时处理大规模的数据

主讲者 Jesse Anderson 探索了各种最新的实时框架(包括开源实现和托管在云端的服务),讨论了元计算服务提供商,并解释了如何挑选适合自己的云服务。基于 Apache Kafka 和 Spark,Jesse 演示了如何获取数据、处理数据、分析数据以及在控制台展示数据的整个流程。

Machine learning with TensorFlow

主讲者 Robert Schroll 使用 Python 接口演示了 TensorFlow 的能力,并介绍了一些 TFLearn,一个封装了 TensorFlow 的上层深度学习库。TensorFlow 是 Google 开源的深度学习库,允许使用数据流图进行支持自动化平行和跨架构(CPU & GPU)的数值计算。这个框架非常适合用来实现神经网络和其他机器学习算法。通过该课程,参与的同学们可以学习如何使用 TFLearn 和 TensorFlow 创建解决实际问题的机器学习模型。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,636评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,890评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,680评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,766评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,665评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,045评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,515评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,182评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,334评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,274评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,319评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,002评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,599评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,675评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,917评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,309评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,885评论 2 341

推荐阅读更多精彩内容