美团
数据收集特性：
对于数据收集平台，日志数据是多接口的，可以打到文件里观察文件，也可以更新数据库表。关系型数据库是基于Binlog获取增量的，如果做数据仓库的话有大量的关系型数据库，有一些变更没法发现等情况，可以通过Binlog手段可以解决。通过一个Kafka消息队列集中化分发支持下游，目前支持了850以上的日志类型，峰值每秒有百万介入。
流式计算平台特性：
构建流式计算平台的时候充分考虑了开发的复杂度，基于Storm。有一个在线的开发平台，测试开发过程都在在线平台上做，提供一个相当于对Storm应用场景的封装，有一个拓扑开发框架，因为是流式计算，我们也做了延迟统计和报警，现在支持1100以上的实时拓扑，秒级实时数据流延迟。这上面可以配置公司内部定的某个参数，某个代码，可以在平台上编译有调试。
离线数据平台：
最下面是三个基础服务，包括Yarn、HDFS、HiveMeta。不同的计算场景提供不同的计算引擎支持。如果是新建的公司，其实这里是有一些架构选型的。Cloud Table是自己做的HBase分装封口。我们使用Hive构建数据仓库，用Spark在数据挖掘和机器学习，Presto支持Adhoc上查询，也可能写一些复杂的SQL。对应关系这里Presto没有部署到Yarn，跟Yarn是同步的，Spark是on Yarn跑。
微软
lambda 架构 -> Kappa 架构
lambda 架构首先由 Nathan Marz 提出，通过创建两个数据流路径来解决此问题。 所有进入系统的数据都经过这两个路径：
批处理层（冷路径）以原始形式存储所有传入数据，对数据进行批处理。 该处理的结果作为批处理视图存储。
速度层（热路径）可实时分析数据。 设计此层是为了降低延迟，但代价是准确性也会降低。
Kappa 架构由 Jay Kreps 提出，用于替代 Lambda 架构。 它具有与 lambda 体系结构相同的基本目标，但有一个重要区别：所有数据流经一个路径，使用一个流处理系统。
Airbnb
Airbnb 数据源主要来自两方面：数据埋点发送事件日志到 Kafka；MySQL 数据库 dumps 存储在 AWS 的 RDS，通过数据传输组件 Sqoop 传输到 Hive集群。
包含用户行为以及纬度快照的数据发送到 Hive“金”集群存储，并进行数据清洗。这步会做些业务逻辑计算，聚合数据表，并进行数据校验。
Airbnb 采用 Presto 来查询 Hive 表，代替 Oracle、 Teradata、 Vertica、 Redshift 等。在未来，希望可以直接用 Presto 连接 Tableau。
Airpal，一个基于 Presto，web 查询系统，已经开源。Airpal 是 Airbnb 公司用户基于数据仓库的即席 SQL 查询借口，有超过 1/3 的 Airbnb 同事在使用此工具查询。任务调度系统Airflow ，可以跨平台运行 Hive，Presto，Spark，MySQL 等 Job，并提供调度和监控功能。
迁移到 Mesos 计算框架后，可以选择不同类型的机器运行不同的集群。比如，选择 AWS c3.8xlarge 实例运行 Spark。AWS 后来发布了“D 系列”实例。从 AWS c3.8xlarge 实例每节点远程的 3 TB 存储迁移数据到 AWS d2.8xlarge 4 TB 本地存储，这给 Airbnb 公司未来三年节约了上亿美元。
有赞
整合Kylin，Mondrian，Saiku来实现大数据场景下的OLAP分析。
