阡陌哥哥

独热编码 独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。...

卡戎li

一、数据同步方案 二、技术选型 2.1 开源框架与阿里云架构对比 分类阿里云架构开源架构数据采集DTS、DataHubcanal、flume数据传输DTS、DataHubka...

文哥的学习日记

1、FM背景 在计算广告和推荐系统中，CTR预估(click-through rate)是非常重要的一个环节，判断一个商品的是否进行推荐需要根据CTR预估的点击率来进行。在进...

spilledyear

基础命令 基本DDL 内部表与外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路径； Hive 创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变...

傅一平

阿里提出了“大中台，小前台”，其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部，数据技术及产品部应是数据中台建设的核心部门。 那么，数据中台到底是什么？具体包含哪些...

LittleMagic

Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapRedu...