一、为什么需要数据建模 数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。适合业务和基础数据存储环境的模型，大数据能获得以下好处： 性能：良好的数...
发简信
IP属地：香港
-
7.阿里大数据——大数据建模
-
6.阿里大数据——数据服务数据部门产出的海量数据，如何能方便高效地开放出去，是我们一直要解决的难题。 一、服务架构演进 DWSOA：由数据驱动，一个需求开发一个或几个接口，编写接口文档，开发给业务方调...
-
5.阿里大数据——实时技术数据的实效性一般分三种： 离线：在今天（T）处理N天前（T-N，N>=1)的数据，延迟时间粒度为天。 准实时：在当前小时（H）处理N小时前（H-N，N>0，如0.5小时、1小...
-
4.阿里大数据——离线数据开发
阿里巴巴的数据计算层包括两大体系： 数据存储及计算平台离线计算平台MaxCompute实时计算平台StreamCompute 数据整合及管理体系（OneData，现在应该叫D...
-
3.阿里大数据——数据同步数据采集： 日志采集 数据同步 一、数据同步 数据从业务系统同步进入数据仓库 1.源数据类型 关系数据库的结构化数据：mysql、oracle、db2、sql server等...
-
2.阿里大数据——日志采集
Aplus.JS：是web端日志采集技术方案 UserTrack：APP端日志采集技术方案 一、浏览器的页面日志采集 页面浏览日志采集页面浏览量（Page View，PV）访...
-
1.理清稀里糊涂的数仓分层
阿里巴巴大数据体系架构：数据采集层——数据计算层——数据服务层——数据应用层 数仓架构： ODS：操作数据层（Operational Data Store） DWD：明细数据...
-
Maxcompute批量分区删除
ps: Maxcompute数据仓库建设的分享。 Maxcompute 大致介绍下Maxcompute, Maxcompute是阿里的一个大数据工具，基于Maxcompute...
-
Python 农历公历相互转换
背景 日常用python处理各种数据分析工作，最近需要对历年春节期间的数据做一些对比工作，本来只是用了一个简单的日期数组来进行，但后来发现一些数据在农历日期进行对比的时候，会...
-
-
-
打卡第七天-线性分类器损失函数与最优化（下）Softmax vs. SVM 10是正确的分类所得分数 问题：假设我选择一个数据点，并稍微抖动了一下(稍微改变了它的分数)。在这两种情况下，损失发生了什么？ 答案：svm几...
-
打卡第六天-线性分类器损失函数与最优化（上）SVM损失 计算公式如图：svm-loss 当loss是0时，w的值可能是比例放大的值，w没有的限制范围。 权重正则化 L2是常用的方法 softmax classifier...
-
打卡第五天-数据驱动的图像分类方式：K最近邻与线性分类器（下）
线性分类器 构建一个函数，f(x,w)。输入x是像素，输出分类。w是权重。 矩阵乘法，偏移值b 通常把图片处理成相同尺寸，且是方形的，方便训练模型 输出模型 这些图片看起来很...
-
打卡第四天-数据驱动的图像分类方式：K最近邻与线性分类器（上）
图像分类 计算机视觉的核心问题 为什么对计算机来说是困难的： 在计算机中一张图片是一堆像素 拍摄角度 光线不同 姿态不同 遮挡问题 背景干扰 多个目标图像 传统编程思想无法解...
-
打卡第三天-计算机视觉历史回顾与介绍下
imagenet挑战 2012年的imagenet挑战冠军“卷积神经网络”。历史性的时刻，错误率得到大幅的下降。 硬件的提升 可以构建更大的网络 大数据 给模型更多的数据用来...
-
打卡第二天-计算机视觉历史回顾与介绍中
视觉的前期 并不是对整体鱼或者老鼠进行处理，第一步是对简单的形状结构处理，边缘、排列。 计算机视觉从什么时候开始 1963年的论文，方块世界。边缘决定了形状，解析图片中的边缘...
-
打卡第一天-计算机视觉历史回顾与介绍上
bigbang 5.4亿年前，没有很多物种，漂在水上等着食物漂过嘴边。直到眼镜的出现，物种大爆发。物种可以捕食，随着物种开始装备大比拼。 相机暗盒 现代视觉工程的开端。拷贝世...
