流计算场景里distinct很常用，spark sql对 stream dataset不支持 SELECT COUNT(DISTINCT Com...
投稿
收录了67篇文章 · 146人关注
-
mlsql流任务实现distinct -
为什么去开发一个MLSQL算法和工程之殇 算法和工程结合，有两个非常大的痛点： 第一个，算法的着眼点是，用最快速的方式清洗一些数据出来，然后接着建模训练，评估预测效果，之...
-
CrawlerSQL 设计
目标 首先CrawlerSQL会包含两个服务： 调度服务，比如每个url的抓取周期。抓取服务：调度会给url,抓取服务负责实际的抓取 在Stre...
-
MLSQL如何支持部署SKLearn,Tensorflow,MLLib模型提供API预测服务
部署成API服务时，除了要把raw数据特征化成向量外，研发还要想着怎么加载模型，产生模型的框架五花八门，比如Tensorflow,SKlearn...
-
算法训练和模型部署如何避免多次重写数据预处理代码
前言 前段时间，我们对接算法的工程师哭丧的和我说，模型生成后一般都要部署成API的形态对外提供服务，但是算法工程师并没有提供如何将一条数据转化特...
-
MLSQL解决了什么问题
先看看做算法有哪些痛点（我们假设大部分算法的代码都是基于Python的）： 项目难以重现，可阅读性和环境要求导致能把另外一个同事写的python...
-
是时候丢掉Spark Streaming 升级到Structured Streaming了
前言 又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有...
-
MLSQL是如何集成TensorFlow Cluster的
前言 我们知道MLSQL支持SKLearn,TF等流行的算法框架，不过虽然支持了多个实例同时运行，但其实每个模型都需要跑全部数据。有的时候数据太...
-
谷歌BigQuery ML VS StreamingPro MLSQL
前言 今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPr...
-
如何按程序员思维写分析师脚本前言 今天无意在在某群里，看到一个很复杂的SQL脚本，join很多,子查询很多，union很多，case when也很多。然后就让我们负责分析师...
专题公告
MLSQL unifies Big Data and Machine Learning
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/346627/timg.jpg', '推荐专题《MLSQL》（ 分享自 @简书 ）','https://jianshuapi.com/c/759bc22b9e15?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}