1.LA框架的提出 最早由Twitter工程师Nathan Marz提出来，它是一种大数据软件设计架构，其目的是指导用户充分利用批处理和流式计算技术各自的优点，在延迟、吞吐量...
发简信
IP属地：广东
-
「大数据」04大数据框架：Lambda Architecture(LA)
-
「大数据」03Hadoop与Spark开源大数据技术栈Hadoop与Spark开源大数据技术栈如下图： （1）数据收集层：主要由关系型与非关系型数据收集组件、分布式消息队列构成。 ①Sqoop/Canal：关系型数据收集和导入工...
-
「大数据」02大数据技术体系从数据在信息系统中的生命周期看，大数据从数据源开始，经过分析、挖掘到最终环节获得价值一般需要经过6个主要环节：数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据...
-
「大数据」01大数据的概念及应用场景
1.大数据的概念 2015年国务院向社会公布了《促进大数据发展行动纲要》明确提出了大数据的基本概念：大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，...
-
「爬虫」19利用PhantomJS编写爬虫程序虽然PhantomJS的开发者已经停止更新了，但现存版本依旧可以使用，仍然可以用来解决爬虫中遇到的某些问题，所以还是很值得了解学习一下的。 （1）下载：https://pha...
-
「补充」20Python主要模块的使用
import numpy对数据进行操作，创建数组，生成随机数 ·numpy.concatenate()数据集成 import pandas导入数据，为数据指定索引，引用数据框...
-
「补充」19sklearn库自带标准数据集说明
sklearn库中自带的标准数据集有： 前面有用到过的数据集说明： （1）波士顿房价数据集(boston)包含506组数据，每条数据包含房屋以及房屋周围的详细信息。其中包含城...
-
「关联分析」18关联分析之Aprior算法与FP-growth算法1.关联分析 关联分析是从大量数据中发现项集之间的相关联系。关联分析的一个典型例子是购物篮分析。该过程通过发现顾客放人其购物篮中的不同商品之间的联系，分析顾客的购买习惯。通过...
-
「人工神经网络」17人工神经网络之BP算法
1.人工神经网络 人工神经网络(Artificial Neural Network，ANN)是在受到了生物学的启发后创建的，在某种程度上它是对生物大脑的一种模拟。人们仿照生物...
-
「聚类分析」16聚类分析之KMeans算法与K中心点算法1.聚类 聚类属于无监督式学习。在无监督式学习中，训练样本的标记信息是未知的，算法通过对无标记样本的学习来揭示蕴含于数据中的性质和规律。聚类算法的任务是根据数据特征将数据集相...
-
「数据分类」15支持向量机(SVM)及混淆矩阵1.支持向量机（SVM）概述 （1）支持向量机(Support Vector Machines，SVM)是一种二元分类模型，它是一类模型的统称，其中包括： ①线性可分支持向量...
-
「数据分类」14决策树分类之CART算法1.CART算法与ID3算法对比 （1）CART算法解决了ID3算法的不足，既能用于分类问题，又能用于回归问题。 （2）实际上，CART算法的主体结构和ID3算法基本相同，只...
-
「数据分类」13决策树分类之ID3算法和C4.5算法1.决策树 决策树是应用广泛的一种归纳推理算法。在分类问题中，决策树算法基于特征对样本进行分类，构成一棵包含一系列if-then规则的树，在数学上可以将这棵树解释为定义在特征...
-
「·文本分析」12多项式朴素贝叶斯算法对新闻分类1.fetch_newsgroups模块 sklearn.datasets.fetch_20newsgroups(data_home=None,subset=’train’,...
-
「数据分类」11朴素贝叶斯算法1.贝叶斯公式 一般情况下，令F1，F2，...，FN表示一组互不相容事件，在E（新的证据）已发生的情况下，Fk发生的概率为： 其中： ·P(Fk)称为先验概率(Prior ...
-
「数据分类」10回归分析与回归算法1.回归分析 （1）回归的定义： 指研究一组随机变量(Y1，Y2，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，...
-
「数据分类」09数据建模概述及KNN分类算法1.python数据分析 （1）数据建模：指的是对现实世界各类数据的抽象组织，建立一个适合的模型对数据进行处理。模型的建立依赖于算法，常见的算法有分类、聚类、关联、回归等。 ...
-
「文本分析」08TF-IDF算法及文本相似度分析
1.TF-IDF算法 （1）TF-IDF(term frequency–inverse document frequency，逆文本频数指数)算法 用于信息检索和数据挖掘的常...
-
「文本分析」07字频统计和词云图的绘制1.字频统计：collections.Counter （1）指定文本 from collections import Countercnt = Counter()for wo...
