郑州IT科技网
创业访谈

聚类分析法:互联网运营人员都在用的几种数据分析方法

作者: 来源: 时间:2020-08-31

 

  聚类分析法:互联网运营人员都在用的几种数据分析方法
 

  聚类分析计算方法主要有如下几种:分裂法(partitioning methods):层次法(hierarchical methods):基于密度的方法(density-based methods): 基于网格的方法(grid-basedmethods): 基于模型的方法(model-based methods)。

  1、分裂法又称划分方法(PAM:PArtitioning method) 首先创建k个划分,k为要创建的划分个数;然后利用一个循环定位技术通过将对象从一个划分移到另一个划分来帮助改善划分质量。

  典型的划分方法包括:

  k-means,k-medoids,CLARA(Clustering LARge Application),

  CLARANS(Clustering Large Application based upon RANdomized Search).

  FCM

  2、层次法(hierarchical method) 创建一个层次以分解给定的数据集。该方法可以分为自上而下(分解)和自下而上(合并)两种操作方式。为弥补分解与合并的不足,层次合并经常要与其它聚类方法相结合,如循环定位。

  典型的这类方法包括:

  BIRCH(Balanced Iterative Reducing and Clustering using Hierarchies) 方法,它首先利用树的结构对对象集进行划分;然后再利用其它聚类方法对这些聚类进行优化。

  CURE(Clustering Using REprisentatives) 方法,它利用固定数目代表对象来表示相应聚类;然后对各聚类按照指定量(向聚类中心)进行收缩。

  ROCK方法,它利用聚类间的连接进行聚类合并。

  CHEMALOEN方法,它则是在层次聚类时构造动态模型。

  3、基于密度的方法,根据密度完成对象的聚类。它根据对象周围的密度(如DBSCAN)不断增长聚类。

  典型的基于密度方法包括:

  DBSCAN(Densit-based Spatial Clustering of Application with Noise):该算法通过不断生长足够高密度区域来进行聚类;它能从含有噪声的空间数据库中发现任意形状的聚类。此方法将一个聚类定义为一组“密度连接” 的点集。

  OPTICS(Ordering Points To Identify the Clustering Structure):并不明确产生一个聚类,而是为自动交互的聚类分析计算出一个增强聚类顺序。

  4、基于网格的方法,首先将对象空间划分为有限个单元以构成网格结构;然后利用网格结构完成聚类。

  典型的基于网格的方法包括:

  STING(STatistical INformation Grid) 就是一个利用网格单元保存的统计信息进行基于网格聚类的方法。

  CLIQUE(Clustering In QUEst)和Wave-Cluster 则是一个将基于网格与基于密度相结合的方法。

  5、基于模型的方法,它假设每个聚类的模型并发现适合相应模型的数据。

  典型的基于模型方法包括:

  统计方法COBWEB:是一个常用的且简单的增量式概念聚类方法。它的输入对象是采用符号量(属性-值)对来加以描述的。采用分类树的形式来创建一个层次聚类。

  CLASSIT是COBWEB的另一个版本.。它可以对连续取值属性进行增量式聚类。它为每个结点中的每个属性保存相应的连续正态分布(均值与方差);并利用一个改进的分类能力描述方法,即不象COBWEB那样计算离散属性(取值)和而是对连续属性求积分。但是CLASSIT方法也存在与COBWEB类似的问题。因此它们都不适合对大数据库进行聚类处理.

  传统的聚类算法已经比较成功的解决了低维数据的聚类问题。但是由于实际应用中数据的复杂性,在处理许多问题时,现有的算法经常失效,特别是对于高维数据和大型数据的情况。因为传统聚类方法在高维数据集中进行聚类时,主要遇到两个问题。①高维数据集中存在大量无关的属性使得在所有维中存在簇的可能性几乎为零;②高维空间中数据较低维空间中数据分布要稀疏,其中数据间距离几乎相等是普遍现象,而传统聚类方法是基于距离进行聚类的,因此在高维空间中无法基于距离来构建簇。

  高维聚类分析已成为聚类分析的一个重要研究方向。同时高维数据聚类也是聚类技术的难点。随着技术的进步使得数据收集变得越来越容易,导致数据库规模越来越大、复杂性越来越高,如各种类型的贸易交易数据、Web 文档、基因表达数据等,它们的维度(属性)通常可以达到成百上千维,甚至更高。但是,受“维度效应”的影响,许多在低维数据空间表现良好的聚类方法运用在高维空间上往往无法获得好的聚类效果。高维数据聚类分析是聚类分析中一个非常活跃的领域,同时它也是一个具有挑战性的工作。目前,高维数据聚类分析在市场分析、信息安全、金融、娱乐、反恐等方面都有很广泛的应用。


  1 在进行数据分析前,我们需要思考

  像一场战役的总指挥影响着整个战役的胜败一样,数据分析师的思想对于整体数据分析思路,甚至分析结果都有着关键性的作用。

  2 分析问题和解决问题的思路

  

 

  ❶ 定义问题(重要步骤之一):

  1)首先,要搞清楚问题的实质,准确、完整、真实地表达问题。

  2)其次,弄清楚为什么要解决这个问题?

  3)最后,解决这个问题的意义何在?是必须解决还是无关紧要,或是需要马上解决这个问题还是不太着急。

  ❷ 收集整理信息:

  搜集、整理关于要解决问题的历史资料、类似情况和现状。例如,从现有的报表数据中就能看到当前问题点的数据情况或者一段时间的趋势;

  ❸ 选取分析方法:

  1)分析涉及到的主要维度,为后面提取数据需求做准备;

  2)选取的分析软件以及分析方法(统计学相关方法);

  ❹ 数据提取整理(重要步骤之二):

  1)根据分析内容以及分析方法,提出分析所需的数据需求;

  2)对于反馈回来的数据,需要进行部分加工,以便更能反映所要分析的问题;

  ❺ 分析结果及结论:

  1)根据分析的结果,得出一些当前问题产生的一些结论。这里注意分析的方法以及维度,结果的展示方式等。

  2)结论需要足够的数据作支撑;

  ❻ 实施及建议措施:

  1)针对数据分析结论,给出当前问题的解决建议措施;

  2)一方面从业务层面进行建议措施。另一方面,可以就问题点进行更深层次分析,给出数据挖掘层面的解决措施;

  ❼ 实施效果评估及报告整理:

  1)根据措施实施效果进行评估,将完成的分析过程、结果以及评估整理报告,为以后出现问题提供经验教训;

  2)对于本次没有完全解决的问题,进行说明。

  3 精确地陈述问题

  5W2H法:

  5W:What、When、Where、Who、Why;

  2H:How many、How much;

  Where——哪里存在问题?

  What——存在的问题是什么?

  Why——原因在哪里?

  When——什么时候开始出现这样的问题?

  Who——与什么对象有关?

  How many——发生的次数和数量?

  How much——损失有多大?

  4 问题展示方式

  

 

  问题结构是由现状、直接原因以及最终原因构成的。针对直接原因进行的叫初步问题分析、针对最终原因进行分析的叫深层及问题分析。

  5 分析方法

  统计方法的三大特性,用三句话来简单概括:

  1)实用性:除了实情,数据能证明一切;

  2)丰富性:统计揭露出的部分固然明晰,没揭露出来的或许更重要;

  3)公平性:每个人都应当用数据说话。

  

 

  6 描述性统计分析

  “五点法”:最小值、1/4分位数、均值、3/4分位数、最大值;

  “两度”:峰度、偏度

  六西格玛:

  

 

  7 变量分析方法选取

  

 

  8 数据挖掘分析

  按挖掘方法分类:包括统计方法、机器学习方法、神经网络方法和数据库方法。

  其中:

  1)统计方法可分为:判别分析(贝叶斯判别、费谢尔判别、非参数判别等),聚类分析(系统聚类、动态聚类等),探索性分析(主成分分析等)等。

  2)机器学习方法可分为:归纳学习方法(决策树、规则归纳等),基于范例学习,遗传算法等。

  3)神经网络方法可分为:前向神经网络(BP算法等),自组织神经网络(自组织特征映射、竞争学习等)。

  4)数据库方法分为:多维数据分析和OLAP技术,此外还有面向属性的归纳方法。

  关联规则:关联规则反映一个事物与其他事物之间的相互依存性和关联性,如果两个事物或者多个事物之间存在一定的关联关系,那么其中一个事物就能够通过其他事物预测到。

  9 选取分析所需的相关数据

  

 

  10 数据质量的评估

  在现实社会中,存在着大量的“脏数据”:

  ❶ 不完整性(数据结构的设计人员、数据采集设备和数据录入人员):

  1)缺少感兴趣的属性

  2)感兴趣的属性缺少部分属性值

  3)仅仅包含聚合数据,没有详细数据

  ❷ 噪音数据(采集数据的设备、数据录入人员、数据传输):

  1)数据中包含错误的信息

  2)存在着部分偏离期望值的孤立点

  ❸ 不一致性(数据结构的设计人员、数据录入人员):

  1)数据结构的不一致性

  2)Label的不一致性

  3)数据值的不一致性

  ❹ 数据类型冲突:

  1)性别:string(Male、Female)、Char(M、F)、Integer(0、1)

  2)日期:Date、DateTime、Sting

  ❺ 数据标签冲突:解决同名异义、异名同义:

  学生成绩、分数

  ❻ 度量单位冲突:

  1)学生成绩

  a.百分制:100~0

  b.五分制:A、B、C、D、E

  c.字符表示:优、良、及格、不及格

  ❼ 概念不清:

  最近交易额:前一个小时、昨天、本周、本月

  ❽ 聚焦冲突:根源在于表结构的设计

  11 数据的清洗处理

  主要任务:

  补充缺失数据

  识别孤立点

  处理不一致的数据

  处理方法:

  分箱(Binning)的方法:

  聚类方法:检测并消除异常点

  线性回归:对不符合回归的数据进行平滑处理

  人机结合共同检测:由计算机检测可疑的点,然后由用户确认

  12 怎样将分析的结果呈现出来

  ►指标分析与政策分析并重

  ►反映重点问题、实事求是

  ►材料、数据要真实,论据要有说服力

  切记:

  分析角度:缺乏分析中心思想或主干线

  文字表达:“一图二表三文字”

  逻辑结构:论点、论据、论证

  13 分析结果呈现基本原则

  数据分析结果呈现准备工作:

  确定表达的主题:

  ►使用图形的目的:

  将思想和观点形象化地表达,加深读者或听众的印象

  ►使用图标时,必须明确通过图表要表达的信息是什么

  确定对比关系:

  ►同一类别不同项目间的对比

  ►不同类别不同项目间的对比

  ►时间对比:把时间作为项目分类的标准

  ►频率对比:以部分占整体的百分比为项目分类的标准

  ►相关性对比:按照项目之间的函数关系作为项目分类的标准

  ►其他对比:逻辑关系的对比(因果、时间序列……)

  选择图形:

  饼图;柱状图;线形图;雷达图;面积图;点图;气泡图;矩阵图;逻辑图……

  14 如何用图来表示数据

  选择图表的方法可以参照我们往期的文章:

  信息可视化图表设计

  15常见的分析模式

  内容决定形式、形式服务于内容,当形式经过时间考验被普遍接受后就固化成一种模式。

  分析报告的模式主要包括:

  ►金字塔式

  ►综合式

  ►三步曲

  ►专题式

  ►通报

  ►简报式

  ►工作汇报式

  16 分析总结及建议措施

  建议措施分类:业务层面;数据挖掘

  17 实施效果评估及报告整理

  1)营销活动效果反馈数据,分析对于问题的解决程度

  活动历史响应数据的积累;

  活动流程固化;

  2)业务模型优化提升

  对比组,显示模型本身的优越性;

  营销活动数据对于模型的提升情况。

  via:大数据可视化

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源; 2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任; 3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 美通社:2018年全球企业品牌影响力调查...

  • QQ空间封闭式社交 如果不依赖QQ会怎样...

  • TrendForce:2018年全球平板...

  • 乐视财报:2014年乐视营收68亿元 同...

  • 263企业邮箱推webmail3.5版 ...

  • 在前行道路上不断摸索的搜狗输入法

  • 苹果付费新闻上线第一天就发生APP崩溃

  • 了解影响网站排名的几个要点