数据分析

分析方向：

• 批处理：分析过去的现有数据，关注历史信息。这涉及在时间维度上进行大量的批量变更。(每周进行一次分析或每天进行一次分析)
• 实时处理、流式处理：对当下产生的实时数据进行分析，分为毫秒和微秒级。
• 预测分析、机器学习：根据历史和实时数据预测未来事件，关注数学算法的应用，如分类、聚类、相关性、预测

步骤：

• 提出问题
• 获取数据：从零开始获取数据、数据转移和处理(业务数据、日志数据、爬虫数据、开放互联网数据)
• 数据处理：数据清洗、数据转换、数据提取、数据计算，以获得清洁和结构化的数据
• 数据分析：PEST分析(政治、经济、社会、技术)
• 数据展示：数据可视化
• 报告撰写

大数据：

在一定时间内无法用常规软件获取、管理和处理的数据集合；一个庞大的、高增长的、多样化的信息资产，需要新的处理模型以便拥有更强的决策能力、洞察发现和流程优化能力。

• 数量(Volume) 大量的
• 多样性(Variety) 种类来源多样化
• 价值(Value) 价值密度低
• 速度(Velocity) 速度快
• 真实性(Veracity) 真实度高

分布式vs.集群

• 分布式：多台机器，每台部署不同的组件(分布式存储、分布式计算)
• 集群：多台机器，每台部署相同的组件

数据处理架构

传统数据处理架构

• 事务处理(OLTP)涉及处理少量数据但响应时间快。
• 分析处理(OLAP)处理大量数据但响应时间较慢。

流式架构

• Lambda：两个系统，低延迟和准确的结果都很好，但难以迭代
• Kappa是一个提供低延迟和准确结果的系统。它使用了新一代流处理器Flink。