Storm学习笔记(二) - 提高篇

在基础篇中学习了以下内容

  1. Storm概述
  2. Storm核心组件 及 并发机制
  3. Storm集群的部署和测试
  4. Storm的WordCount程序

本文主要学习以下内容

  1. Storm框架通信机制（Worker内部通信有外部通信）
  2. Storm组件本地目录树
  3. Storm ZooKeeper 目录树
  4. Storm任务提交的过程
阅读全文 >>

Storm学习笔记(一) - 基础篇

1 概述

1.1 离线计算、流式计算、实时计算 概述

什么是离线计算？

  • 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、展示数据
  • 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、Azkaban任务调度

什么是流式计算？

  • 流式计算：数据实时产生、实时传输、实时计算、实时展示
  • 代表数据：Flume实时获取数据、Kafka实时数据存储、Storm/JStrom实时数据计算、Redis实时结果缓存、持久化存储（Mysql）
  • 总结：将源源不断产生的数据实时收集并实时计算

流式计算一般架构图

/

离线计算与实时计算最大的区别？

  • 收集
  • 计算
  • 展示

1.2 Storm概述

  • Storm用来实时处理数据
  • 使用场景
    • 日志分析
    • 管道系统
    • 消息转化器
  • 特点
    • 低延迟
    • 高可用
    • 分布式
    • 可扩展
    • 数据不丢失
    • 简单易用的接口

Storm与Hadoop对比

  • Storm用于实时计算，Hadoop用于离线计算。
  • Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。
  • Storm的数据通过网络传输进来；Hadoop的数据保存在磁盘中。
  • Storm与Hadoop的编程模型相似

阅读全文 >>

HBase学习笔记（一）- 快速入门

1. HBase概述

  1. 高可靠性、高性能、面向列、可伸缩的分布式存储系统。
  2. 利用HDFS作为其文件存储系统。
  3. 利用MapReduce处理数据。
  4. 利用ZooKeeper作为协同服务。
  5. 与传统数据库对比的优势
    • 线性扩展,数据增多,可以直接增加节点来扩容
    • 数据存储在HDFS,备份机制健全
    • 通过ZK协调查找数据,访问速度快
  6. HBase集群中的角色
    • HMaster
    • HRegionServer

Q1: 为什么会有HBase？

假设有100W个access.log，每个log大小为1KB，如果使用API向HDFS集群中写，NameNode的压力会很大。
使用HBase可以解决这个问题（文件合并与拆分）

Q2: HBase存储和HDFS存储的关系?

  • HDFS: Client -> NameNode -> DataNode

  • HBase: Client -> HMaster -> HRegionServer -> Zookeeper(元数据) -> HDFS(数据文件)

    • 每条数据线缓存到HRegionServer的内存中,当达到Block大小时再写入HDFS。
    • HBase中只有表结构和列族,其他都是数据。
    • 1个列族中有多个列,被存储到1个文件中。
    • Hbase中不能删除数据,如果对一个相同的行键插入数据（不同时间戳）,就认为是修改。
阅读全文 >>

大数据架构辅助系统（二）- Azkaban学习笔记

1 工作流调度器

1.1 为什么需要工作流调度系统

  • 一个完整的数据分析系统通常都是由大量任务单元组成：
    • shell脚本程序
    • java程序
    • mapreduce程序
    • hive脚本等、
  • 各任务单元之间存在时间先后及前后依赖关系
  • 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行

例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：

  1. 通过Hadoop先将原始数据同步到HDFS上；
  2. 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
  3. 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
  4. 将明细数据进行复杂的统计分析，得到结果报表信息；
  5. 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
阅读全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

SeawayLee.<br> Male | 1993 | BeiJing <br> NCUT | CS | Postgraduate(2015-2018) <br> <br> Dream To Be A Top Programmer.<br> Just Shut Up And Show Me Your Code.<br>