发表于 | 分类于
字数统计: 174 字 | 阅读时长 ≈ 1 分钟
简介 三大组件：HDFS, MR, YARN，相互不关联 HDFS：存储大数据文件，可以分成多份存储，采用类似bash的命令方式管理HDFS MR：用于离线数据计算，主要过程：输入->默认分割按行->进行自定义Map操作->shiffe分割->自定义reduce合并->输出 YARN：调度框架，根据配置进行job和资源的调度操作 物理架构/逻辑架构 Master / Salve NameNode / DataNode(N) 运行模式 单机模式 伪分布式 分布式 配置文件 核心配置文件 1core-site.xml HDFS配置文件 1hdfs-site.xml MR配置文件 1mapred-site.xml YARN调度配置文件 1yarn-site.xml
阅读全文 »

发表于 | 分类于
字数统计: 1.1k 字 | 阅读时长 ≈ 4 分钟
一、为什么需要规范？无规矩不成方圆，编程也一样。 如果你有一个项目，从始至终都是自己写，那么你想怎么写都可以，没有人可以干预你。可是如果在团队协作中，大家都张扬个性，那么代码将会是一团糟，好好的项目就被糟践了。不管是开发还是日后维护，都将是灾难。 这时候，有人提出了何不统一标准，大家都按照这个标准来。于是 ESLint，JSHint 等代码工具如雨后春笋般涌现，成为了项目构建的必备良品。 Git Commit 规范可能并没有那么夸张，但如果你在版本回退的时候看到一大段糟心的 Commit，恐怕会懊恼不已吧。所以，严格遵守规范，利人利己。 二、具体规则先来看看公式：1<type>(<scope>): <subject> type 用于说明 commit 的类别，只允许使用下面7个标识。 1234567feat：新功能（feature）fix：修补bugdocs：文档（documentation）style： 格式（不影响代码运行的变动）refactor ...
阅读全文 »