优化阅读格式

Author: heibaiying

notes/Azkaban_Flow_1.0_的使用.md

@@ -14,24 +14,24 @@
 
 ## 一、简介
 
-Azkaban主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念：
+Azkaban 主要通过界面上传配置文件来进行任务的调度。它有两个重要的概念：
 
 - **Job**： 你需要执行的调度任务；
-- **Flow**：一个获取多个Job及它们之间的依赖关系所组成的图表叫做Flow。
+- **Flow**：一个获取多个 Job 及它们之间的依赖关系所组成的图表叫做 Flow。
 
-目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0，本文主要讲解 Flow 1.0的使用，下一篇文章会讲解Flow 2.0的使用。
+目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0，本文主要讲解 Flow 1.0 的使用，下一篇文章会讲解 Flow 2.0 的使用。
 
 ## 二、基本任务调度
 
 ### 2.1 新建项目
 
-在Azkaban主界面可以创建对应的项目：
+在 Azkaban 主界面可以创建对应的项目：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-create-project.png"/> </div>
 
 ### 2.2 任务配置
 
-新建任务配置文件`Hello-Azkaban.job`，内容如下。这里的任务很简单，就是输出一句`'Hello Azkaban!'` ：
+新建任务配置文件 `Hello-Azkaban.job`，内容如下。这里的任务很简单，就是输出一句 `'Hello Azkaban!'` ：
 
 ```shell
 #command.job
@@ -41,27 +41,27 @@ command=echo 'Hello Azkaban!'
 
 ### 2.3 打包上传
 
-将`Hello-Azkaban.job `打包为`zip`压缩文件：
+将 `Hello-Azkaban.job ` 打包为 `zip` 压缩文件：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-zip.png"/> </div>
 
-通过Web UI 界面上传：
+通过 Web UI 界面上传：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-upload.png"/> </div>
 
-上传成功后可以看到对应的Flows：
+上传成功后可以看到对应的 Flows：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-flows.png"/> </div>
 
 ### 2.4 执行任务
 
-点击页面上的`Execute Flow`执行任务：
+点击页面上的 `Execute Flow` 执行任务：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-execute.png"/> </div>
 
 ### 2.5 执行结果
 
-点击`detail`可以查看到任务的执行日志：
+点击 `detail` 可以查看到任务的执行日志：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-successed.png"/> </div>
 
@@ -71,7 +71,7 @@ command=echo 'Hello Azkaban!'
 
 ### 3.1 依赖配置
 
-这里假设我们有五个任务（TaskA——TaskE）,D 任务需要在A，B，C任务执行完成后才能执行，而 E 任务则需要在 D 任务执行完成后才能执行，这种情况下需要使用`dependencies`属性定义其依赖关系。各任务配置如下：
+这里假设我们有五个任务（TaskA——TaskE）,D 任务需要在 A，B，C 任务执行完成后才能执行，而 E 任务则需要在 D 任务执行完成后才能执行，这种情况下需要使用 `dependencies` 属性定义其依赖关系。各任务配置如下：
 
 **Task-A.job**   :
 
@@ -112,25 +112,25 @@ dependencies=Task-D
 
 ### 3.2 压缩上传
 
-压缩后进行上传，这里需要注意的是一个Project只能接收一个压缩包，这里我还沿用上面的Project，默认后面的压缩包会覆盖前面的压缩包：
+压缩后进行上传，这里需要注意的是一个 Project 只能接收一个压缩包，这里我还沿用上面的 Project，默认后面的压缩包会覆盖前面的压缩包：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-task-abcde-zip.png"/> </div>
 
 ### 3.3 依赖关系
 
-多个任务存在依赖时，默认采用最后一个任务的文件名作为Flow的名称，其依赖关系如图：
+多个任务存在依赖时，默认采用最后一个任务的文件名作为 Flow 的名称，其依赖关系如图：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-dependencies.png"/> </div>
 
 ### 3.4 执行结果
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-task-abcde.png"/> </div>
 
-从这个案例可以看出，Flow1.0无法通过一个job文件来完成多个任务的配置，但是Flow 2.0 就很好的解决了这个问题。
+从这个案例可以看出，Flow1.0 无法通过一个 job 文件来完成多个任务的配置，但是 Flow 2.0 就很好的解决了这个问题。
 
 ## 四、调度HDFS作业
 
-步骤与上面的步骤一致，这里以查看HDFS上的文件列表为例。命令建议采用完整路径，配置文件如下：
+步骤与上面的步骤一致，这里以查看 HDFS 上的文件列表为例。命令建议采用完整路径，配置文件如下：
 
 ```shell
 type=command
@@ -143,7 +143,7 @@ command=/usr/app/hadoop-2.6.0-cdh5.15.2/bin/hadoop fs -ls /
 
 ## 五、调度MR作业
 
-MR作业配置：
+MR 作业配置：
 
 ```shell
 type=command
@@ -163,7 +163,7 @@ type=command
 command=/usr/app/hive-1.1.0-cdh5.15.2/bin/hive -f 'test.sql'
 ```
 
-其中`test.sql`内容如下，创建一张雇员表，然后查看其结构：
+其中 `test.sql` 内容如下，创建一张雇员表，然后查看其结构：
 
 ```sql
 CREATE DATABASE IF NOT EXISTS hive;
@@ -179,11 +179,11 @@ sal double,
 comm double,
 deptno int
 ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
--- 查看emp表的信息
+-- 查看 emp 表的信息
 desc emp;
 ```
 
-打包的时候将`job`文件与`sql`文件一并进行打包：
+打包的时候将 `job` 文件与 `sql` 文件一并进行打包：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-hive.png"/> </div>
 
@@ -193,11 +193,11 @@ desc emp;
 
 ## 七、在线修改作业配置
 
-在测试时，我们可能需要频繁修改配置，如果每次修改都要重新打包上传，这会比较麻烦。所以Azkaban支持配置的在线修改，点击需要修改的Flow，就可以进入详情页面：
+在测试时，我们可能需要频繁修改配置，如果每次修改都要重新打包上传，这会比较麻烦。所以 Azkaban 支持配置的在线修改，点击需要修改的 Flow，就可以进入详情页面：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-project-edit.png"/> </div>
 
-在详情页面点击`Eidt`按钮可以进入编辑页面：
+在详情页面点击 `Eidt` 按钮可以进入编辑页面：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-edit.png"/> </div>
 
@@ -207,15 +207,15 @@ desc emp;
 
 ## 附：可能出现的问题
 
-如果出现以下异常，多半是因为执行主机内存不足，Azkaban要求执行主机的可用内存必须大于3G才能执行任务：
+如果出现以下异常，多半是因为执行主机内存不足，Azkaban 要求执行主机的可用内存必须大于 3G 才能执行任务：
 
 ```shell
 Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job
 ```
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-memory.png"/> </div>
 
-如果你的执行主机没办法增大内存，那么可以通过修改`plugins/jobtypes/`目录下的`commonprivate.properties` 文件来关闭内存检查，配置如下：
+如果你的执行主机没办法增大内存，那么可以通过修改 `plugins/jobtypes/` 目录下的 `commonprivate.properties` 文件来关闭内存检查，配置如下：
 
 ```shell
 memCheck.enabled=false

notes/Azkaban_Flow_2.0_的使用.md

@@ -13,20 +13,20 @@
 
 ### 1.1 Flow 2.0 的产生
 
-Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ，但是官方文档上更推荐使用Flow 2.0，因为Flow 1.0会在将来的版本被移除。Flow 2.0的主要设计思想是提供1.0所没有的流级定义。用户可以将属于给定流的所有`job / properties`文件合并到单个流定义文件中，其内容采用YAML语法进行定义，同时还支持在流中再定义流，称为为嵌入流或子流。
+Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ，但是官方文档上更推荐使用 Flow 2.0，因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。用户可以将属于给定流的所有 `job / properties` 文件合并到单个流定义文件中，其内容采用 YAML 语法进行定义，同时还支持在流中再定义流，称为为嵌入流或子流。
 
 ### 1.2 基本结构
 
-项目zip将包含多个流YAML文件，一个项目YAML文件以及可选库和源代码。Flow YAML文件的基本结构如下：
+项目 zip 将包含多个流 YAML 文件，一个项目 YAML 文件以及可选库和源代码。Flow YAML 文件的基本结构如下：
 
-+ 每个Flow都在单个YAML文件中定义；
++ 每个 Flow 都在单个 YAML 文件中定义；
 + 流文件以流名称命名，如：`my-flow-name.flow`；
-+ 包含DAG中的所有节点；
++ 包含 DAG 中的所有节点；
 +  每个节点可以是作业或流程；
-+  每个节点 可以拥有 name, type, config, dependsOn 和 nodes sections等属性；
-+  通过列出dependsOn列表中的父节点来指定节点依赖性；
++  每个节点 可以拥有 name, type, config, dependsOn 和 nodes sections 等属性；
++  通过列出 dependsOn 列表中的父节点来指定节点依赖性；
 + 包含与流相关的其他配置；
-+   当前properties文件中流的所有常见属性都将迁移到每个流YAML文件中的config部分。
++   当前 properties 文件中流的所有常见属性都将迁移到每个流 YAML 文件中的 config 部分。
 
 官方提供了一个比较完善的配置样例，如下：
 
@@ -112,7 +112,7 @@ nodes:
 
 ## 二、YAML语法
 
-想要使用 Flow 2.0 进行工作流的配置，首先需要了解YAML 。YAML 是一种简洁的非标记语言，有着严格的格式要求的，如果你的格式配置失败，上传到Azkaban的时候就会抛出解析异常。
+想要使用 Flow 2.0 进行工作流的配置，首先需要了解 YAML 。YAML 是一种简洁的非标记语言，有着严格的格式要求的，如果你的格式配置失败，上传到 Azkaban 的时候就会抛出解析异常。
 
 ### 2.1 基本规则
 
@@ -121,7 +121,7 @@ nodes:
 3. 缩进长度没有限制，只要元素对齐就表示这些元素属于一个层级； 
 4. 使用#表示注释 ；
 5. 字符串默认不用加单双引号，但单引号和双引号都可以使用，双引号表示不需要对特殊字符进行转义；
-6. YAML中提供了多种常量结构，包括：整数，浮点数，字符串，NULL，日期，布尔，时间。
+6. YAML 中提供了多种常量结构，包括：整数，浮点数，字符串，NULL，日期，布尔，时间。
 
 ### 2.2 对象的写法
 
@@ -159,28 +159,28 @@ key:
 支持单引号和双引号，但双引号不会对特殊字符进行转义：
 
 ```yaml
-s1: '内容\n字符串'
-s2: "内容\n字符串"
+s1: '内容\n 字符串'
+s2: "内容\n 字符串"
 
 转换后：
-{ s1: '内容\\n字符串', s2: '内容\n字符串' }
+{ s1: '内容\\n 字符串', s2: '内容\n 字符串' }
 ```
 
 ### 2.6 特殊符号
 
-一个YAML文件中可以包括多个文档，使用`---`进行分割。
+一个 YAML 文件中可以包括多个文档，使用 `---` 进行分割。
 
 ### 2.7 配置引用
 
-Flow 2.0 建议将公共参数定义在`config`下，并通过`${}`进行引用。
+Flow 2.0 建议将公共参数定义在 `config` 下，并通过 `${}` 进行引用。
 
 
 
 ## 三、简单任务调度
 
 ### 3.1 任务配置
 
-新建`flow`配置文件：
+新建 `flow` 配置文件：
 
 ```yaml
 nodes:
@@ -190,7 +190,7 @@ nodes:
       command: echo "Hello Azkaban Flow 2.0."
 ```
 
-在当前的版本中，Azkaban同时支持 Flow 1.0 和 Flow 2.0，如果你希望以2.0的方式运行，则需要新建一个`project`文件，指明是使用的是Flow 2.0：
+在当前的版本中，Azkaban 同时支持 Flow 1.0 和 Flow 2.0，如果你希望以 2.0 的方式运行，则需要新建一个 `project` 文件，指明是使用的是 Flow 2.0：
 
 ```shell
 azkaban-flow-version: 2.0
@@ -204,13 +204,13 @@ azkaban-flow-version: 2.0
 
 ### 3.3 执行结果
 
-由于在1.0 版本中已经介绍过Web UI的使用，这里就不再赘述。对于1.0和2.0版本，只有配置方式有所不同，其他上传执行的方式都是相同的。执行结果如下：
+由于在 1.0 版本中已经介绍过 Web UI 的使用，这里就不再赘述。对于 1.0 和 2.0 版本，只有配置方式有所不同，其他上传执行的方式都是相同的。执行结果如下：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-simle-result.png"/> </div>
 
 ## 四、多任务调度
 
-和1.0给出的案例一样，这里假设我们有五个任务（jobA——jobE）, D 任务需要在A，B，C任务执行完成后才能执行，而 E 任务则需要在 D 任务执行完成后才能执行，相关配置文件应如下。可以看到在1.0中我们需要分别定义五个配置文件，而在2.0中我们只需要一个配置文件即可完成配置。
+和 1.0 给出的案例一样，这里假设我们有五个任务（jobA——jobE）, D 任务需要在 A，B，C 任务执行完成后才能执行，而 E 任务则需要在 D 任务执行完成后才能执行，相关配置文件应如下。可以看到在 1.0 中我们需要分别定义五个配置文件，而在 2.0 中我们只需要一个配置文件即可完成配置。
 
 ```yaml
 nodes:
@@ -250,7 +250,7 @@ nodes:
 
 ## 五、内嵌流
 
-Flow2.0 支持在一个Flow中定义另一个Flow，称为内嵌流或者子流。这里给出一个内嵌流的示例，其`Flow`配置如下：
+Flow2.0 支持在一个 Flow 中定义另一个 Flow，称为内嵌流或者子流。这里给出一个内嵌流的示例，其 `Flow` 配置如下：
 
 ```yaml
 nodes:
@@ -279,7 +279,7 @@ nodes:
           command: echo "This is job A"
 ```
 
-内嵌流的DAG图如下：
+内嵌流的 DAG 图如下：
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/azkaban-embeded-flow.png"/> </div>