系统软件 on Coinidea的博客

AZKBAN——开源任务调度系统

Sat, 15 Jun 2019 00:47:43 +0000

azkaban是一个开源的任务调度系统，用于负责任务的调度运行（如数据仓库调度），用以替代linux中的crontab。官网:https://azkaban.github.io/

azkaban主要有三部分构成：

MySQL：Azkaban使用MySQL来存储项目和执行。
Azkaban Web Server：Azkaban使用Jetty作为Web服务器，用作控制器以及提供Web界面
Azkaban Executor Server：Azkaban执行服务器执行提交工作流。

本文主要使用的是azkaban3.43，如果您从github源代码生成编译tar包时候可以留言，我可以给您分享我已经测试通过的安装包文件。
安装包文件主要有：

azkaban-db-3.43.0.tar.gz
azkaban-solo-server-3.43.0.tar.gz
azkaban-exec-server-3.43.0.tar.gz
azkaban-web-server-3.43.0.tar.gz
azkaban-hadoop-security-plugin-3.43.0.tar.gz
其中solo是单机版本，我搭建的是多执行节点，单web server节点的版本。

注意：本文默认azkaban的目录位于/azkaban

数据库
首先需要安装MySQL数据库，然后创建一个叫azkaban的数据库。mysql中执行

source /azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

配置文件
0. 配置keystore，keystore的位置位于/azkaban/azkaban-web/conf/（需要与配置文件中路径对应）

keytool -keystore keystore -alias jetty -genkey -keyalg RSA
输入密钥库口令: azkaban
再次输入新口令: azkaban
您的名字与姓氏是什么? [Unknown]: 略过
您的组织单位名称是什么? [Unknown]: 略过
您的组织名称是什么? [Unknown]: 略过
您所在的城市或区域名称是什么? [Unknown]: 略过
您所在的省/市/自治区名称是什么? [Unknown]: 略过
该单位的双字母国家/地区代码是什么? [Unknown]: CN
CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN是否正确?
[否]: Y
输入 <jetty> 的密钥口令 (如果和密钥库口令相同, 按回车):

/azkaban/azkaban-web/conf/azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Allin
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/azkaban/azkaban-web-server/web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/azkaban/azkaban-web-server/conf/azkaban-users.xml
# Loader for projects
executor.global.properties=/azkaban/azkaban-web-server/conf/global.properties
azkaban.project.dir=/azkaban/azkaban-web-server/projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8443
jetty.keystore=//azkaban/azkaban-web-server/conf/keystore
jetty.password=yourpassword
jetty.keypassword=yourpassword
jetty.truststore=//azkaban/azkaban-web-server/conf/keystore
jetty.trustpassword=yourpassword
# Azkaban Executor settings
executor.port=12321
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=/azkaban/azkaban-web-server/plugins/jobtypes
database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=yourmysqlpassword
mysql.numconnections=100

/azkaban/azkaban-exec/conf/azkaban.properties

# Azkaban Personalization Settings
default.timezone.id=Asia/Shanghai
# Loader for projects
executor.global.properties=/azkaban/azkaban-exec-server/conf/global.properties
azkaban.project.dir=/azkaban/azkaban-exec-server/projects
azkaban.jobtype.plugin.dir=/azkaban/azkaban-exec-server/plugins/jobtypes
database.type=mysql
mysql.port=3306
mysql.host=127.0.0.1
mysql.database=azkaban
mysql.user=root
mysql.password=yourpassword
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

/azkaban/azkaban-web/conf/log4j.properties /azkaban/azkaban-exec/conf/log4j.properties

log4j.rootLogger=INFO,C
log4j.appender.C=org.apache.log4j.ConsoleAppender
log4j.appender.C.Target=System.err
log4j.appender.C.layout=org.apache.log4j.PatternLayout
log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

如果是多执行节点，需要在/azkaban/azkaban-web/conf/azkaban.properties中追加以下配置，并且在数据库中插入对应执行节点的ip和端口号

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

插入执行节点ip和端口号：

insert into executors(host,port) values("your ip1",12321);
insert into executors(host,port) values("your ip2",12321);

配置用户名密码/azkaban/azkaban-web/conf/azkaban-users.xml
只要有一些计算机基础，打开这个配置文件，一目了然。
创建日志文件夹

mkdir /azkaban/azkaban-web/logs
mkdir /azkaban/azkaban-exec/logs

启动

azkaban/azkaban-exec/bin/start-exec.sh
azkaban/azkaban-web/bin/start-web.sh

遇到的坑

keystore的位置需要与配置文件中keystore设置的文件路径对应。
azkaban3以上才支持多执行节点。
7中启动方式是静默方式，开始测试的时候建议使用：

azkaban/azkaban-exec/bin/azkaban-web-start.sh
azkaban/azkaban-exec/bin/azkaban-exec-start.sh

这样能看到是否报错，什么原因报错。
4. 根据报错说明，有可能没有正确创建logs文件夹或者路径不对。
5. 因为web server会去检查exec server，所以建议先启动exec server。
6. 如果多节点任务不执行，有可能是执行节点的资源不够。注意查看配置，该配置指定服务器在什么内存、CPU等资源条件下才执行任务，以及如果不指定节点，如果分配执行节点。如果不限制资源，请修改或者注释相关配置。

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

如何指定节点执行job：
在 flow params中设置”useExecutor” = EXECUTOR_ID即可
详情请查看：
https://www.jianshu.com/p/ffb7bbc1988f

中了勒索病毒该怎么办

Thu, 22 Nov 2018 07:23:33 +0000

最近身边有朋友中了勒索病毒，经过一番查询发现一个比较好的网站：反勒索病毒联盟。

https://www.nomoreransom.org/zh/decryption-tools.html

我个人一向认为技术是中立的，所以如果您中了勒索病毒，不妨去上面的网站上看看，有可能有一些解决办法。

分享一个下载RPM包的好地方

Thu, 22 Nov 2018 07:17:03 +0000

在离线环境中（特指那些不能 wget、yum 的环境中），我们常常需要涉及到自己编译、安装 Linux 系列的操作系统。

这个时候版本的依赖是一件非常让人头痛的事，当然我们可以用 Docker 进行解决。

如果您的离线环境对您的上传下载也进行了限制，而且环境内部的版本不可控，那该是意见多么头痛的事啊。所以我找到了一个下载 Linux 系列 RPM 包的好地方：

https://pkgs.org/

解决了操作系统、系统版本、软件依赖等问题。

Vultr介绍

Vultr是美国知名云服务提供商Choopa.com的VPS服务，Choopa一直为游戏公司提供全球支撑服务，因此该公司在全球14个国家及地区部署数据中心，包括日本东京、新加坡、美国洛杉矶、西雅图、英国伦敦、德国等地区。性价比极高，当前最低仅需$2.5/月。新用户注册即送$25。点击以下链接，进行注册，新用户赠送25美金(需要支付10美金，相当于充10美金，得35美金)：优惠活动活动链接

Vultr优势

机房众多：拥有日本、美国、欧洲等14个机房。
架构优秀：全部采用KVM架构、SSD固态硬盘、1000GB/月流量起步。
镜像强大：常见的Linux之外还可以自定义安装ISO系统，还可以安装Windows系统。
后台强大：拥有系统快照、一键装机部署脚本、备份、防火墙等强大功能。
促销活动：不定期有新用户注册奖励，有时赠送金额高达$100。
计费灵活：采用小时计费模式，可以任意的添加和删除机器。
客服速度：客服速度响应快，一般15分钟就可以得到解答（可能涉及到时差问题）。

配置价格

Markdown anywhere

Tue, 06 Nov 2018 06:29:16 +0000

最近经常写文章，发现Markdown是一个非常方便的网页排版规范，详见：http://cesiumcn.org/markdown.html | http://cesium.coinidea.com/markdown.html

目前发现简书、oschina都非常好的支持了markdown。但是WordPress不支持，比较意外的是知乎竟然不支持？

wordpress markdown wordpress有插件可以支持的。网上有人说_WP Editor.MD_插件非常好，我在自己的wordpress版本上使用之后，发现并不兼容，在启用的时候直接挂掉了。

这个时候灵光一闪，直接去官网https://wordpress.org/plugins/看看。发现wp-markdown的还比较好用。

启用之后，发现没有变化，原来是因为需要配置一下，具体位置是在：设置->撰写 中。
知乎markdown 知乎肯定不能像wordpress那样装插件了。网上的大神真是太多了。chrome有一款插件叫markdown here。安装之后，当在文本输入框中右击鼠标时，它会在出现_markdown here_的菜单，然后将富文本内容自动转换为markdown排版，拷贝即可。

[CentOS]Centos升级OpenSSH及vsftpd

Thu, 23 Nov 2017 08:05:04 +0000

升级 OpenSSH 到 7.4 版本以上

背景

目前来讲，Linux 下 OpenSSH 7.4 版本以下的，都有一些高危漏洞，需要将 OpenSSH 升级到 7.4 版本以上。在一台不能上外网的机器上（yum），是比较麻烦的事儿。网上大家都先建议备份好 ssh 和安装 telnet 防止，升级失败可以 telnet 进去。

常见问题及解决方案

4. 手动编译生成安装 OpenSSH 需要的依赖

zlib
pam
pam-devel

如果报错 configure: error: PAM headers not found，可以下载 pam-devel：

http://rpm.pbone.net/index.php3?stat=26&dist=74&size=208492&name=pam-devel-1.1.1-17.el6.x86_64.rpm

5. OpenSSL 下载

ftp://ftp.openssl.org/source/

6. 安装 OpenSSL

参考链接：

注意事项

如果 OpenSSH 升级后 SecureCRT 不能登录，可能是因为 SecureCRT 版本太低不支持一些加密协议：

参考链接：http://blog.csdn.net/yangg1991/article/details/51755562

升级 OpenSSH 的步骤

参考链接：http://blog.csdn.net/u011080082/article/details/64503534

升级 vsftpd 从 2.2.2 到 2.3.4

下载 vsftpd-2.3.4.tar.gz 包，64 位注意：

1
2


sed -i 's/lib\/lib64\/g' vsf_findlibs.sh
sed -i 's/lib\//lib64\//g' vsf_findlibs.sh

配置 vsftpd

使用主动模式：

1

vsftpd /etc/vsftpd/vsftpd.conf &

standard_alone 启动下，需要将下列两行代码，加入配置文件头部：

参考链接：http://wingjang.blog.163.com/blog/static/47913442200811113104509/

1
2


listen=YES
listen_port=21

安装之后默认只允许匿名用户登录，所以需要修改一下：

参考链接：http://blog.sina.com.cn/s/blog_7e16680c01018ox1.html

处理 TCP_Wrapper 问题

如果有问题，注意删除空格，也可以去掉：

参考链接：

vsftpd 下载

http://pkgs.fedoraproject.org/repo/pkgs/vsftpd/

[MySQL]MySQL-Front(Windows)定期备份

Thu, 05 May 2016 03:08:32 +0000

数据库的服务中，定期备份是一项极其重要的工作。
对于大多数用GUI（大部分用户使用MySQL-Front、Navicat或者MySQL-WorkBench）简单管理数据库的用户来说，基于交互的备份方式简单易学。

下面简单介绍如何使用MySQL-Front(版本5.3)定期备份数据库：

连接上数据库之后，“其他”->“Jobs”->“新建”->“输出”

选择test数据库，点击下一步。
指定输出地址“D:\test.sql”，注意字符集一般选择UTF-8

下一步，指定输出的内容，一定要勾选数据。
指定备份的时间，以及时间间隔。

完成之后在定时任务的栏目中会有一个名为test的job
如果想立即执行，右击点击运行即可。

[Git]Git配置和取消代理

Sat, 09 Apr 2016 08:02:47 +0000

在配置 Git 使用代理时，可以通过以下命令来设置和取消代理：

配置 Git 使用代理

要为 Git 配置 HTTP 和 HTTPS 代理，可以使用以下命令：

1
2
3
4
5


# 配置 HTTP 代理
git config --global http.proxy http://127.0.0.1:1080

# 配置 HTTPS 代理
git config --global https.proxy https://127.0.0.1:1080

取消 Git 代理配置

如果需要取消代理设置，可以使用以下命令：

1
2
3
4
5


# 取消 HTTP 代理
git config --global --unset http.proxy

# 取消 HTTPS 代理
git config --global --unset https.proxy

解释

git config --global http.proxy <proxy-url>：配置全局 HTTP 代理。
git config --global https.proxy <proxy-url>：配置全局 HTTPS 代理。
git config --global --unset http.proxy：取消全局 HTTP 代理配置。
git config --global --unset https.proxy：取消全局 HTTPS 代理配置。

通过这些命令，可以方便地在需要时开启或关闭 Git 的代理设置。

[Linux]linux相关命令总结

Sat, 17 Oct 2015 08:24:07 +0000

用户管理

近期一直在搭建10台左右的CDH集群，集群使用的10台CentOS6.7的服务器，所以需要常常用到Linux的一些用户管理的命令。

修改密码
1

passwd
输入新的密码和确认密码即可，不过密码中最好包含：大小写字母，数字和字符确保安全性，Linux也会提醒密码规则。
切换用户
1

su hdfs
即可切换到hdfs用户。
或者不切换用户，以某个用户的权限来执行或者访问某个文件：
1

su hdfs hadoop fs -mkdir /user/hdfs/test
以hdfs用户的权限使用hadoop在集群上的 /user/hdfs/ 建立test目录。

文件管理

创建文件夹

1

mkdir [folder]

创建文件

1

touch/vi [filename]

时区选择

根据提示选择时区，然后输入提示命令。
1

tzselect

修改clock文件中的时区。

1
2


vi /etc/sysconfig/clock
ZONE="Asia/Shanghai"

删除原有的localtime，新建localtime

1
2


rm /etc/localtime
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

开机执行命令

编辑rc.local文件即可

1

vi /etc/rc.local

启动时钟服务，同步局域网下具有时钟服务的服务器的时钟

1
2


service ntpd start
/usr/sbin/ntpdate 192.168.34.115

[To be continued…]

[Linux]Linux配置DNS地址

Wed, 14 Oct 2015 13:28:18 +0000

DNS关系到服务器能否通过域名的方式联系到互联网。Linux下有两种方式配置DNS服务器的IP地址。

验证方式：

1

ping www.baidu.com

临时性的方式
a) 编辑resolv.conf
1

vi ./etc/resolv.conf
b) 输入
1

nameserver 8.8.8.8
保存即可。

永久的配置方式
a) 编辑ifcfg-eth0

1

vi /etc/sysconfig/network-scripts/ifcfg-eth0

b) 输入

1

DNS1=8.8.8.8

保存即可。

可以通过

1

ifconfig

查看本地的网卡，其中就能看到eth0的配置信息。

[Linux]CentOS挂载NTFS移动硬盘

Thu, 01 Oct 2015 06:26:08 +0000

服务器是CentOS的操作系统，需要挂载两个2T的移动硬盘。

命令如下：

1
2


mount -t ntfs /dev/sdn1 /test1
mount： unknown filesystem type ‘ntfs’

出错了，错误的意思是说，不认识“NTFS”，解决方式如下：

1
2
3
4
5
6
7
8


wget http://tuxera.com/opensource/ntfs-3g_ntfsprogs-2013.1.13.tgz
tar zxvf ntfs-3g_ntfsprogs-2013.1.13.tgz
cd ntfs-3g_ntfsprogs-2013.1.13
./configure
make
make install
mkdir /mnt/window
mount -t ntfs-3g /dev/sdn1 /mnt/window

取消挂载：

1

umount /dev/sdn1

[outlook]outlook配置及常规设置——outlook2013

Thu, 01 Oct 2015 03:13:11 +0000

当步入职场之后，outlook几乎成为上班族的必备利器，本文将对outlook（outlook2013）的一些配置和常规设置进行说明。

添加一个用户

打开outlook2013，点击左上方“文件”，弹出列表，点击“+添加用户”

选择“电子邮件账户”，点击“下一步”

点击“手动设置或其他服务器类型”，然后点击“下一步”

勾选“POP或IMAP”，然后点击“下一步”，一般是选择该项。

输入用户名密码，并配置接收和发送的服务器地址。注意，这两个地址，一般是pop3或smtp@对应的域名，需要向邮件服务商确认，邮件服务商一般会有描述。

点击上图“其他设置”，配置发送服务器的用户名和密码，并点击“完成”。

点击下一步，开始测试，之后测试完成，整个过程即成功。

配置邮件过滤规则

在邮件的使用过程中，每天可能会产生大量的邮件，这个时候高效地分拣这些邮件是一件非常有意义的工作。

打开outlook2013，点击左上方“文件”，弹出列表，点击“管理规则和通知”

点击“新建规则”

规则中有许多选项，根据规则向导来配置即可。比如，可以选择“标题中含有特定词语的”，“来自特定发件人的”规则，然后可以移动到指定的文件夹，或者指定特定的操作。

[应用软件]GIF图本地制作

Sun, 20 Sep 2015 08:37:13 +0000

因为开源了一个WIN32的贪吃蛇程序，想要制作成GIF图以便于演示，但是具体如何制作却犯了难。

经过查询有以下几种方法：

第一种，利用QQ影音等视频软件

前提是需要转录的是一段小视频，用QQ影音的功能即可转录。

具体方法：

http://kf.qq.com/faq/120322fu63YV130422iiEbMB.html

第二种，使用Photoshop等专业的软件

准备多帧图像，具体方法查看百度经验：

http://jingyan.baidu.com/article/7f41ececdb326e593d095c2e.html

第三种，使用屏幕录像专家

上图是我使用屏幕录像专家先录制视频（EXE或者LXE格式），然后选中“转换工具菜单”，然后再转换即可。

分享一个屏幕录像专家的绿色版本的下载地址：

屏幕录像专家。

CCleaner清理电脑

Sun, 21 Jun 2015 07:33:06 +0000

即将迎来人生的一个重大转折，毕业。实验室有一台属于自己的电脑，在自己走的时候希望能对这台电脑有一个比较彻底的clean。听说有一个工具叫CCleaner，尝试了一下，效果还不错。可以对Windows | Mac | Andriod | iPhone 进行比较方便的清理工作。

Windows下可以进行：

Windows及应用程序清理
注册表清理
软件卸载及磁盘擦除

GitHub中Read.md添加图片

Thu, 12 Feb 2015 12:42:27 +0000

因为之前一直用SVN，几个月之前才刚真正意义上接触Git，GitHub之前在参加KDD2013的时候使用过一段时间。

最近想好好地打磨自己的程序，注释和描述是必不可少，而且应该用心写的。

遇到一个问题，就是如何在Read.md文件中加入图片。

我使用的解决方案如下：

在Folder中创建一个Image Folder，然后放入相应需要显示在Read.md的图片，将该Folder提交到GitHub上。通过预览可以得到该图片在GitHub上面的url。

Read.md支持图片的标记语言：<img data-original="image-url" src="http://blog.coinidea.com/wp-content/themes/9IPHP/images/lazy_loading.gif" alt="image" />

解决实例：

https://github.com/hujiulin/WordConverter