一、使用教程 请见以下链接： http://www.jianshu.com/p/484564beda1d http://www.jianshu.com/p/01188607a794 https://zhuanlan.zhihu.com/p/22184691?refer=dataeye 二、服务器信息 azkaban地址：http://127.0.0.1:8081 账号：azkaban 密码：azkaban 三、使用规范 1、多版本python选择 系统默认python版本为2.7.5，如果使用python2.7.5…
配置文件如下： [program:azkaban] command=bash -c 'cd /home/azkaban/azkaban/azkaban-solo-server/build/install/azkaban-solo-server && bin/azkaban-solo-start.sh' directory=/home/azkaban/azkaban/azkaban-solo-server/build/install/azkaban-solo-server user=root auto…
Linux系统配置免密码的方式： 1：ssh-keygen -t rsa 生成密钥 2：ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.1 把本机的公钥追到jifeng02的 .ssh/authorized_keys 里 3：测试 ssh root@192.168.1.1 Last login: Thu Aug 7 16:37:55 2014 from root 4：如果ssh的端口不是22，可用下面命令 ssh-copy-id -i ~/.ssh/id_rsa.pu…
reprint:https://www.howtoforge.com/samba-server-installation-and-configuration-on-centos-7 This guide explains how to configure samba server in CentOS 7 with anonymous & secured samba servers. Samba is an Open Source/Free Software suite that provides seaml…
机器磁盘不够了，所以给机器添加一块硬盘，就来学习一下。 一、查看磁盘信息 方法一：lsblk lsblk 可以看到磁盘的分区信息。可以容易的看到机器共有3块硬盘，sda盘有很多个分区。 方法二：fdisk fdisk -l 可以看到磁盘的详细信息。 方法三：df df -h -T 可以看见已经挂载的磁盘的信息及分区格式等。 二、分区 分区使用fdisk工具，但是本人由于太懒，所以就不分区了。 三、创建文件系统 创建文件系统主要使用mkfs工具 mkfs.xfs #创建xfs文件系统 mkfs.ext4…
一、环境 Hadoop集群：使用Ambari搭建 Debug:Windows10 + jdk 1.8.0 +maven 二、步骤 2.1 创建Maven项目 2.2 配置文件 从Ambari中下载Hbase配置文件hbase-site.xml，并放在项目： /src/main/resources/hbase 2.3 将配置路径加入到classpath 2.3 给pom.xml添加依赖 我的pom.xml最终如下： <project xmlns="http://maven.apache.org/POM/4.0.…
1、安装环境说明 安装前请先安装好centos7/jdk/mysql57 #安装常用工具 yum install -y vim wget curl #安装epel yum install -y epel-release #安装java yum install -y java-1.8.0-openjdk.x86_64 yum install -y java-1.8.0-openjdk-devel.x86_64 #安装Mysql57 wget http://dev.mysql.com/get/mysql57-commu…
如题WordCount！ 一、普通版本 1、TokenizerMapper.java package hadooptest2; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache…
Hadoop由Java编写的，所有通过JavaAPI可以调用所有的HDFS的交互操作接口，最常用的是FileSystem类，它是有Hadoop fs 实现。 一、读取文件内容 1、Java.net.URL读取HDFS文件内容 import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; impo…
由于之前的机器安装了mysql5.6，现在想升级到mysql5.7。 一、卸载mysql-5.6 初级思路： 1、卸载mysql5.6 2、升级到mysql5.7 初级思路遇到的问题： 1、卸载mysql 5.7后，使用Google的方式，安装mysql57-community-release-el7-7.noarch.rpm时遇到了问题，原因是： Error: mysql57-community-release conflicts with mysql-community-release-el7-5.noarch…