一、安装
安装使用
# 解压到cdh目录
# 进入conf/sqoop-env.sh 配置环境变量
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/cdh/hadoop-2.5.0-cdh5.3.6
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/cdh/hadoop-2.5.0-cdh5.3.6
#set the path to where bin/hbase is available
export HBASE_HOME=/home/hadoop/cdh/hive-0.13.1-cdh5.3.6
# 回到flume目录进行测试:
bin/flume-ng version
# 查看flume都有哪些命令
bin/flume-ne help
二、案例
查看MySQL数据库表
# 下载 mysql-connector-java-5.1.7-bin 放入sqoop的lib目录下,执行如下命令
bin/sqoop list-databases \
--connetct jdbc:mysql://master:3306 \
--username root \
--password x5
导入数据到HDFS
三、架构
四、理解
五、应用场景
每日Linux
sshd为了安全,对属主的目录和文件权限有所要求。如果权限不对,则ssh的免密码登陆不生效。
用户目录权限为 755 或者 700,就是不能是77x。
.ssh目录权限一般为755或者700。
rsa_id.pub 及authorized_keys权限一般为644
rsa_id权限必须为600
rpm -qa | grep -E "ant|asciidoc|cyrus-sasl-devel|cyrus-sasl-gssapi|gcc|gcc-c++|krb5-devel|libtidy|libxml2-devel|libxslt-devel|mvn|mysql-devel|openldap-devel|python-devel|sqlite-devel|openssl-devel"
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel make openldap-devel python-devel sqlite-devel openssl-devel gmp-devel