240 发简信
IP属地:上海
  • 好的

    你好 嗯嗯 好的 然后了

  • 对HBase进行过滤

    包括表过滤、列标签过滤、值过滤

  • 自定义输出多个MySQL表的OutputFormat

    输出MySQL的表 需要向MySQLstats_visitor_basic表和stats_visitor_browser表中插入数据,插入数据的...

  • Hadoop RPC服务

    多个Reducer操作同一张表可能出现的错误 假设有两个Reducer,R1和R2,都需要操作MySQL的Dimension表(封装成getDi...

  • 2-Flume上传

    Flume监听Nginx日志 要求:1. 日志文件每十分钟生成一次,日志内容达到 1M 时也生成一次2. HDFS上的日志文件名称为:nginx...

  • 1-数据收集

    Nginx配置 修改${nginx_home}/conf/nginx.conf配置文件 找到http节点,添加日志格式# 定义日志格式# log...

  • 3-日志解析

    日志格式 数据清洗 对日志进行解析,得到ip信息(所在国家、省份和城市)、事件类型等,并且过滤无效日志。将解析后的结果存入HBase,为后续任务...

  • MapReduce任务的三种运行方式

    本地运行 解压Hadoop安装包hadoop-2.5.0-cdh5.3.6.tar.gz 设置HADOOP_HOME环境变量(最好在用户变量和系...