文件解析与excel 内容匹配保存至文件

        <!-- jxls -->
        <dependency>
            <groupId>org.jxls</groupId>
            <artifactId>jxls-reader</artifactId>
            <version>2.0.2</version>
        </dependency>
        <dependency>
            <groupId>org.jxls</groupId>
            <artifactId>jxls-jexcel</artifactId>
            <version>1.0.6</version>
        </dependency>
        <dependency>
            <groupId>org.jxls</groupId>
            <artifactId>jxls-poi</artifactId>
            <version>1.0.12</version>
        </dependency>
        <!--  poi -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>3.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>3.15</version>
        </dependency>

package com.use;


import com.google.common.base.Splitter;
import com.google.common.collect.Maps;
import com.google.common.collect.Sets;
import com.use.dao.InvitationDao;
import com.use.entity.Invitation;
import com.use.vo.ImportExcelVo;
import com.use.vo.LinkVo;
import org.apache.commons.lang3.StringUtils;
import org.assertj.core.util.Lists;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.nio.file.StandardOpenOption;
import java.util.*;
import java.util.stream.Collectors;
import java.util.stream.Stream;

@RunWith(SpringRunner.class)
@SpringBootTest
public class ImportFileAddressTest {
    Logger logger =LoggerFactory.getLogger(ImportFileAddressTest.class);

    @Test
    public void test() throws IOException {
        Map<String,String> map =Maps.newHashMap();
        ImportExcelVo vo=
                new ImportExcelVo("job.xml","C:\\Users\\sonyic\\Desktop\\krairjob.xls","linkVoList",LinkVo.class);
        List<LinkVo> voList =ImportExcelUtil.importData(vo);
        List<String> urlList=voList.parallelStream().map(linkVo -> linkVo.getUrl()).collect(Collectors.toList());
        // 遍历文件夹下的文件
        Files.walk(Paths.get("C:\\Users\\sonyic\\Desktop\\nginx_log"),1)
         // 解析 log 文件日志
        .filter(file -> file.toString().endsWith(".log"))
        .parallel()
        .forEach((Path file) -> {
            try (Stream<String> lines=Files.lines(file);){

                lines.filter(line -> StringUtils.contains(line,"/krairdrop/validate?address")).forEach(
                    line->{
                        String validateLine = StringUtils.substringBetween(line," 200 8 \"","\" \"Mozilla/5.0");

                        String addressUrl = StringUtils.substringBetween(line,"GET","HTTP/1.1");
                        String address = StringUtils.substringAfterLast(addressUrl,"/krairdrop/validate?");
                        if (urlList.contains(validateLine)){
                            logger.info(".......line......{}",line);
                            if (StringUtils.isNotEmpty(address)){
                                if (map.get(validateLine) == null) {
                                    Map<String, String> addressMap=Splitter.on("&").withKeyValueSeparator("=").split(address);
                                    map.put(validateLine,Class2MapUtil.convertBean(addressMap,Invitation.class).getBagAddress());
                                } else {
                                    Map<String, String> addressMap=Splitter.on("&").withKeyValueSeparator("=").split(address);
                                    map.put(validateLine,map.get(validateLine) + "  "+Class2MapUtil.convertBean(addressMap,Invitation.class).getBagAddress());
                                }
                            }
                        }
                    });
            } catch (IOException e) {
                e.printStackTrace();
            }
        });
       // 写入解析后的内容到文件中
        Path path = Paths.get("C:\\Users\\sonyic\\Desktop\\output.txt");
        try (BufferedWriter writer = Files.newBufferedWriter(path,StandardOpenOption.APPEND))
        {
            map.entrySet().forEach(entry->{
                try {
                    writer.append(entry.getKey()+"-------"+entry.getValue()+"\n");
                } catch (IOException e) {
                    e.printStackTrace();
                }
            });
        } catch (IOException e) {
            e.printStackTrace();
        }
        //logger.info("------ url ------{}",URLDecoder.decode("http%3A%2F%2Frcfund.org%2Fkrairdrop%2F%3Fv%3DG0ULvfAP",java.nio.charset.StandardCharsets.UTF_8.name()));

    }

}

package com.use.vo;

public class ImportExcelVo<T>{
    private String templateFilePath;
    private String filePath;
    private String importListName;
    private Class<T> clazz;

    public String getTemplateFilePath() {
        return templateFilePath;
    }

    public void setTemplateFilePath(String templateFilePath) {
        this.templateFilePath=templateFilePath;
    }

    public String getFilePath() {
        return filePath;
    }

    public void setFilePath(String filePath) {
        this.filePath=filePath;
    }

    public String getImportListName() {
        return importListName;
    }

    public void setImportListName(String importListName) {
        this.importListName=importListName;
    }

    public Class<T> getClazz() {
        return clazz;
    }

    public void setClazz(Class<T> clazz) {
        this.clazz=clazz;
    }

    public ImportExcelVo() {
    }

    public ImportExcelVo(String templateFilePath,String filePath,String importListName,Class<T> clazz) {
        this.templateFilePath=templateFilePath;
        this.filePath=filePath;
        this.importListName=importListName;
        this.clazz=clazz;
    }
}

package com.use.vo;

public class LinkVo {
    private String id;
    private String name;
    private String url;

    public String getId() {
        return id;
    }

    public void setId(String id) {
        this.id=id;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name=name;
    }

    public String getUrl() {
        return url;
    }

    public void setUrl(String url) {
        this.url=url;
    }

    @Override
    public String toString() {
        return "LinkVo{" +
                "id='" + id + '\'' +
                ", name='" + name + '\'' +
                ", url='" + url + '\'' +
                '}';
    }
}

package com.use;

import com.google.gson.Gson;
import com.google.gson.GsonBuilder;
import com.google.gson.reflect.TypeToken;

import java.util.Map;

public class Class2MapUtil {

    private static Gson gson = new GsonBuilder().enableComplexMapKeySerialization().create();

    public static  <T> Map<String, String> convertMap(T t) {
        String json=gson.toJson(t,new TypeToken<T>() {
        }.getType());
        return gson.fromJson(json,new TypeToken<Map<String, String>>() {
        }.getType());
    }

    public static  <T> T convertBean(Map<String, String> map,Class<T> clazz) {
        String json=gson.toJson(map,new TypeToken<Map<String, String>>() {
        }.getType());
        return gson.fromJson(json,clazz);
    }
}


package com.use;

import com.google.common.collect.Lists;
import com.google.common.collect.Maps;
import com.use.vo.ImportExcelVo;
import org.apache.poi.openxml4j.exceptions.InvalidFormatException;
import org.jxls.reader.ReaderBuilder;
import org.jxls.reader.XLSReadStatus;
import org.jxls.reader.XLSReader;
import org.xml.sax.SAXException;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.List;
import java.util.Map;

// 将 excel 文件导入
public class ImportExcelUtil {

    public static  <T> List<T> importData(ImportExcelVo<T> vo){
        XLSReader mainReader;

        try {
            InputStream inputXML=new BufferedInputStream(Thread.currentThread().getContextClassLoader().getResourceAsStream(vo.getTemplateFilePath()));
            mainReader=ReaderBuilder.buildFromXML(inputXML);
            InputStream inputXLS=new BufferedInputStream(new FileInputStream(vo.getFilePath()));
            List<T> dataList=Lists.newArrayList();

            Map<String, Object> beans=Maps.newHashMap();
            beans.put(vo.getImportListName(),dataList);
            XLSReadStatus readStatus=mainReader.read(inputXLS,beans);

            return dataList;
        } catch (SAXException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InvalidFormatException e) {
            e.printStackTrace();
        }
        return Lists.newArrayList();
    }
}

<?xml version="1.0" encoding="UTF-8"?>
<workbook>
    <worksheet name="Sheet1">
        <section startRow="0" endRow="0"/>
        <loop startRow="1" endRow="1" items="linkVoList" var="linkVo" varType="com.use.vo.LinkVo">
            <section startRow="1" endRow="1">
                <mapping row="1" col="0">linkVo.id</mapping>
                <mapping row="1" col="1">linkVo.name</mapping>
                <mapping row="1" col="2">linkVo.url</mapping>
            </section>
            <loopbreakcondition>
                <rowcheck offset="0">
                    <cellcheck offset="0"></cellcheck>
                </rowcheck>
            </loopbreakcondition>
        </loop>
    </worksheet>
</workbook>
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 201,784评论 5赞 474
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 84,745评论 2赞 378
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 148,702评论 0赞 335
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,229评论 1赞 272
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,245评论 5赞 363
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,376评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,798评论 3赞 393
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,471评论 0赞 256
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,655评论 1赞 295
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,485评论 2赞 318
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,535评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,235评论 3赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,793评论 3赞 304
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,863评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,096评论 1赞 258
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,654评论 2赞 348
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,233评论 2赞 341

推荐阅读更多精彩内容