前言
上传文件有多种方法,比较常用的就是http网页上传或者httpClient后台接口上传,这两种方法之前写过以下三篇:
java利用httpClient实现后台文件上传请求
记录下一个新闻上传的功能
java-用springMVC-和HttpServletRequest-两种实现文件上传的方法
这些都是处理小文件上传的,如果文件比较大,微服务内不考虑太多安全问题的情况下,可以使用ftpClient直接连接服务器操作文件。
ubuntu20.04配置ftp服务器
首先,把linux服务器配置好ftp,以ubuntu20.04为例。
安装和配置VSFTPD
sudo apt-get install vsftpd
检查是否已安装好 vsftpd
vsftpd -v
备份vsftpd.conf
sudo mv /etc/vsftpd.conf /etc/vsftpd.conf_orig
编辑vsftpd.conf设置自定义配置
sudo gedit /etc/vsftpd.conf
基本配置信息全部复制粘贴到刚打开的配置文件/etc/vsftpd.conf ,然后保存修改并关闭文件
listen=NO
listen_ipv6=YES
anonymous_enable=NO
local_enable=YES
write_enable=YES
local_umask=022
dirmessage_enable=YES
use_localtime=YES
xferlog_enable=YES
connect_from_port_20=YES
chroot_local_user=YES
secure_chroot_dir=/var/run/vsftpd/empty
pam_service_name=vsftpd
rsa_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pem
rsa_private_key_file=/etc/ssl/private/ssl-cert-snakeoil.key
ssl_enable=NO
pasv_enable=Yes
pasv_min_port=10000
pasv_max_port=10100
allow_writeable_chroot=YES
重启VSFTPD以应用新的更改
sudo systemctl restart vsftpd.service
创建新用户 ftpuser的同时设置该用户的密码:(单独给ftp创建一个用户,方便管理,如果已有可以跳过。)
sudo useradd -m ftpuser
sudo passwd ftpuser
为了保证运行成功,需要在ftpuser的家目录中保存至少一个文件。
sudo bash -c "echo FTP TESTING > /home/ftpuser/FTP-TEST"
检查ftp服务是否启动成功
用火狐浏览器访问:ftp://127.0.0.1
(如果是本机的情况),输入用户名和密码即可看到下面页面,证明配置成功。
比较常用的ftp配置详解:
anonymous_enable=NO # 关闭匿名登录 默认为NO
local_enable=YES # 允许本地用户登录
write_enable=YES # 启用可以修改文件的 FTP 命令
local_umask=022 #设置本地用户新增文档的umask,默认为022,
这里的022ftp服务会把它解析成2进制的000 010 010 再取反,即755,代表了文件的权限,即 对新增的目录有读写执行权
dirmessage_enable=YES # 当用户第一次进入新目录时显示提示消息(按照默认就好)
xferlog_enable=YES # 一个存有详细的上传和下载信息的日志文件(启用日志文件)
connect_from_port_20=YES # 在服务器上针对 PORT 类型的连接使用端口 20(FTP 数据)
xferlog_std_format=YES # 保持标准日志文件格式(默认不动)
listen=NO # 阻止 vsftpd 在独立模式下运行,默认为NO,但是据说设置为NO的话,有些配置功能会被限制(找不到相关资料)
listen_ipv6=YES # vsftpd 将监听 ipv6 而不是 IPv4,你可以根据你的网络情况设置,如果需要同时支持ipv4和ipv6的话,需要配置2套
pam_service_name=vsftpd # vsftpd 将使用的 PAM 验证设备的名字(默认就好)
userlist_enable=YES # 允许 vsftpd 加载用户名字列表,
注意,默认vsftp是基于/etc/vsftpd.userlist来作为禁止访问ftp的名单的,比如其中就包含root用户
我们也可以通过配置 userlist_deny=NO 这个选项来反转配置,即只有该名单内的用户可以访问该目录。
chroot_local_user=YES
allow_writeable_chroot=YES
#选项chroot_local_user=YES 表示本地用户将进入 chroot 环境,当登录以后默认情况下是其 home 目录。
并且我们要知道,默认情况下,出于安全原因,VSFTPD 不允许 chroot 目录具有可写权限。然而,我们可以通过选项 allow_writeable_chroot=YES 来允许。
chroot_list_enable=YES #限制只访问自身目录
chroot_list_file=/etc/vsftpd/vsftpd.chroot_list #限制访问自身目录的用户列表
更多详细配置可以看这篇博文:https://www.cnblogs.com/miclesvic/articles/10437213.html
java通过ftpClient处理服务器文件示例
maven引入最新版commons-net(截止发文前):
<dependency>
<groupId>commons-net</groupId>
<artifactId>commons-net</artifactId>
<version>3.7.2</version>
</dependency>
新建FTPUtil类:
package com.zhaohy.app.utils;
import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.net.SocketException;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.apache.commons.net.ftp.FTPReply;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class FTPUtil {
private final static Logger logger = (Logger) LoggerFactory.getLogger(FTPUtil.class);
/**
* 获取FTPClient对象
* @param ftpHost 服务器IP
* @param ftpPort 服务器端口号
* @param ftpUserName 用户名
* @param ftpPassword 密码
* @return FTPClient
*/
public FTPClient getFTPClient(String ftpHost, int ftpPort,
String ftpUserName, String ftpPassword) {
FTPClient ftp = null;
try {
ftp = new FTPClient();
// 连接FPT服务器,设置IP及端口
ftp.connect(ftpHost, ftpPort);
// 设置用户名和密码
ftp.login(ftpUserName, ftpPassword);
// 设置连接超时时间,5000毫秒
ftp.setConnectTimeout(50000);
// 设置中文编码集,防止中文乱码
ftp.setControlEncoding("UTF-8");
if (!FTPReply.isPositiveCompletion(ftp.getReplyCode())) {
logger.info("未连接到FTP,用户名或密码错误");
ftp.disconnect();
} else {
logger.info("FTP连接成功");
}
} catch (SocketException e) {
e.printStackTrace();
logger.info("FTP的IP地址可能错误,请正确配置");
} catch (IOException e) {
e.printStackTrace();
logger.info("FTP的端口错误,请正确配置");
}
return ftp;
}
/**
* 关闭FTP方法
* @param ftp
* @return
*/
public boolean closeFTP(FTPClient ftp){
try {
ftp.logout();
} catch (Exception e) {
logger.error("FTP关闭失败");
}finally{
if (ftp.isConnected()) {
try {
ftp.disconnect();
} catch (IOException ioe) {
logger.error("FTP关闭失败");
}
}
}
return false;
}
/**
* 下载FTP下指定文件
* @param ftp FTPClient对象
* @param filePath FTP文件路径
* @param fileName 文件名
* @param downPath 下载保存的目录
* @return
*/
public boolean downLoadFTP(FTPClient ftp, String filePath, String fileName,
String downPath) {
// 默认失败
boolean flag = false;
try {
// 跳转到文件目录
ftp.changeWorkingDirectory(filePath);
// 获取目录下文件集合
ftp.enterLocalPassiveMode();
FTPFile[] files = ftp.listFiles();
for (FTPFile file : files) {
// 取得指定文件并下载
if (file.getName().equals(fileName)) {
File downFile = new File(downPath + File.separator
+ file.getName());
OutputStream out = new FileOutputStream(downFile);
// 绑定输出流下载文件,需要设置编码集,不然可能出现文件为空的情况
flag = ftp.retrieveFile(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"), out);
// 下载成功删除文件,看项目需求
// ftp.deleteFile(new String(fileName.getBytes("UTF-8"),"ISO-8859-1"));
out.flush();
out.close();
if(flag){
logger.info("下载成功");
}else{
logger.error("下载失败");
}
}
}
} catch (Exception e) {
logger.error("下载失败");
}
return flag;
}
/**
* FTP文件上传工具类
* @param ftp
* @param filePath
* @param ftpPath
* @return
*/
public boolean uploadFile(FTPClient ftp,String filePath,String ftpPath){
boolean flag = false;
InputStream in = null;
try {
// 设置PassiveMode传输
ftp.enterLocalPassiveMode();
//设置二进制传输,使用BINARY_FILE_TYPE,ASC容易造成文件损坏
ftp.setFileType(FTPClient.BINARY_FILE_TYPE);
//判断FPT目标文件夹时候存在不存在则创建
if(!ftp.changeWorkingDirectory(ftpPath)){
ftp.makeDirectory(ftpPath);
}
//跳转目标目录
ftp.changeWorkingDirectory(ftpPath);
//上传文件
File file = new File(filePath);
in = new FileInputStream(file);
String tempName = ftpPath+File.separator+file.getName();
flag = ftp.storeFile(new String (tempName.getBytes("UTF-8"),"ISO-8859-1"),in);
if(flag){
logger.info("上传成功");
}else{
logger.error("上传失败");
}
} catch (Exception e) {
e.printStackTrace();
logger.error("上传失败");
}finally{
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
return flag;
}
/**
* FPT上文件的复制
* @param ftp FTPClient对象
* @param olePath 原文件地址
* @param newPath 新保存地址
* @param fileName 文件名
* @return
*/
public boolean copyFile(FTPClient ftp, String olePath, String newPath,String fileName) {
boolean flag = false;
try {
// 跳转到文件目录
ftp.changeWorkingDirectory(olePath);
//设置连接模式,不设置会获取为空
ftp.enterLocalPassiveMode();
// 获取目录下文件集合
FTPFile[] files = ftp.listFiles();
ByteArrayInputStream in = null;
ByteArrayOutputStream out = null;
for (FTPFile file : files) {
// 取得指定文件并下载
if (file.getName().equals(fileName)) {
//读取文件,使用下载文件的方法把文件写入内存,绑定到out流上
out = new ByteArrayOutputStream();
ftp.retrieveFile(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"), out);
in = new ByteArrayInputStream(out.toByteArray());
//创建新目录
ftp.makeDirectory(newPath);
//文件复制,先读,再写
//二进制
ftp.setFileType(FTPClient.BINARY_FILE_TYPE);
flag = ftp.storeFile(newPath+File.separator+(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1")),in);
out.flush();
out.close();
in.close();
if(flag){
logger.info("转存成功");
}else{
logger.error("复制失败");
}
}
}
} catch (Exception e) {
logger.error("复制失败");
}
return flag;
}
/**
* 实现文件的移动,这里做的是一个文件夹下的所有内容移动到新的文件,
* 如果要做指定文件移动,加个判断判断文件名
* 如果不需要移动,只是需要文件重命名,可以使用ftp.rename(oleName,newName)
* @param ftp
* @param oldPath
* @param newPath
* @return
*/
public boolean moveFile(FTPClient ftp,String oldPath,String newPath){
boolean flag = false;
try {
ftp.changeWorkingDirectory(oldPath);
ftp.enterLocalPassiveMode();
//获取文件数组
FTPFile[] files = ftp.listFiles();
//新文件夹不存在则创建
if(!ftp.changeWorkingDirectory(newPath)){
ftp.makeDirectory(newPath);
}
//回到原有工作目录
ftp.changeWorkingDirectory(oldPath);
for (FTPFile file : files) {
//转存目录
flag = ftp.rename(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"), newPath+File.separator+new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"));
if(flag){
logger.info(file.getName()+"移动成功");
}else{
logger.error(file.getName()+"移动失败");
}
}
} catch (Exception e) {
e.printStackTrace();
logger.error("移动文件失败");
}
return flag;
}
/**
* 删除FTP上指定文件夹下文件及其子文件方法,添加了对中文目录的支持
* @param ftp FTPClient对象
* @param FtpFolder 需要删除的文件夹
* @return
*/
public boolean deleteByFolder(FTPClient ftp,String FtpFolder){
boolean flag = false;
try {
ftp.changeWorkingDirectory(new String(FtpFolder.getBytes("UTF-8"),"ISO-8859-1"));
ftp.enterLocalPassiveMode();
FTPFile[] files = ftp.listFiles();
for (FTPFile file : files) {
//判断为文件则删除
if(file.isFile()){
ftp.deleteFile(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"));
}
//判断是文件夹
if(file.isDirectory()){
String childPath = FtpFolder + File.separator+file.getName();
//递归删除子文件夹
deleteByFolder(ftp,childPath);
}
}
//循环完成后删除文件夹
flag = ftp.removeDirectory(new String(FtpFolder.getBytes("UTF-8"),"ISO-8859-1"));
if(flag){
logger.info(FtpFolder+"文件夹删除成功");
}else{
logger.error(FtpFolder+"文件夹删除成功");
}
} catch (Exception e) {
e.printStackTrace();
logger.error("删除失败");
}
return flag;
}
/**
* 遍历解析文件夹下所有文件
* @param folderPath 需要解析的的文件夹
* @param ftp FTPClient对象
* @return
*/
public boolean readFileByFolder(FTPClient ftp,String folderPath){
boolean flage = false;
try {
ftp.changeWorkingDirectory(new String(folderPath.getBytes("UTF-8"),"ISO-8859-1"));
//设置FTP连接模式
ftp.enterLocalPassiveMode();
//获取指定目录下文件文件对象集合
FTPFile files[] = ftp.listFiles();
InputStream in = null;
BufferedReader reader = null;
for (FTPFile file : files) {
//判断为txt文件则解析
if(file.isFile()){
String fileName = file.getName();
if(fileName.endsWith(".txt")){
in = ftp.retrieveFileStream(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"));
reader = new BufferedReader(new InputStreamReader(in, "UTF-8"));
String temp;
StringBuffer buffer = new StringBuffer();
while((temp = reader.readLine())!=null){
buffer.append(temp);
}
if(reader!=null){
reader.close();
}
if(in!=null){
in.close();
}
//ftp.retrieveFileStream使用了流,需要释放一下,不然会返回空指针
ftp.completePendingCommand();
//这里就把一个txt文件完整解析成了个字符串,就可以调用实际需要操作的方法
System.out.println(buffer.toString());
}
}
//判断为文件夹,递归
if(file.isDirectory()){
String path = folderPath+File.separator+file.getName();
readFileByFolder(ftp, path);
}
}
} catch (Exception e) {
e.printStackTrace();
logger.error("文件解析失败");
}
return flage;
}
public static void main(String[] args) {
FTPUtil test = new FTPUtil();
FTPClient ftp = test.getFTPClient("192.168.0.111", 21, "ftpuser","pwd");
//test.downLoadFTP(ftp, "/", "FTP-TEST", "/home/zhaohy/Documents/test/");
//test.copyFile(ftp, "/", "/test", "FTP-TEST");
//test.uploadFile(ftp, "/home/zhaohy/Documents/test.txt", "/");
//test.moveFile(ftp, "/test", "/temp");
//test.deleteByFolder(ftp, "/temp");
test.readFileByFolder(ftp, "/test/");
test.closeFTP(ftp);
System.exit(0);
}
}
类中示例的下载,复制,上传,移动,删除,读取文件夹等方法实测都可以,实际使用的时候可以根据需求再改。
当调用readFileByFolder读取服务器文件夹的时候遇到一个坑,请确保要读取的文件夹已赋予读取权限,不然in = ftp.retrieveFileStream(new String(file.getName().getBytes("UTF-8"),"ISO-8859-1"));
这一段返回的流因为没有读取权限会是null。
另外在java代码中,访问服务器的根目录既是在服务器新建用户时的家目录。
参考:https://www.jianshu.com/p/453829127487
https://www.cnblogs.com/J-StrawHat/p/14051520.html
https://www.cnblogs.com/xjx199403/p/10705890.html
https://www.cnblogs.com/miclesvic/articles/10437213.html