mybatis的批量插入在开发中应该比较常见,在这里直接引入一个简单的例子便可一目了然,mybatis批量插入的效率不言而喻,比使用for循环不是简单的效率问题,加入说向10W级用户量的小应用推送消息,同时保存每个用户的推送消息记录,如果使用for循环,可能出现的场景可能是服务器挂掉,100W次对一个表插入会把该表锁死,最终挂掉.
<insert id="insertBatch" parameterType="list">
insert into zx_client
(
,phone
,real_name
,age
,sex
,id_no
,id_addr
) values
<foreach collection="list" index="index" item="item" open="(" separator="," close=")">
(
,#{phone}
,#{realName}
,#{age}
,#{sex}
,#{idNo}
,#{idAddr}
)
</foreach>
</insert>
通过
List<Client> list =new ArrayList<>();
想list加入一定数量的对象
clientService.insertBatch(list)
collection：指定要遍历的集合：
list类型的参数会特殊处理封装在map中，map的key就叫list
item：将当前遍历出的元素赋值给指定的变量
separator:每个元素之间的分隔符
open：遍历出所有结果拼接一个开始的字符
close:遍历出所有结果拼接一个结束的字符
index:索引。遍历list的时候是index就是索引，item就是当前值
遍历map的时候index表示的就是map的key，item就是map的值
#{变量名}就能取出变量的值也就是当前遍历出的元素
如果数量较大防止内存溢出也可以把一个集合拆分为几个集合
/**
* 将指定集合分拆成几个集合
* @param list 即将拆分的集合
* @param num 拆成几份
*/
public static Map<Integer,List> subList(List list,Integer num){
Map<Integer,List> result = new HashMap<>();
if(num == null || num <=1 || list.size() == 0){
result.put(0,list);
return result;
}
BigDecimal ratio = new BigDecimal("1").divide(new BigDecimal(num),RATIO_NUM, RoundingMode.HALF_DOWN);
BigDecimal size = new BigDecimal(list.size()).multiply(ratio);
int begin = 0;
int end = new BigDecimal(list.size()).multiply(ratio).intValue();
for (int i = 0;i<num;i++){
System.out.println("--- begin:"+begin+" end:"+end);
List objects = list.subList(begin,end);
result.put(i,objects);
if(i<num -1){
begin = end +1;
end = begin+size.intValue()-1;
}else{
begin = list.size() - begin;
end = list.size();
System.out.println("--- last begin:"+begin+" end:"+end);
}
}
return result;
}
也可以使用以下方法
public void insertBatch(Map<String,Object> paramMap, List<User> list) throws Exception {
// 新获取一个模式为BATCH，自动提交为false的session
// 如果自动提交设置为true,将无法控制提交的条数，改为最后统一提交，可能导致内存溢出
SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
try {
if(null != list || list.size()>0){
int lsize=list.size();
for (int i = 0, n=list.size(); i < n; i++) {
User user= list.get(i);
user.setIndate((String)paramMap.get("indate"));
user.setDatadate((String)paramMap.get("dataDate"));//数据归属时间
//session.insert("com.xx.mapper.UserMapper.insert",user);
//session.update("com.xx.mapper.UserMapper.updateByPrimaryKeySelective",_entity);
session.insert(“包名+类名", user);
if ((i>0 && i % 1000 == 0) || i == lsize - 1) {
// 手动每1000个一提交，提交后无法回滚
session.commit();
// 清理缓存，防止溢出
session.clearCache();
}
}
}
} catch (Exception e) {
// 没有提交的数据可以回滚
session.rollback();
e.printStackTrace();
} finally {
session.close();
}
}
