240 发简信
IP属地:北京
  • 120
    WSL2+ubuntu2004+cuda11.8+cudnn8.8开发环境搭建

    wsl即适用于Windows的Linux子系统支持几种常见的Linux系统,我主要用了ubuntu2004。 确实很方便,Windows下直接可以打开Linux环境, 显卡直...

  • Spark的零散笔记(三)

    1.Spark SQL中的一个空值处理 背景是Dataframe转为表之后使用Spark SQL,并需要过滤一些数值型空值。Scala中的NaN值,一般可以看作是Float或...

  • 120
    Python做信号处理的零散笔记

    0. 本文目的 主要辅助信号与系统课程的学习与讲解。 一些零碎的记录,以后再酌情细化。 1. 利用sympy库 基本方式是直接定义函数,之后调用自带的函数做处理、计算、变换,...

  • 24小时黄码惊魂

    原计划   25日要去贵阳出差,本来犹豫要不要去,后来看到北京疫情基本平息(只是行程码上北京还会有星号),最后还是决定去了。计划是25号去,26日晚上回京。看了看飞猪上的疫情...

  • 120
    2023,Windows下的tensorflow+cuda+cuDNN环境

    2023.6 结论 WSL+ubuntu(或者纯ubuntu)可以解决大部分问题,比如ubuntu20.04默认的python3.8下可以支持: Tensorflow_fed...

  • 转2018年12月发生在自己身上的一件事情:刚刚,做了一个诡异的梦。

    刚刚,做了一个诡异的梦。我刚刚下班,总觉得忘了点什么,回到家中,母亲说她在北京专用的电话卡被一个号打爆了(现实中母亲目前没有在北京,也没有一个北京专用的电话卡),说我应当去一...

  • Spark遇到的一个内存错误

    Spark遇到的一个内存错误 问题 项目中遇到的一个问题,其实不是spark的锅,但错误是它爆出来的,排错过程可以借鉴:错误是这样的: org.apache.spark.Sp...

  • Spark的零散笔记(二)

    1. 减少client模式下的日志输出 2. 判断字符串是否为整数或小数 和spark没关系,是个scala语法问题。实际项目中涉及过滤数据质量的问题,因此综合网上看到的例子...

  • Spark的零散笔记(一)

    把项目中的注释和笔记整理了一下(实际业务的变量名和列名肯定不是下面示例这样的......) 1. Spark的压缩 一般不用动。默认shuffle等阶段都会用压缩,看到有文章...

  • Spark读取双层ZIP压缩包

    问题 项目中碰到一个新问题,需要利用Spark分析海量小文件,具体大概是这样的: 海量的双层压缩包: 数量可能几十万或更多,文件大小从几KB到几MB不等,可能是zip+zip...