上图是台风席卷城市，现在企业的服务基本都是混合部署，云计算厂商的机房往往可以提供比较好的保护，一般在地下，扛多少级地震，扛多少级台风，而自建机房，往往写字楼经常停电，网络运营上经常断网。
那么怎么防护这种意外，保证服务在线，或者最短时间恢复？
答案就是多地备份，快速切换。
背景
飓风袭击亚特兰大，我们的转文服务器放在这个城市，担心断电或者断网。所以需要有一个备用的服务器来处理语音数据。
计划是在云计算厂商相对安全，距离又近的地方买一个服务器，重新搭建，来处理语音转文，左右声道拆分和角色识别。
然后是做完之后，需要通过配置能切换，同时保证功能正常。
目标
购买一个最低成本的带GPU的服务器，在阿里云上。做备用，在极端天气情况下使用备用的服务器。极端天气过后，切换到自建IDC的服务器。兼顾成本和高可用。
下面是操作步骤。记录下来，方便后续查看或者交给运维。
搭建步骤
1 购买机器
带GPU的，默认安装驱动；
选择的ubuntu系统。 设置账号密码，安全组端口全部关闭。 vpc选择跟产线环境互通，可以节约流量加快速度，进一步提高安全性。
2 查看gpu显卡信息
需要先安装工具。这将显示有关图形设备的信息。来看看买的GPU的资源是否给够了，当前的版本是什么，方便排查问题。
sudo apt-get install inxi
sudo inxi -G
然后查看GPU信息：
sudo nvidia-smi
这张图片显示了NVIDIA GPU的状态信息，使用了nvidia-smi命令。下面是对各个字段的解释，以及一些类比和例子：
主要信息解释
-
NVIDIA-SMI 550.90.07:
- 这是NVIDIA系统管理接口的版本号。就像软件的版本号，指示你正在使用哪个版本的驱动程序。
-
Driver Version 550.90.07:
- 这是当前安装的GPU驱动程序版本。如果驱动程序不更新，可能会影响GPU性能和兼容性，就像手机应用需要定期更新以修复漏洞。
-
CUDA Version 12.4:
- CUDA是NVIDIA的并行计算平台和编程模型，版本指示支持的CUDA功能。可以类比为操作系统的版本，决定了你可以使用哪些新特性。
-
GPU Name: Tesla T4:
- 显示了GPU的型号。在这张图中，使用的是NVIDIA的Tesla T4，适用于深度学习和高性能计算。
-
Fan Temp 44C:
- 风扇的温度，44摄氏度。可以类比于计算机的CPU温度，帮助监控硬件是否过热。
-
Power Usage/Cap (10W / 70W):
- 当前功耗为10瓦，最大功耗为70瓦。这表明GPU在有效使用功率，类似于电器的功率消耗。
-
Memory Usage (1MiB / 16384MiB):
- 当前使用的内存为1 MiB，总可用内存为16,384 MiB（即16 GB）。这一点可以与计算机的内存使用情况做类比。
-
GPU Utilization (0%):
- 目前GPU的利用率为0%，表示没有正在运行的计算任务。可以看成汽车的油门，0%意味着完全没有加速。
-
Processes:
- 该部分显示当前正在运行的进程。这里显示“没有正在运行的进程”，意味着没有任务占用GPU资源。
类比说明
可以把这整个信息看作一辆汽车的仪表盘：
- 版本号（NVIDIA-SMI, Driver, CUDA）类似于汽车的型号和生产年份。
- 温度（Fan Temp）类似于发动机的温度表，确保它在正常范围内运行。
- 功耗（Power Usage/Cap）就像油表，显示当前油量和油箱的容量。
- 内存使用（Memory Usage）就像后备箱的空间，显示了当前使用和可用的存储空间。
- 利用率（GPU Utilization）则像车速表，表示汽车当前的运行状态。
- 进程信息就像车内的乘客，显示当前有哪些人（进程）在使用这辆车（GPU）。
通过这些信息，用户可以有效监控和管理GPU的性能，确保其在最佳状态下运行。
3 安装sftp 修改开启端口
sudo apt-get update
sudo apt-get install openssh-server
sudo vi /etc/ssh/sshd_config
# 修改端口
Port 9222
sudo systemctl restart ssh
安全组放开9222
同时IP开白，限定只有 prod ，qa环境的出网ip， 深圳 ，岳阳办公环境才能访问 .
因为最近安全问题频发，所以这块必须要保证，任何开放到公网的端口都有被攻击的风险。
4 挂载NAS盘 到/sftp
sudo apt-get update && sudo apt-get install nfs-common
sudo chmod 777 -R /etc/modprobe.d
sudo echo "options sunrpc tcp_slot_table_entries=128" >> /etc/modprobe.d/sunrpc.conf
sudo echo "options sunrpc tcp_max_slot_table_entries=128" >> /etc/modprobe.d/sunrpc.conf
sudo mkdir /sftp
sudo mount -t nfs -o vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 13e6xxxx7-ojm48.us-east-1.nas.aliyuncs.com:/ /sftp
df -h | grep aliyun
进去可以看到NAS远程存储已经挂到了对应的 /sftp目录
防止录音文件太多导致爆盘。所以使用了远程存储。 还有一个原因就是远程存储价格便宜，低频的可以自动沉降。
5 安装whipser并测试
sudo apt update && sudo apt install ffmpeg
pip install setuptools-rust
pip install -U openai-whisper
whisper --help
测试转文指令：
whisper /sftp/deskqa/mp3/test2.mp3 --model small --output_format json --output_dir /sftp/deskqa/mp3j --word_timestamps True
测试声道分离指令：
ffmpeg -i /sftp/deskqa/mp3/a.wav -map_channel 0.0.0 -threads 4 /sftp/deskqa/mp3/a_l.wav -map_channel 0.0.1 -threads 4 /sftp/deskqa/mp3/a_r.wav
java程序所需的基本底层能力测试通过。
6 安装wis-biz程序
安装java运行环境。
在Ubuntu上安装Java 8可以通过以下步骤完成。以下是详细的安装指令：
1. 更新包列表
首先，更新你的包列表以确保你获取到最新的软件包信息：
sudo apt-get update
2. 安装Java 8
使用以下命令安装Java 8：
sudo apt-get install openjdk-8-jdk
3. 验证安装
安装完成后，可以通过以下命令验证是否成功安装了Java 8：
java -version
你应该看到类似以下的输出，表示Java 8已成功安装：
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
4. 设置默认Java版本（可选）
如果你有多个Java版本安装在你的系统上，并且希望将Java 8设置为默认版本，可以使用 update-alternatives 命令：
sudo update-alternatives --config java
你会看到一个列表，显示所有已安装的Java版本。输入对应Java 8的选择编号，然后按Enter键。
5. 设置JAVA_HOME环境变量（可选）
为方便起见，你可能还希望设置 JAVA_HOME 环境变量。编辑你的 .bashrc 文件：
nano ~/.bashrc
在文件末尾添加以下行：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
保存并退出（在Nano中，按 Ctrl+O 保存，按 Ctrl+X 退出），然后使更改生效：
source ~/.bashrc
6. 验证环境变量设置（可选）
你可以通过以下命令验证 JAVA_HOME 环境变量是否设置正确：
echo $JAVA_HOME
输出应为 /usr/lib/jvm/java-8-openjdk-amd64。
通过这些步骤，你就可以在Ubuntu系统上成功安装并配置Java 8。
上传jar包。
添加配置文件。放在 gitops下。 wis/qa wis/prod 分别放对应的配置文件，存档，方便后面做程序更新；
目录设计：
sudo mkdir -p /sftp/deskprod/mp3 /sftp/deskprod/mp3j /sftp/deskprod/mp32 /sftp/deskprod/config /sftp/deskprod/logs
sudo touch /sftp/deskprod/logs/wis.log
启动脚本：
/sftp/deskprod/start.sh
#!/bin/bash
sudo touch ./logs/wis.log | true
sudo mkdir -p ./logs | true
(
until java -Xms4096m -Xmx8096m -Djava.security.egd=file:/dev/./urandom -Dlogging.config=./config/logback-spring.xml -jar wis.jar; do
echo "MyApp prod wis.jar crashed with exit code $?. Respawning... " >&2
sleep 5
done
) &
7 本地测试/qa测试/产线测试
打电话，看看是不是转文成功。
下面是日志信息。
标识是已经按照逻辑处理了。
找测试同学分别在qa, prod ,hk环境都测试了，可以正常的转文。 所以这块没问题了。
更新采用修改配置的方式，重新出镜像包部署。
8 监控观察
4C的cpu基本跑满了，没有浪费，内存有空闲，也接近满载，利用率很高。
gpu使用率没有满的情况，因为限制了并发数，升级了whisper的版本，使用的小模型。高峰期有录音积压，平峰期可以消化掉。
小结
一步一步的安装完环境，并做了测试和监控。有记录，方便重新安装的时候查阅和交割。
告警可以加上，比如GPU的利用率如果超过95%，时间超过5分钟，则告警。
CPU ,内存等也可以告警出来。
处理可以加快一些。 最好可以根据GPU的负载来，或者增加并发度，买更高级的GPU ,内存更大，处理能力更强。。
原创不易，关注诚可贵，转发价更高！转载请注明出处，让我们互通有无，共同进步，欢迎沟通交流。
我会持续分享Java软件编程知识和程序员发展职业之路，欢迎关注！
