平台服务恢复处理记录

周六公司云主机迁移,部分云业务迁移到了新的平台,迁移采用的是数据硬盘迁移,不涉及IP地址的更换,我这边负责的平台所有测试服务器全部重启了,服务也全都停了,周一来了就开始恢复,服务架构是Spring Cloud。过程中遇到了一些问题,全部是配置文件依赖服务器中配置文件的相关服务,脚本提供配置或者配置在应用本身或者远程服务的未受影响。相关处理过程记录一下。

1.启动基础服务,相关配置直接写在启动脚本中,一共是五个服务,eurekaServer、config、gateway、gen、auth,启动过程中auth服务失败了,其它四个都成功了没问题,打开启动日志,查看是druid连接池报错,获取数据源失败了,应该是oracle服务也停了,所以失败,然后想到auth依赖redis,所以顺手先把redis启动了,连接到redis服务器,没什么特殊配置,直接redis-server /etc/redis.conf命令启动成功,然后nginx命令直接启动了nginx也启动成功没什么问题。

2.启动备件业务程序,直接启动,部分配置也是写在启动脚本中,没什么问题,直接启动成功,尝试访问了一下测试环境地址,报auth相关的错,auth服务请求失败

3.启动oracle。root用户,lsnrctl status查看oracle监听状态,确认监听没有启动,lsnrctl start启动所有监听器,没什么问题。
然后执行命令:sqlplus / as sysdba,oracle返回错误ORA-01031: insufficient privileges,权限不足,应该是当前登录用户权限的问题


image.png

执行su oracle切换到oracle用户,再次执行sqlplus / as sysdba,直接报command not found,找不到命令,由于对Linux研究不多,这里卡了好久,原因是su切换用户不改变当前环境变量,应该用su - oracle,切换用户后并且切换到用户的变量,再次执行sqlplus / as sysdba,连接成功,然后执行startup启动oracle,又报错了,报错信息为ORA-32004,ORA-16032,ORA-07286。

ORA-16032: parameter LOG_ARCHIVE_DEST_1 destination string cannot be translated ORA-07286: sksagdi: cannot obtain device information. Linux Error: 2: No such file or directory
image.png

查看提示是Linux找不到档案或者目录,联想到可能是服务器通过数据硬盘迁移造成了服务的某些配置路径发生了变化。查看网上相关问题的处理,发现这三个错误都是同时出现,基本可以确定就是同一个问题,查看ORA-16032的报错信息:parameter LOG_ARCHIVE_DEST_1 destination string cannot be translated,继续查资料,是oracle归档路径的问题,命令archive log list查看归档信息,显示not logged on,应该看下oracle的spfile文件,spfile文件存放的也是数据库实例启动时的参数设置值,cd ORACLE_HOME进入ORACLE_HOME目录,cd dbs,执行strings spfile*.ora|grep dest_1,列出以下信息: *.log_archive_dest-1='location=/data/oracle/product/11.2.0/archive/arch' 然后尝试进入这个目录 cd /data/oracle/product/11.2.0/archive/arch,提示:没有那个文件或目录,/data/oracle/product/11.2.0下没有/archive/arch目录,然后尝试在/data/oracle/product/11.2.0下新建了目录/archive/arch,chown/chgrp修改文件夹到用户oracle/1001下,然后再重新执行以下命令:

sqlplus / as sysdba
SQL> startup

oracle启动成功


image.png

4.oracle启动成功后再次执行启动基础服务的脚本,auth服务也正常启动,然后打开浏览器输入测试环境访问地址,还是报auth服务相同的错误,提示错误为http://test-ip/zhuapi/ius/xxxxxxx,仔细一看,多了个zhuapi,以前好像没见过啊,这个是请求到网关的链接,网关识别此来转发到对应的微服务,正常应该是配置我们应用前端代码的config.js中,应该不是nginx反向代理的问题,所以直接去前端代码中全局搜zhuapi,什么都没搜到,看了config.js也是正常的,然后又将目光转到nginx配置,查看了nginx配置也没找到这个zhuapi。然后浏览器F12,点到控制台Sources下,直接查看浏览器加载的前端文件,应用的前端业务代码都做了混淆,config.js只有简单的几个配置,没混淆,可以直接看,果然,前端加载的config.js中有个zhuapi,这个配置完全没印象,还不知道缓存了多久,应该是很早以前的,真的是很奇怪。所以现在问题找到,是nginx的问题,页面加载的一直是nginx中缓存的静态文件,然后绕过nginx直接请求网关地址,应用显示正常,所以基本确定就是nginx的问题了。
nginx启动成功,也能请求到服务的页面,但是访问异常,所以首先想到去看nginx的配置文件,whereis nginx,列出几个目录,找到nginx位置在/usr/local/nginx,还有个/etc/nginx,先不管,cd /usr/local/nginx/conf, vi nginx.conf,打开后看到就一行配置,监听了8099端口,并且在其目录中找到了对应的错误的缓存静态文件,直接删除,再次访问,nginx报错找不到页面,很奇怪,这个配置也没监听80,原先nginx上的配置肯定不可能是这样的,否则无法正常转发请求,回头再去看/etc/nginx,/etc/nginx/这个目录下也有个nginx.conf的配置,打开发现这个才是转发应用服务的nginx配置,但是很奇怪,服务器装了两个nginx,默认启动的不是对应我们服务的,这两个nginx应该分别是yum安装与源码包安装的。然后查看当前nginx的pid,kill掉,停掉nginx,替换nginx配置文件为服务对应的配置,指定配置文件重启,然后浏览器强制刷新访问,服务恢复正常。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,783评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,396评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,834评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,036评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,035评论 5 362
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,242评论 1 278
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,727评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,376评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,508评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,415评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,463评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,140评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,734评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,809评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,028评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,521评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,119评论 2 341