升级jdk版本(一文解读业务平台升级JDK11的适配之路)

本文基于两个出发点,描述了业务平台于21年12月启动了对JDK版本升级的适配之路,并回顾了整个升级过程,对升级过程中的问题做了记录。

作者 | 郑波(岱泽)

来源 | 阿里开发者公众号

业务平台升级JDK11,基于两个出发点:一、jdk8于2019年1月停止维护,springboot2.1之后的版本已经兼容JDK11,springboot3.0完全放弃对JDK8的支持,未来属于更高版本的JDK;二、在试点国产化芯片的过程中,由于JDK8对Arm架构的优化不足,导致国产化芯片无法发挥自身的性能优势,为了更好的适配国产化,务必要求对JDK版本进行升级。基于上述两个出发点,业务平台于21年12月启动了对JD【资源之家】K版本升级的适配之路。这里回顾整个升级过程,对升级过程中的问题做一下记录

一、升级版本的选择

当时有两个JDK版本可供选择,JDK11、JDK17,从长远开来,JDK17更代表未来,但由于JDK11 相比JDK17的变化并不大,相比之下从JDK11升级到JDK17的挑战要相对小。由于升级的基本都是电商核心系统,基于风险的控制,从JDK8升级到JDK11,随后再从JDK11升级到JDK17是一个更合理的选择。

二、GC选择及功能适配

业务平台核心系统使用了非常多的定制化功能,比如GCIH、CMS GC、异步日志、Wisp、Jwarmup、UncommonNullCast、多租户,为了减少对业务的影响,同【资源之家】时保障JDK11相比JDK8不会产生性能的退化,相关的特性均需要在JDK11上进行适配。同时为了避免GC算法的调整对业务运维及稳定性的影响,升级初期决定依旧使用CMS GC,仅灰度少量的G1

特性

特性说明

GCIH

营销利用GCIH缓存营销数据,大促强依赖的特性

CMS GC

核心业务使用的GC算法,为了避免对业务使用上的影响,需要保留Cms GC的支持

异步GC日志

GC日志异步化,降低业务的影响

Wisp

协程支持,buy2、carts2上均在使用,对业务的性能3-5%的性能优化

JWarmup

启动预热,核心系统利用该功能降低启动过程中C1、C2带来的CPU飙升,业务抖动问题

UncommonNullCast

【资源之家】XX:CompileCommand=

退优化相关的优化参数,避免部分场景下退优化带来的性能问题

-Dcom.alibaba.jdk.verifyECDSATrailing

跳过ECDSA尾部零校验,兼容老的ECDSA数据,Tp3和支付宝交互中,需要依赖

三、升级JDK11相关组件的升级

在升级JDK11的过程中,业务代码的改造只是其中之一,还涉及到业务依赖的各种组件之间的升级适配,包括Pandora、Tomcat、星环容器、天启、Doom、天擎等测试工具的升级支持

组件

升级改造点

Tomcat

非Pandoraboot的应用,强依赖Tomcat,目前大部分业务使用的依旧是Tomcat7,但Tomcat7 本身【资源之家】对JDK11的支持存在问题(ECJ的版本过低,在存在动态编译代码的情况下,比如:jsp、模板预演、groovy等,由于不识别jdk11,将目标代码编译成低版本的代码,导致性能及功能受损)。由于tomcat7 和tomcat8对jar包加载的顺序有了调整,导致升级到tomcat8成本会相对较高,为了降低改造成本,对tomcat7进行改造。(https://bz.apache.org/bugzilla/show_bug.cgi?id=57129)

最新的版本: taobao-tomcat-7.0.108.ecj

Pandora

Pandora各组件对JDK11的版本支持,在项目启动之初,Pandora已经【资源之家】在对JDK11进行了适配,但在实际升级使用中,依旧发生了一些不兼容的问题,期间主要有

服务端使用JDK11版本运行,客户端使用JDK8的场景下,服务端抛的异常经过Hession序列化后,无法在JDK8上进行反序列化的情况。该问题前期评估,主要是客户端感知的错误发生变化,风险可控,实际在上线过程中,消费者侧的感知发生变化。

最新的版本: 2022-07-stable

天启

天启作为业务平台最核心的测试用力回归工具,在整个适配开始之初,就作为高优先级适配,天启内部使用了很多序列化及记录Record的过程,本身为了做代码增强,使用了相对较多的hack的方式,因此这部分改造及适配成本最大,适配过程中,一方面需【资源之家】要调整doom的依赖,另外一方面需要保障测试用力能正常回归

天擎

天擎作为业务平台预发环境隔离的工具,预发回归测试均需要进行依赖。这部分的改造也需要提前进行适配。

四、灰度及上线流程的选择

业务平台核心应用很多都是伴随taobao业务成长起来的应用,具有历史代码多、依赖组件广的特点,核心系统中存在非常多的二三方包依赖,在升级之初考虑使用JDK提供的兼容性扫描工具进行分析,但在实操过程中,扫描到的不兼容代码过多,但实际上大部分并没有使用到的情况。如果按照扫描出来的结果推动相关二三方包的适配,整个工程量是完全无法评估的,整个升级节奏也无法把控。为了解决该问题,我们决定整体的升级节奏调整并不追求完全的代码兼【资源之家】容。只对实际影响业务运行的代码做兼容处理。因为整体的升级节奏也就变成了如下几步

1) 代码使用JDK8进行编译,但要求代码可以同时在JDK8及JDK11上运行2) 上线过程中,先将日常及预发环境的版本切换成JDK11和JDK8同时运行,回归测试过程中同时测试JDK11、JDK8版本下的运行情况3) 线上逐步灰度JDK11运行环境的功能,做好监控及线上排查定位。随着几次大促下来后,逐步将所有的容器切换到JDK11,下线JDK8环境的容器。4) 利用运行态的JDK11特性,优化系统性能5) 将编译从JDK8切换到JDK11 ,同时充分JDK11本身的新的特性。基于上述的升级步骤,对业务代码的升级改造【资源之家】也做了调整,业务在使用过程中,同时安装JDK8和JDK11,业务利用脚本的方式控制线上的JDK11及JDK8的灰度比例。同时经过多轮大促: 38大促灰度10台容器、日常灰度100台、618灰度一个单元、99大促灰度所有机房if [ -f /home/admin/logs/jdk11.enable ]; then export JAVA_HOME=/opt/taobao/install/ajdk11_11.0.14.13/ export JDK11_ENABLE=true echo “enable jdk11 , use new JAVA_HOME : ${JAVA_HOME} fi if [ $JDK11_ENAB【资源之家】LE == “true” ]; then CATALINA_OPTS=${CATALINA_OPTS} -Xlog:gc*:${MIDDLEWARE_LOGS}/gc.log:time” CATALINA_OPTS=${CATALINA_OPTS}–add-exports=java.base/jdk.internal.loader=ALL-UNNAMED –add-exports=java.base/jdk.internal.loader=jdk.unsupported –patch-module jdk.unsupported=/home/admin/buy2/bin/java9-migrat【资源之家】ion-helper-0.1.jar” CATALINA_OPTS=${CATALINA_OPTS} -Dio.netty.tryReflectionSetAccessible=true –add-opens=java.base/jdk.internal.misc=ALL-UNNAMED –add-opens=java.base/java.nio=ALL-UNNAMED” CATALINA_OPTS=${CATALINA_OPTS}–add-exports=java.base/jdk.internal.util.jar=ALL-UNNAMED –add-exports=java.base【资源之家】/jdk.internal.util.jar=jdk.unsupported” CATALINA_OPTS=${CATALINA_OPTS} –add-opens=java.base/com.alibaba.wisp.engine=ALL-UNNAMED” CATALINA_OPTS=${CATALINA_OPTS} -XX:CompileCommand=stableif,*::*” test -z $JPDA_ADDRESS && export JPDA_ADDRESS=*:8000 #gson兼容 CATALINA_OPTS=${CATALINA_OPTS}-Djava.locale.provider【资源之家】s=COMPAT,SPI” else CATALINA_OPTS=${CATALINA_OPTS} -Xloggc:${MIDDLEWARE_LOGS}/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps” CATALINA_OPTS=${CATALINA_OPTS} -XX:-UncommonNullCast -XX:CompileCommand=stableif,*::*” test -z $JPDA_ADDRESS && export JPDA_ADDRESS=8000 fi

五、二三方包适配及改造

JDK11相比JDK8之间的关键的变化

参考:Oracle J【资源之家】DK Migration Guide

● 版本号格式的变化

● 本地化的优先级变化

● module化

● 废弃代码清理

● JDK日志架构变化

由于业务代码中旧的代码量较多,为了减少整个升级的复杂度,整体的升级策略,以兼容旧的代码逻辑为主,尽可能的升级到新的版本中(并不是使用jdk11的最佳实践进行直接升级)。

在实际的适配过程中,发现主要的兼容问题集中在版本号格式的变化带来的不兼容。对于这部分代码逻辑主要要求相关业务进行改进即可,对于一些无法找到维护者的二方包来说,直接通过反编译的方式进行整体改造。

二方包

兼容版本

改造原因

citrus-webx-all-in-one

3.2.4.1-jdk11

JDK11版本【资源之家】号格式变化,导致无法启动,由于目前已经无法找到对应维护者,针对这部分二方包,反编译后提交仓库供业务使用。

toolkit-webx-all-in-one

2.0.3-jdk11

toolkit.common.lang

com.alibaba.toolkit:toolkit-common-lang:jar

1.0-jdk11

citrus-webx-all-in-one

3.2.4.1-jdk11

forest-store

8.1.11

使用了非公开的类,在升级到jdk11后,相关的类发生了变化,需要做响应的改造升级

ip-client

5.5.69

sic-client

1.5.33

com.alibaba.ultron:【资源之家】common-sdk-datasource:1.0.0-buy2.0-4

1.0.0-jdk11-beta.2

common-uic-common

3.8.8-jdk11 +

com.cainiao.cdc:cdc-client

com.cainiao.cdc:cdc-common

1.13.25

使用了unsafe的包,导致在升级到JDK11后,相关的类无法使用

gson

2.8.9

由于JDK11的本地化变化,导致gson在解析时间格式上存在不兼容的情况,升级gson版本,同时在启动时添加 -Djava.locale.providers=COMPAT,CLDR 参数。https://github.com/goo【资源之家】gle/gson/pull/1211

点击查看原文,获取更多福利!

https://developer.aliyun.com/article/1162353?utm_content=g_1000368533

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。