一、问题背景
环境:
- MySQL:Percona Server for MySQL 5.7.19
- JDBC:mysql connector-J 5.1.45
Java代码通过JDBC执行SQL报错 如下:
java.sql.SQLException: Unknown type '14 in column 0 of 1 in binary-encoded result set.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:965)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:898)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:887)
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:861)
at com.mysql.jdbc.MysqlIO.extractNativeEncodedColumn(MysqlIO.java:4558)
at com.mysql.jdbc.MysqlIO.unpackBinaryResultSetRow(MysqlIO.java:4472)
at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:2045)
at com.mysql.jdbc.MysqlIO.readSingleRowSet(MysqlIO.java:3400)
at com.mysql.jdbc.MysqlIO.getResultSet(MysqlIO.java:470)
at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:3112)
at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:2341)
at com.mysql.jdbc.ServerPreparedStatement.serverExecute(ServerPreparedStatement.java:1368)
at com.mysql.jdbc.ServerPreparedStatement.executeInternal(ServerPreparedStatement.java:783)
at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1966)
at JDBCClient.main(JDBCClient.java:39)
二、问题排查
通过网络搜索报错信息,找到MySQL的一个Bug信息,见链接:https://bugs.mysql.com/bug.php?id=87534
该Bug复现条件:
- 应用程序使用jdbc连接MySQL数据库,并且打开jdbc预编译参数useServerPrepStmts=true
- 应用程序中执行了含有UNION ALL的SQL,并且SQL执行返回的数据中包含有DATE类型的字段
搜索MySQL 5.7.19 之后版本的Release Note,发现在5.7.22 版本对这一问题进行了修复,见链接:https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-22.html
Metadata from result sets for UNION ALL queries could say NEWDATE rather than DATE. (Bug #27422376)
经过测试,5.7.21 能够复现该Bug,5.7.22 没有复现,确认该Bug 在 5.7.22中已解决。
三、源码分析
(1)MySQL返回的是NEWDATE,而非DATE:
通过在MySQL 源码的git log中搜索内部Bug号#27422376,对比代码差异,定位到 union all 在遇到DATE类型字段时,返回的是内部使用的NEWDATE类型,导致jdbc接收到这种NEWDATE类型无法识别,报错。官方在修复这个问题时,通过real_type_to_type 这个函数,将 MYSQL_TYPE_NEWDATE 转换为 MYSQL_TYPE_DATE。
MYSQL_TYPE_NEWDATE 枚举类型,值为14, MYSQL_TYPE_DATE 值为10,jdbc 在收到 MYSQL_TYPE_NEWDATE (14) 无法识别该字段类型,所以报错。
(2)jdbc无法识别NEWDATE:
通过查看mysql connector-J 5.1.45 源码 MysqlIO.java 4558行代码,我们看到jdbc源码中有个switch语句,只能识别MysqlDefs.FIELD_TYPE_DATE, 虽然MysqlDefs.FIELD_TYPE_NEWDATE 有定义,但是在switch 语句中并没有 case MysqlDefs.FIELD_TYPE_NEWDATE, 导致NEWDATE在这里无法被识别,走到default的代码逻辑。经过社区的讨论,认为这个Bug,不应该由jdbc修复,应当在MySQL Server中修复, 毕竟NEWDATE只是内部使用的一个数据类型。
四、规避方案
- 升级MySQL到5.7.22 及以上版本
- 关闭jdbc预编译参数useServerPrepStmts=false,可能有性能损耗
- 修改sql,在外面包装一层select,如 select * from
- 修改表结构,不使用DATE类型字段