Android Room FTS4使用unicode61分词器低版本报unknown tokenizer错误

• 核心问题是remove_diacritics=2并非unicode61分词器初始自带的配置项，该参数是SQLite 3.12.0版本才新增的功能，你之前仅核对了unicode61分词器本身的最低支持版本，未核对该参数的版本要求。
• 低版本系统报错的具体原因：
  • API 25（Android 7.1）内置SQLite版本为3.9.2，远低于3.12.0的最低要求，完全无法识别该参数，解析建表语句时直接判定整个分词器配置非法，抛出unknown tokenizer错误。
  • API 27（Android 8.1）虽然内置SQLite版本号达到3.19.4，满足参数的版本号要求，但AOSP编译系统内置SQLite时对FTS4模块做了功能裁剪，未编译入变音符号移除依赖的ICU相关逻辑，同样无法识别该参数，依然会触发报错。该参数在Android系统内置SQLite上的稳定支持从API 29才开始。
• 从日志可以确认，Room自动生成的建表SQL本身无语法问题，报错完全是低版本系统SQLite实现不支持对应分词器参数导致。

按推荐优先级排序：

• 方案1：替换系统内置SQLite驱动，使用App打包的独立SQLite实现
  可以选用官方独立分发的全功能SQLite组件，这类组件会将兼容完整功能的新版SQLite直接打包进APK，不依赖系统内置的SQLite实现，所有Android版本上的数据库行为完全一致，你现有的FTS4配置、业务逻辑不需要做任何修改，是稳定性最高、改造成本最低的方案。接入时仅需要替换Room的底层SQLite驱动实现即可，不需要修改实体、DAO相关代码。
• 方案2：手动预处理文本移除变音符号，不依赖分词器能力
  如果不想引入额外依赖增加APK体积（独立SQLite实现一般会增加1-3M左右的APK大小），可以在数据写入数据库前，自行完成文本的变音符号移除处理，将处理后的无变音符号文本存入FTS表对应的搜索列，搜索时也对用户输入的关键词做相同的变音移除处理再做匹配。
  变音移除逻辑可以直接用Java内置的Normalizer实现，参考代码：

  public static String stripDiacritics(String input) {
      return Normalizer.normalize(input, Normalizer.Form.NFD)
              .replaceAll("\\p{InCombiningDiacriticalMarks}+", "");
  }
  

  该方案兼容所有Android版本，缺点是需要自行维护文本预处理逻辑，注意覆盖小语种特殊变音符号的场景即可。
• 方案3：做版本兼容降级
  在数据库初始化时判断当前系统版本，API >=29时使用带remove_diacritics=2的FTS配置，低版本系统使用不带该参数的普通unicode61分词器，接受低版本系统上搜索无法自动忽略变音符号的降级体验。该方案不需要引入额外依赖，改造成本低，但低版本用户的搜索体验会有折扣。

内容的提问来源于stack exchange，提问作者davidm