S_a_k_Uの日記みたいなDB

~サクゥーと呼ばないで~

サロゲートペアを意識した文字列操作

Javaで表示文字数により文字列操作する時、昔はShift JIS?MS932?Windows-31J?でごにょごにょ処理してた記憶が。
Unicodeでいろいろ見てると、半角文字(表示幅1桁)と半角以外の文字(表示幅2桁)で判定すればよさげ。
但し、サロゲートペアを意識した瞬間ちょっと処理が面倒になるみたい。
以下の処理もサロゲートペアが含まれているかどうかで、効率的な処理に書き換えることができる気がするけど、現時点では基本的な処理ということで。

String型のAPIがサロゲートペアに対応していない

JavaのString型で、1文字は半角も全角も全て1文字ってのはいいんだけど、char型が2バイトのために4バイトのサロゲートペアに対応していないってのが処理を面倒にしてる。

"😀😀😀😀😀".length()

の戻り値が5じゃなくて10になるのは、5文字って意味じゃなくてchar型で10の"長さ"って意味になってしまっている。

"😀😀😀😀😀".substring(0, 3)

の戻り値も"😀😀😀"を期待してるけど、”😀?"が返ってくるのもchar型というか1文字=2バイトで処理してるせいだろうし。
String型の各メソッドが文字数という面でも期待通りの挙動をしてくれないので、サロゲートペアへ対応しようとすると、文字列の1文字づつ分解して判定していく必要がありそう。

表示文字数の判定

サロゲートペアの文字コードはint型で取りまわすようにいろいろ用意されてるから、int型の文字コードで判定する。
「制御文字」「ASCII印字可能文字」「半角カナ・記号」に加えて、「半角記号異体字(│←↑→↓■○)」を”半角(1桁)”と判定して、それ以外は”全角(2桁)”と判定する。
制御文字を1文字とするってのがあるんだったら、表示文字数の処理という文脈では制御文字を例えば半角空白1文字に置き換えるみたいなのが必要かもしれない(表示先に依存?)。

/**
 * 表示文字数(半角)を取得する.
 * 
 * @param code 文字コード(Unicode)
 * @return 表示文字数(半角)
 */
protected static int width(int code) {
  // 制御文字(改行やタブなど)は1桁として扱う
  if (Character.isISOControl(code)) {
    return 1;
  }
  UnicodeBlock block = UnicodeBlock.of(code);
  // ASCII印字可能文字 (U+0020 - U+007E)は1桁とする
  if (block == UnicodeBlock.BASIC_LATIN) {
    return 1;
  }
  // 半角カナ・記号と半角記号異体字は1桁とする
  if (block == UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS) {
    // 半角カナ・記号の範囲 (U+FF61 - U+FF9F)
    if (code >= 0xFF61 && code <= 0xFF9F) {
      return 1;
    }
    // 半角記号異体字の範囲 (U+FFE8 - U+FFEE)
    if (code >= 0xFFE8 && code <= 0xFFEE) {
      return 1;
    }
  }
  // 上記以外(漢字、ひらがな、全角英数、その他Unicode記号など)はすべて全角(2桁)とする
  return 2;
}

表示文字数(半角)の取得

該当の文字列が半角何文字分の表示となるかを1文字ずつ判定する。
String#charAtでは1文字というか1charというか2バイトずつコードを取得してしまい、サロゲートペアの場合は上位2バイトと下位2バイトで処理することになる。
そのため、String#codePointAtでサロゲートペアのコードをintで取得することになるが、次の文字を+1とするとこれもchar型での位置になるので、その文字コードが何char分のコードかをCharacter#charCountで判定して、次の文字へ移動する必要がある。

/**
 * 表示文字数(半角)を取得する.
 * 
 * @param text 表示文字列
 * @return 表示文字数(半角)
 */
public static int length(String text) {
  int len = 0;
  if (text != null) {
    int pos = 0;を移動する
    while (pos < text.length()) {
      int code = text.codePointAt(pos);
      len += width(code);
      // サロゲートペア対応で文字(文字コード)位置を移動する
      pos += Character.charCount(code);
    }
  }
  return len;
}

表示文字数(半角)の部分文字列

String#substringみたいに途中からではなく、要件的に先頭からの表示文字数で部分文字列を取得する。

/**
 * 表示文字数(半角)の部分文字列を取得する.
 * 	 
 * @since 202412
 * @param text 文字列
 * @param length 先頭からの表示文字数(半角)
 * @return 部分文字列
 */
public static String substring(String text, int length) {
  if (text == null) {
    return null;
  }
  var buf = new StringBuffer();
  int len = 0;
  int pos = 0;
  while (pos < text.length()) {
    int code = text.codePointAt(pos);
    len += width(code);
    if (len > length) {
      break;
    }
    buf.appendCodePoint(code);
    // サロゲートペア対応で文字(文字コード)位置を移動する
    pos += Character.charCount(code);
  }
  return buf.toString();
}

文字列にサロゲートペアの文字が含まれているかどうかの判定

参考までに。

/**
 * サロゲートペアの文字を含んでいるかどうか.
 * 
 * @param text 文字列
 * @return サロゲートペアの文字を含んでいるかどうか
 */
public static boolean hasSurrogatePair(String text) {
  if (text != null) {
    // 文字数≠コードポイント数ならサロゲートペアの文字を含んでいる
    //(char型で表現できる文字コードのみなら=になる)
    return (text.length() != text.codePointCount(0, text.length()));
  }
  return false;
}