## 原因
- trimの対象に`
が入っていない
- `$\hoge`が`$\`と`hoge`に分解される
- `\hoge`がサジェストに引っかからない
## 対策
- `$\hoge`が
- `
と`\hoge`に分解される
- `
をtrimの対象に追加
- `\`をtrim対象から削除
- `\alpha`で`alpha`をサジェストできなくなるがよいか?
- `\`のあとの語句にコンプリートの価値はなさそう?
- `\t`や`\n`などのエスケープは**むしろ一緒の方がよさげ**
- `
と`\`と`hoge`に分解される
- こちらはtrimの対象に`
のみ追加するパターン
- なんかうまくいかなかった...
## テスト期待値
- `recursiveTokenize`
- `$\alpha`と`\alpha`になればOK
- `tokenize`
- `\alpha`だけになればOK
## Japanese Tokenizerの難点
`recursiveTokenize`にて
- IN: `$\\alpha`
- 期待: `[$\\alpha, \\alpha]`
- 実際: `[\\alpha, alpha]`
- 問題
- 先頭の`
が消えた
- 以下の条件を両方満たすから
- トークンの長さが1
- trimPatternにマッチしている
- これは `aaa:bbb:ccc`を`aaa:bbb:ccc`と`bbb:ccc`と`ccc`に分解するため`:`を無視するプロセス
- **先頭がtrimPatternの場合が考慮されていない**
- そもそも考慮は不要?
- 必要
- **`$hoge`で`$hoge`の補完ができなくなってしまう**
- `\\alpha`が一体化していない
- [[TinySegmenter]]の仕様なら介入は困難 (これは仕方ない)
```markdown
## ✨ **Improvements**
- Improve suggestions about `
and `\` (#95)
```