パラメータチューニング
パラメータチューニングは、AI分類予測で使う学習パラメータ（ハイパーパラメータ）の最適値を自動で探し、その値を使うことで予測精度の向上を図る機能です。正解がわかっている公報で予測の当たり具合を確かめながら、パラメータを調整します。AI分類予測の全体の流れは、AI分類予測をご参照ください。
この記事でわかること
- パラメータチューニングで準備するデータ
- パラメータチューニングの手順と、結果の反映
- 学習パラメータを初期値に戻す方法
- 各パラメータの意味
1. 準備するデータ
- 教師データ
- 予測データ：教師データに登録していない公報に、正解のラベル（
1、-1）を付けたデータ
予測データがなくてもパラメータチューニングは使えますが、予測データを使うことをお勧めします。
例：直近1年分のSDIの結果を用意し、直近1か月分を予測データ、それ以外の11か月分を教師データにする。
2. パラメータチューニングの手順
2-1. パラメータチューニングを開く
AI分類予測の「パラメータチューニング」をクリックします。
2-2. チューニングの条件を設定する
次の項目を設定し、「チューニング開始」をクリックします。
| 項目 | 設定のしかた |
|---|---|
| 「チューニングに使用するデータ」 | 「教師データの一部」と「予測データ」から選べます。精度検証用のデータを「予測データ」に登録している場合は、「予測データ」を選びます。「教師データの一部」を選ぶと、教師データの一部を予測データとして使ってチューニングします。 |
| 「チューニング対象特徴量」 | チューニングに使う対象特徴量を、最大10個まで選べます。「人が判断するとき、どの項目を読んで判断するか」を目安に選んでください。「(セマンティック)」が付いた項目（例：「タイトル/要約/請求の範囲/明細書/審査官キーワード(セマンティック)」）は、類似キーワードも加味して分類予測を行います。付いている項目と付いていない項目の両方を選ぶこともお勧めです。 |
| 「C : コスト(誤分類許容度)」、「Sigma : カーネルパラメータ」、「２値優先ラベル」 | これらのハイパーパラメータは、チェックを入れた状態をお勧めします。 |
| 「評価値」 | 「精度」「適合率」「再現率」「F値」から選べます。ノイズが増えてもよいので漏れを少なくしたい場合は「再現率」、多少漏れてもよいのでノイズを減らしたい場合は「適合率」を選ぶことをお勧めします。 |
1 または -1）が分かっている公報を保存したデータです。2-3. チューニング結果を反映する
チューニングが終わると、対象特徴量ごとに各値が表示されます。「最適パラメータ」は、チューニング結果にもとづくお勧めの設定です。この設定でよければ、「最適パラメータを反映」をクリックします。
「最適パラメータ」ではない特徴量を使う場合は、対象の行のチェックボックスにチェックを入れて、「チェックしたパラメータを反映」をクリックします。
3. パラメータを初期値に戻す
パラメータを初期値に戻すボタンはありません。初期値に戻すときは、AI分類予測の「学習パラメータ設定」で、次の値を手で入力し、「パラメータ自動調整」にチェックを入れます。
| 項目 | 初期値 |
|---|---|
| 「C: コスト(誤分類許容度)」 | 0.25 |
| 「Sigma: カーネルパラメータ」 | 1 |
| 「パラメータ自動調整」 | チェックあり |
入力欄を空にすると、初期値が薄い文字で表示されます（例：C は 0.25、Sigma は 1.0）。初期値以外の値（チューニングの前に使っていた値）は画面に残らないため、控えておいた値を入力して戻します。
4. 各パラメータの意味
機械学習では、ハイパーパラメータと呼ばれる、チューニングが必要なパラメータがいくつかあります。教師データが少ないうちは自動でパラメータを調整しますが、教師データが1000件を超えると、自動でのパラメータ調整は行われません。
正解のラベルがわかっている教師データの一部を、教師データに追加せずに予測データに追加すると、未知データ（教師データとして与えていないデータ）に対する精度（正解率）を確かめながらパラメータを調整できます。
| 項目 | 意味 |
|---|---|
| C コスト（誤分類許容度） | この値が小さいほど教師データに対しては正解率が高くなりますが、未知データに対しては精度が出にくくなる傾向があります。 |
| Sigma カーネルパラメータ | この値が小さいほど教師データに対しては正解率が高くなりますが、未知データに対しては精度が出にくくなる傾向があります。Sigma は「(セマンティック)」が付く特徴量にしか設定できません。 |
| パラメータ自動調整（チェックボックス） | チェックすると、教師データが1000件以下の場合、C のパラメータだけが自動で調整されます。教師データが1000件を超えると、自動でオフになります。 |
| 精度 | 予測データとして与えたラベルと、AIが予測したラベルの正解率です（正解ラベル数 ÷ 全体ラベル数）。 |
| 対象特徴量 | 分類の対象とする特徴量です。（セマンティック）と付かない特徴量は表記ゆれなどを考慮しないため、より厳密に分類しやすくなる傾向がありますが、教師データが少ないと未知データに対する性能が出にくい傾向があります。（セマンティック）と付く特徴量は表記ゆれなどを吸収して分類するため、精度が高くなる傾向があります。ただし、細かい部分での分類性能がやや落ちる可能性があります。 |
| 教師ラベルの数 | 教師タブで設定した教師データの、ラベルごとの数です。 |
| 教師ラベルの重み | ファイル読み込み、一括編集の保存のときに、教師ラベルの数に応じて自動で重みが調整されます。ラベルごとの数の不均衡を、できるだけ調整します。自動で調整した値でも、ラベルに偏りがありすぎると感じる場合は、重みを変えることでラベルの偏りを調整できることがあります。 |
5. よくある質問
Q. チューニングの前のパラメータに戻せますか？
A. 戻すボタンはありません。初期値に戻す場合は「3. パラメータを初期値に戻す」の値を手で入力します。それ以外の値に戻す場合は、チューニングの前に控えておいた値を「学習パラメータ設定」に入力します。
Q. パラメータチューニングは何回まで実行できますか？
A. 1アカウントあたり直近1週間で50回までです。実行した回数は、パラメータチューニングの画面の「直近1週間の実行回数」で確かめられます。
Q. 多ラベル分類でもパラメータチューニングを使えますか？
A. 多ラベル分類では、パラメータチューニングが正常に動作しません。
Q. チューニング結果の精度と、「予測データ」タブの精度が違います。
A. 数値が異なるケースがあります。理由は学習パラメータチューニング結果の精度と「予測データ」の精度が一致しないをご参照ください。