パラメータチューニング
パラメータチューニングでは、AI分類予測で利用するパラメータの最適値を自動で探索し、その最適値を利用することで、予測精度の向上を図ることができます。
パラメータチューニングについては下記リンク記事も合わせてご参照ください。
準備するデータ
・教師データ
・予測データ
※「予測データ」は、教師データに登録していない特許で、正解のラベル(1,-1それぞれのラベル)を付与したデータです。
※予測データがない場合でも、「パラメータチューニング」はご利用いただけますが、予測データの利用を推奨しています。
教師データ＆予測データの例
直近１年分のSDIの結果をご用意いただき、
直近1ヶ月分・・・予測データ
それ以外の11か月分・・・教師データ
パラメータチューニングの方法
AI分類予測の「パラメータチューニング｣をクリック
多ラベル分類ではパラメータチューニングが正常に動作しませんのでご注意ください。チューニングに使用するデータ
「教師データの一部」と「予測データ」を選択できます。精度検証用データを「予測データ」に登録している場合は、「予測データ」を選択します。
※「教師データの一部」を選択すると、教師データの一部を「予測データ」にしてパラメータチューニングを行います。
精度検証用データとは
教師データと同様に、事前に人が目で見て正解のラベル「1」or「-1」が分かっている公報が保存されているデータです。
詳細は、こちらをご参照ください。
チューニング対象特徴量
チューニングで利用する対象特徴量を最大10個まで選択できます。
対象特徴量は、「(人が判断する際に)どの項目を読んで判断するか」を目安に選択してみてください。
また、「タイトル/要約/請求の範囲/明細書/審査官キーワード」と「タイトル/要約/請求の範囲/明細書/審査官キーワード(セマンティック)」など、
項目によっては「～(セマンティック)」と付いたものがありますが、「～(セマンティック)」は「類似キーワード」も加味して分類予測を行います。
「～(セマンティック)」が付いている項目と付いていない項目をそれぞれ選択することもお勧めです。
なお、「C : コスト(誤分類許容度)」「Sigma : カーネルパラメータ」「２値優先ラベル」といったハイパーパラメータはチェックが入った状態をお勧めします。
評価値
「精度」「適合率」「再現率」「F値」から選択ができます。
一般的に、「(ノイズが多くなってもいいので)漏れを少なくしたい」場合は、「再現率」、
「(多少漏れても良いが)できるだけノイズを減らしたい」場合は「適合率」を選択することをお勧めします。
設定完了後、「チューニング開始」をクリックすると、チューニングが実行されます。
チューニングが完了すると、対象特徴量ごとに各値が算出されます。
「最適パラメータ」は、チューニング結果に基づくお勧めの設定となりますので、「最適パラメータ」でよければ「最適パラメータを反映」をクリックしてください。
「最適パラメータ」ではない特徴量を選択する場合、対象のチェックボックスにチェックを入れて、「チェックしたパラメータを反映」をクリックしてください。
「学習パラメータチューニング」についてはサーバー負荷が高いため、実行できる回数が制限されています。
制限回数は、直近1週間で50回/アカウント です。