パラメータチューニング
パラメータチューニングでは、AI分類予測で利用するパラメータの最適値を自動で探索し、その最適値を利用することで、予測精度の向上を図ることができます。
パラメータチューニングについては下記リンク記事も合わせてご参照ください。
準備するデータ
・教師データ
・予測データ
※「予測データ」は、教師データに登録していない特許で、正解のラベル(1,-1それぞれのラベル)を付与したデータです。
※予測データがない場合でも、「パラメータチューニング」はご利用いただけますが、予測データの利用を推奨しています。
教師データ＆予測データの例
直近１年分のSDIの結果をご用意いただき、
直近1ヶ月分・・・予測データ
それ以外の11か月分・・・教師データ
パラメータチューニングの方法
AI分類予測の「パラメータチューニング｣をクリック
多ラベル分類ではパラメータチューニングが正常に動作しませんのでご注意ください。チューニングに使用するデータ
「教師データの一部」と「予測データ」を選択できます。精度検証用データを「予測データ」に登録している場合は、「予測データ」を選択します。
※「教師データの一部」を選択すると、教師データの一部を「予測データ」にしてパラメータチューニングを行います。
精度検証用データとは
教師データと同様に、事前に人が目で見て正解のラベル「1」or「-1」が分かっている公報が保存されているデータです。
詳細は、こちらをご参照ください。
チューニング対象特徴量
チューニングで利用する対象特徴量を最大10個まで選択できます。
対象特徴量は、「(人が判断する際に)どの項目を読んで判断するか」を目安に選択してみてください。
また、「タイトル/要約/請求の範囲/明細書/審査官キーワード」と「タイトル/要約/請求の範囲/明細書/審査官キーワード(セマンティック)」など、
項目によっては「～(セマンティック)」と付いたものがありますが、「～(セマンティック)」は「類似キーワード」も加味して分類予測を行います。
「～(セマンティック)」が付いている項目と付いていない項目をそれぞれ選択することもお勧めです。
なお、「C : コスト(誤分類許容度)」「Sigma : カーネルパラメータ」「２値優先ラベル」といったハイパーパラメータはチェックが入った状態をお勧めします。
評価値
「精度」「適合率」「再現率」「F値」から選択ができます。
一般的に、「(ノイズが多くなってもいいので)漏れを少なくしたい」場合は、「再現率」、
「(多少漏れても良いが)できるだけノイズを減らしたい」場合は「適合率」を選択することをお勧めします。
設定完了後、「チューニング開始」をクリックすると、チューニングが実行されます。
チューニングが完了すると、対象特徴量ごとに各値が算出されます。
「最適パラメータ」は、チューニング結果に基づくお勧めの設定となりますので、「最適パラメータ」でよければ「最適パラメータを反映」をクリックしてください。
「最適パラメータ」ではない特徴量を選択する場合、対象のチェックボックスにチェックを入れて、「チェックしたパラメータを反映」をクリックしてください。
「学習パラメータチューニング」についてはサーバー負荷が高いため、実行できる回数が制限されています。
制限回数は、直近1週間で50回/アカウント です。
Related Articles
AI分類予測
概要 AI分類予測は、予めユーザーがセットした教師データに基づいて、任意の検索結果や母集合について、AIが分類を予測してくれます。例えば、任意の検索結果について、【自社事業に関連する／しない】といった分類や、SDIの新着公報について、【どの開発テーマに関連するか】等、今まで人が公報を読み込んで仕分けしていた作業を、数秒以内でAIが自動で分類し、大幅な作業効率を図ることができます。 ...学習パラメータチューニング結果の精度と「予測データ」の精度が一致しない
学習パラメータチューニングでは、「予測データ」を利用してハイパーパラメータをチューニングして、最適なパラメータを設定することができます。 また、「予測データ」タブでは、正解ラベルが付与されたcsvファイルをインポートすることで、画面下部にように、現在セットされている教師データによる精度/適合率/再現率/F値を確認できます。 このとき、チューニングしたパラメータを反映後、チューニング結果で表示されている精度等の数値と、予測データで表示される精度等の数値が異なるケースがあります。 ...学習パラメータチューニングの制限回数
「学習パラメータチューニング」についてはサーバー負荷が高いため、実行できる回数が制限されています。 制限回数は、直近1週間で50回/アカウント です。 ※制限回数の上限解放は対応しておりません。予測モデル選択
AI分類予測で使用する予め教師データを設定した作業グループを予測モデルとして選択することできます。 ＜予測モデルの選択＞ AI分類予測の「予測モデル選択」をクリック AI分類予測で使用する作業グループを選択できます。 予め教師データをセットした複数の作業グループの中から、 「メイン」と「プレ」の２つの予測モデルをセットすることで、同時に２つの異なる観点で、予測を結果表示させることが可能です。 メイン＝AIラベル 予測モデルの予測結果 プレ ＝プレAIラベル プレ予測モデルの予測結果 ...番号リストで分類予測
特定の検索結果の番号リストを用いてAI分類予測を行うことができます。 ＜番号リストで分類予測する方法＞ AI分類予測の「番号リストで分類予測｣をクリック 【2値分類】 番号リストで分類予測方法 2値分類用の教師データの入力後、右上部の「番号リストで分類予測」のボタンを選択し｢教師データ設定｣を表示させます。 ※｢教師データ設定｣が表示されている場合は、そのまま下記に進んでください。 「ファイルから読み込み」で、例えばSDIの新着公報のCSVファイルを読み込みます。 ...