学習パラメータチューニング結果の精度と「予測データ」の精度が一致しない

学習パラメータチューニングでは、「予測データ」を利用してハイパーパラメータをチューニングして、最適なパラメータを設定することができます。

また、「予測データ」タブでは、正解ラベルが付与されたcsvファイルをインポートすることで、画面下部にように、現在セットされている教師データによる精度/適合率/再現率/F値を確認できます。

このとき、チューニングしたパラメータを反映後、チューニング結果で表示されている精度等の数値と、予測データで表示される精度等の数値が異なるケースがあります。

これは、学習パラメータチューニングの実行後、チューニングしたパラメータを反映すると、再度モデルを学習します。

モデルを再学習すると、 内部的な乱数や小数誤差の計算などに影響され、全く同じ教師データ、同じパラメータでも精度は異なる可能性はあります。

最適パラメータを選択した場合でも、上記と同じ理由で精度等が一致しないこともあります。

また、対象特徴量で「セマンティック」と「セマンティックなし」では精度のぶれやすさが異なる可能性があります。

• Related Articles

• パラメータチューニング

  パラメータチューニングでは、AI分類予測で利用するパラメータの最適値を自動で探索し、その最適値を利用することで、予測精度の向上を図ることができます。 パラメータチューニングについては下記リンク記事も合わせてご参照ください。 ・学習パラメータチューニング結果の精度と「予測データ」の精度が一致しない 準備するデータ ・教師データ ・予測データ ※「予測データ」は、教師データに登録していない特許で、正解のラベル(1,-1それぞれのラベル)を付与したデータです。 ...

• 学習パラメータチューニングの制限回数

  「学習パラメータチューニング」についてはサーバー負荷が高いため、実行できる回数が制限されています。 制限回数は、直近1週間で50回/アカウント です。 ※制限回数の上限解放は対応しておりません。

• AI分類予測

  概要 AI分類予測は、予めユーザーがセットした教師データに基づいて、任意の検索結果や母集合について、AIが分類を予測してくれます。例えば、任意の検索結果について、【自社事業に関連する／しない】といった分類や、SDIの新着公報について、【どの開発テーマに関連するか】等、今まで人が公報を読み込んで仕分けしていた作業を、数秒以内でAIが自動で分類し、大幅な作業効率を図ることができます。 ...

• かんたん３ステップAI分類予測

  トップページ より、以下のフォーマットで教師データファイルと予測データファイルを用意するだけで、すぐにAI分類予測を行うことができます。 1. 教師データファイル読込 以下のような１列目に番号、２列目に任意のラベル名を付与した番号リストを用意します。多値分類の場合、任意のラベル名、２値分類の場合、1か-1を付与します。カンマ区切りかタブ区切り、どちらでも構いません。 サンプル教師データファイル 2. 予測データファイル読込 ...

• AI分類予測の教師データサンプル

  以下の教師データサンプルを利用して、AI分類予測機能をお試しいただけます。 2値分類_教師データサンプル.csv 多値分類_教師データサンプル.csv 予測データサンプルを利用することで、AI分類予測の精度検証機能や交差検証機能をお試しいただけます。 2値分類_予測データサンプル.csv 多値分類_予測データサンプル.csv