学習パラメータチューニング結果の精度と「予測データ」の精度が一致しない

学習パラメータチューニングでは、「予測データ」を利用してハイパーパラメータをチューニングして、最適なパラメータを設定することができます。

また、「予測データ」タブでは、正解ラベルが付与されたcsvファイルをインポートすることで、画面下部にように、現在セットされている教師データによる精度/適合率/再現率/F値を確認できます。

このとき、チューニングしたパラメータを反映後、チューニング結果で表示されている精度等の数値と、予測データで表示される精度等の数値が異なるケースがあります。

これは、学習パラメータチューニングの実行後、チューニングしたパラメータを反映すると、再度モデルを学習します。

モデルを再学習すると、 内部的な乱数や小数誤差の計算などに影響され、全く同じ教師データ、同じパラメータでも精度は異なる可能性はあります。

最適パラメータを選択した場合でも、上記と同じ理由で精度等が一致しないこともあります。

また、対象特徴量で「セマンティック」と「セマンティックなし」では精度のぶれやすさが異なる可能性があります。

• Related Articles

• パラメータチューニング

  機械学習では、ハイパーパラメータと呼ばれるチューニングしなければいけないパラメータがいくつか存在します。教師データが少ないうちは自動的にパラメータ調整を行いますが、教師データが1000件を超えると 自動でパラメータ調整は行われません。 正解ラベルがわかっている教師データの一部を教師データに追加せずに予測データに追加することにより、未知データ（教師データとして与えていないデータ）に対する精度（正解率）を検証しながらパラメータを調整することができます。 1. C コスト（誤分類許容度） ...

• パラメータチューニング

  パラメータチューニングでは、AI分類予測で利用するパラメータの最適値を自動で探索し、その最適値を利用することで、予測精度の向上を図ることができます。 パラメータチューニングについては下記リンク記事も合わせてご参照ください。 ・AI分類予測の精度を上げたい ・学習パラメータチューニング結果の精度と「予測データ」の精度が一致しない ＜パラメータチューニングの方法＞ AI分類予測の「パラメータチューニング｣をクリック 「チューニング開始」をクリックすると、チューニングが実行されます。 ...

• 学習パラメータチューニングの制限回数

  「学習パラメータチューニング」についてはサーバー負荷が高いため、実行できる回数が制限されています。 制限回数は、直近1週間で50回/アカウント です。 ※制限回数の上限解放は対応しておりません。

• AI分類予測

  概要 AI分類予測は、予めユーザーがセットした教師データに基づいて、任意の検索結果や母集合について、AIが分類を予測してくれます。例えば、任意の検索結果について、【自社事業に関連する／しない】といった分類や、SDIの新着公報について、【どの開発テーマに関連するか】等、今まで人が公報を読み込んで仕分けしていた作業を、数秒以内でAIが自動で分類し、大幅な作業効率を図ることができます。 ...

• AI分類予測の精度を上げたい

  AI分類予測の精度検証機能やパラメータチューニングを使用することで、精度向上が期待できます。 精度検証用のデータを用意できない場合には、交差検証機能をご利用ください。 交差検証（クロスバリデーション）機能では、構築済み教師データの汎用性を評価することができます。 精度検証機能の詳細は、下記のスライド資料をご参照ください。