交差検証(クロスバリデーション)を使用した教師データの汎化性評価

交差検証(クロスバリデーション)を使用した教師データの汎化性評価

AI分類予測では、教師データの性能を評価するためのパラメータチューニング機能が備わっています。
精度検証機能を利用することで、下図のように、全体の精度と各ラベルの精度が表示され、構築済み教師データの精度を測定することができます。


精度検証機能では、特定のデータに対する精度(上図では、85.7%)を測定することはできますが、他のデータに対しても同等の精度がでるかどうかは分かりません。
検証用のデータセットを複数用意して検証することもできますが、データセットを用意する手間がかかります。
交差検証機能を利用することで、未知のデータに対する汎化性能を評価することができ、構築済み教師データが未知のデータに対しても同等の精度がでるかどうか(汎化性能の高いかどうか)を検証できます。

Alert
現時点では、多ラベル分類は、交差検証機能に対応しておりませんので、予めご了承ください。

交差検証とは

交差検証は、教師データをn個に分割して「テストデータ(未知のデータ)」とし、残りの1-n個を「教師データ」として予測計算を行うことで、性能(精度)を計算します。
この計算を複数回実施して精度検証を行う手法です。

交差検証の利用

1.教師データをセットする

教師データのセット方法は、下記ヘルプをご参照ください。
https://support.patentfield.com/portal/ja/kb/articles/%E6%A9%9F%E8%83%BD%E5%88%A5%E3%81%AE%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%E3%83%9E%E3%83%8B%E3%83%A5%E3%82%A2%E3%83%AB#AI_
https://support.patentfield.com/portal/ja/kb/articles/%E6%A9%9F%E8%83%BD%E5%88%A5%E3%81%AE%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C%E3%83%9E%E3%83%8B%E3%83%A5%E3%82%A2%E3%83%AB#AI_2



2.マイアカウントで、交差検証結果ダウンロードを実行する

マイアカウントページを開いて、「教師データ」タブを選択する。
「交差検証結果ダウンロード」をクリックすると、交差検証の計算処理がされて、計算結果のcsvファイルがダウンロードされます。
*「0.2」の数字は、構築済み教師データにおけるテストデータとして使用する割合を指します。(教師データが100件あれば、20件をテストデータとして、残り80件を教師データとして、予測計算を実行します)
*「シャッフル」は、構築済み教師データのうちテストデータとして使用するデータをランダムで抽出します。チェックを外すと、上位n件をテストデータとして使用します。


3.ダウンロードしたcsvファイルで、結果を確認する

csvファイルの上段では、構築済みの各教師データの検証結果を確認できます。
n:交差検証は、複数回の精度検証を実行しており、n回目の結果を表します。
クエリ:テストデータとして選択された教師データ(クエリ)が表示されます。
AI教師ラベル:構築済み教師データで設定されている教師ラベルが表示されます。
AI予測ラベル:交差検証による予測結果のラベルが表示されます。
AI予測スコア:交差検証による予測スコアが表示されます。
AI予測ラベル候補:交差検証による予測ラベル候補が表示されます。(全ラベルのうち、予測スコアの高い上位5件のラベルが候補として表示)
AI予測ラベル候補スコア:交差検証による予測ラベル候補のスコアが表示されます。



CSVファイルの下段では、全体の平均精度と各ラベルの精度を確認できます。
n:n回目の精度検証結果を表します。
精度:n回目の平均精度が表示されます。
ラベル名:ラベルごとの正答率(精度)が表示されます。



交差検証結果のチェックポイント

・下段の「精度」を確認して、n回(1~5)の精度がバラついていないか。精度がバラついている場合は、汎化性能が低く、教師データの件数を増やすことをお勧めします。
下段の「精度」を確認して、n回(1~5)の精度は許容範囲か。精度がバラついてはいないが、n回すべての精度が低い場合は、教師データの件数を増やす等の底上げの検討をお勧めします。
・下段の「各ラベル」の精度を確認して、n回(1~5)の精度がバラついていないか。精度がバラついているラベルがある場合は、汎化性能が低く、そのラベルの教師データの件数を増やす等の対策の検討をお勧めします。
・下段の「各ラベル」の精度を確認して、n回(1~5)の精度は許容範囲か。精度がバラついてはいないが、n回すべての精度が低い場合は、そのラベルの教師データの件数を増やす等の底上げの検討をお勧めします。
教師データの件数を増やしても改善されない場合
・上段の「AI教師ラベル」と「AI予測ラベル」が不一致のものを抽出して、教師データの公報等の内容を確認して、そもそもラベルが正しいかどうかチェックする。