{
  "measurementDate": "2026-10-12",
  "location": "server CPU",
  "seed": 42,
  "python": "3.11.17",
  "knownFixedComparisonData": true,
  "versions": {
    "numpy": "2.4.6",
    "scipy": "1.16.2",
    "sklearn": "1.7.2",
    "xgboost": "3.1.1"
  },
  "features": {
    "analyzer": "char",
    "ngramRange": [
      1,
      3
    ],
    "vocabulary": 1056,
    "fitSplit": "train"
  },
  "modelParameters": {
    "パーセプトロン": {
      "alpha": 0.0001,
      "class_weight": null,
      "early_stopping": false,
      "eta0": 1.0,
      "fit_intercept": true,
      "l1_ratio": 0.15,
      "max_iter": 1000,
      "n_iter_no_change": 5,
      "n_jobs": null,
      "penalty": null,
      "random_state": 42,
      "shuffle": true,
      "tol": 0.0001,
      "validation_fraction": 0.1,
      "verbose": 0,
      "warm_start": false
    },
    "多層ネット（MLP）": {
      "activation": "tanh",
      "alpha": 0.01,
      "batch_size": "auto",
      "beta_1": 0.9,
      "beta_2": 0.999,
      "early_stopping": false,
      "epsilon": 1e-08,
      "hidden_layer_sizes": [
        24
      ],
      "learning_rate": "constant",
      "learning_rate_init": 0.001,
      "max_fun": 15000,
      "max_iter": 1000,
      "momentum": 0.9,
      "n_iter_no_change": 10,
      "nesterovs_momentum": true,
      "power_t": 0.5,
      "random_state": 42,
      "shuffle": true,
      "solver": "lbfgs",
      "tol": 0.0001,
      "validation_fraction": 0.1,
      "verbose": false,
      "warm_start": false
    },
    "決定木": {
      "ccp_alpha": 0.0,
      "class_weight": null,
      "criterion": "gini",
      "max_depth": 6,
      "max_features": null,
      "max_leaf_nodes": null,
      "min_impurity_decrease": 0.0,
      "min_samples_leaf": 1,
      "min_samples_split": 2,
      "min_weight_fraction_leaf": 0.0,
      "monotonic_cst": null,
      "random_state": 42,
      "splitter": "best"
    },
    "XGBoost（45例）": {
      "objective": "multi:softprob",
      "base_score": null,
      "booster": null,
      "callbacks": null,
      "colsample_bylevel": null,
      "colsample_bynode": null,
      "colsample_bytree": null,
      "device": null,
      "early_stopping_rounds": null,
      "enable_categorical": false,
      "eval_metric": "mlogloss",
      "feature_types": null,
      "feature_weights": null,
      "gamma": null,
      "grow_policy": null,
      "importance_type": null,
      "interaction_constraints": null,
      "learning_rate": 0.15,
      "max_bin": null,
      "max_cat_threshold": null,
      "max_cat_to_onehot": null,
      "max_delta_step": null,
      "max_depth": 3,
      "max_leaves": null,
      "min_child_weight": null,
      "missing": "NaN",
      "monotone_constraints": null,
      "multi_strategy": null,
      "n_estimators": 80,
      "n_jobs": 2,
      "num_parallel_tree": null,
      "random_state": 42,
      "reg_alpha": null,
      "reg_lambda": null,
      "sampling_method": null,
      "scale_pos_weight": null,
      "subsample": null,
      "tree_method": "hist",
      "validate_parameters": null,
      "verbosity": null
    }
  },
  "smallModelParameters": {
    "objective": "multi:softprob",
    "base_score": null,
    "booster": null,
    "callbacks": null,
    "colsample_bylevel": null,
    "colsample_bynode": null,
    "colsample_bytree": null,
    "device": null,
    "early_stopping_rounds": null,
    "enable_categorical": false,
    "eval_metric": "mlogloss",
    "feature_types": null,
    "feature_weights": null,
    "gamma": null,
    "grow_policy": null,
    "importance_type": null,
    "interaction_constraints": null,
    "learning_rate": 0.15,
    "max_bin": null,
    "max_cat_threshold": null,
    "max_cat_to_onehot": null,
    "max_delta_step": null,
    "max_depth": 3,
    "max_leaves": null,
    "min_child_weight": null,
    "missing": "NaN",
    "monotone_constraints": null,
    "multi_strategy": null,
    "n_estimators": 80,
    "n_jobs": 2,
    "num_parallel_tree": null,
    "random_state": 42,
    "reg_alpha": null,
    "reg_lambda": null,
    "sampling_method": null,
    "scale_pos_weight": null,
    "subsample": null,
    "tree_method": "hist",
    "validate_parameters": null,
    "verbosity": null
  },
  "classification": [
    {
      "name": "XGBoost（9例）",
      "split": "test",
      "correct": 10,
      "total": 18,
      "accuracy": 0.5555555555555556,
      "invalid": 0,
      "predictionSeconds": 0.035538800060749054,
      "trainSeconds": 0.043339865980669856,
      "confusionMatrix": [
        [
          5,
          0,
          1,
          0
        ],
        [
          1,
          5,
          0,
          0
        ],
        [
          2,
          4,
          0,
          0
        ],
        [
          0,
          0,
          0,
          0
        ]
      ],
      "cases": [
        {
          "text": "今月の利用料について内訳を教えてください",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "二回お金が引き落とされているので返してほしい",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "ログインは問題ありませんが、請求の金額がおかしいです",
          "expected": 0,
          "predicted": 2,
          "correct": false
        },
        {
          "text": "保存はできるので、有料プランを解約したいです",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "法人名義の領収書が必要です",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "支払いに使うカードを別のものにしたい",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "自分のアカウントに入るための合言葉を忘れました",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "料金ではなく、サインインについて相談したいです",
          "expected": 1,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "確認用の数字がメールに届かずアカウントに入れません",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "アプリは起動しますが、本人確認で拒否されます",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "以前の携帯をなくし二段階認証できません",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "ログイン時にIDが違うと言われます",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "ログインは成功しましたが、一覧画面が空白です",
          "expected": 2,
          "predicted": 1,
          "correct": false
        },
        {
          "text": "請求は正常なので、ファイルを開けない問題を解決したい",
          "expected": 2,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "検索結果を印刷する方法を教えてください",
          "expected": 2,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "動画を見ていると途中でアプリが終了します",
          "expected": 2,
          "predicted": 1,
          "correct": false
        },
        {
          "text": "アップロードした画像が横向きになります",
          "expected": 2,
          "predicted": 1,
          "correct": false
        },
        {
          "text": "保存ボタンを押すと反応がなくなります",
          "expected": 2,
          "predicted": 1,
          "correct": false
        }
      ],
      "trainIndices": [
        0,
        1,
        2,
        15,
        16,
        17,
        30,
        31,
        32
      ],
      "vocabulary": 218
    },
    {
      "name": "XGBoost（45例）",
      "split": "test",
      "correct": 11,
      "total": 18,
      "accuracy": 0.6111111111111112,
      "invalid": 0,
      "predictionSeconds": 0.035344674019142985,
      "trainSeconds": 0.21630975510925055,
      "confusionMatrix": [
        [
          3,
          1,
          2,
          0
        ],
        [
          1,
          5,
          0,
          0
        ],
        [
          2,
          1,
          3,
          0
        ],
        [
          0,
          0,
          0,
          0
        ]
      ],
      "cases": [
        {
          "text": "今月の利用料について内訳を教えてください",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "二回お金が引き落とされているので返してほしい",
          "expected": 0,
          "predicted": 2,
          "correct": false
        },
        {
          "text": "ログインは問題ありませんが、請求の金額がおかしいです",
          "expected": 0,
          "predicted": 1,
          "correct": false
        },
        {
          "text": "保存はできるので、有料プランを解約したいです",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "法人名義の領収書が必要です",
          "expected": 0,
          "predicted": 2,
          "correct": false
        },
        {
          "text": "支払いに使うカードを別のものにしたい",
          "expected": 0,
          "predicted": 0,
          "correct": true
        },
        {
          "text": "自分のアカウントに入るための合言葉を忘れました",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "料金ではなく、サインインについて相談したいです",
          "expected": 1,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "確認用の数字がメールに届かずアカウントに入れません",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "アプリは起動しますが、本人確認で拒否されます",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "以前の携帯をなくし二段階認証できません",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "ログイン時にIDが違うと言われます",
          "expected": 1,
          "predicted": 1,
          "correct": true
        },
        {
          "text": "ログインは成功しましたが、一覧画面が空白です",
          "expected": 2,
          "predicted": 1,
          "correct": false
        },
        {
          "text": "請求は正常なので、ファイルを開けない問題を解決したい",
          "expected": 2,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "検索結果を印刷する方法を教えてください",
          "expected": 2,
          "predicted": 0,
          "correct": false
        },
        {
          "text": "動画を見ていると途中でアプリが終了します",
          "expected": 2,
          "predicted": 2,
          "correct": true
        },
        {
          "text": "アップロードした画像が横向きになります",
          "expected": 2,
          "predicted": 2,
          "correct": true
        },
        {
          "text": "保存ボタンを押すと反応がなくなります",
          "expected": 2,
          "predicted": 2,
          "correct": true
        }
      ]
    }
  ]
}