# 模型管理

   不论是“可视化建模”，还是“导航式建模”，当任务顺利运行完成时，系统会将训练生成的AI模型储存并展示在“模型管理”的目录结构中。系统会自动在”模型管理“中建立起一个和建模任务同名的目录，并将建模任务中训练的所有模型存储进这一目录中。如果同一任务重复执行出现重名，系统会自动在其后边加数字序号用来区分不同的版本。

   在“模型管理”主页面，我们可以查看模型的训练信息、评价指标，使用更多数据对模型的评价指标进行计算，以及使用模型进行大数据的预测。用户也可以从外部ai_service_model_select，便于在系统中统一管理。

   和“可视化建模”的主页面相似，每列左侧的复选框用于批量删除操作。

![model-manage](../images/model-manage.png)



## 模型详细信息

   点击模型名称，可以弹出展示模型详细信息的窗口。

   第一个页面展示模型的基本信息，包含创建时间、评估得分、二分类阈值，以及训练阶段配置的超参等。

![model-detail](../images/model-detail.png)

   第二个页面 ”输入输出“ 用来记录模型的输入列（即训练时使用的特征列）和输出列（即预测时输出的标签列）。

   第三个页面”训练记录“展示了模型训练过程中的一些详细指标。“模型信息“展示了模型训练完成后得到的一些基本信息。例如图中的随机森林模型，就列出了模型中树的个数、平均深度、平均叶子节点个数等指标。”特征重要性“用柱状图的形式展现了各个特征值在模型给出预测结果时起到的作用大小。”Loss“曲线用折线图展示了随着模型训练时间增长，损失曲线的变化情况。

   对于所有二分类任务，在”训练记录“里还可以看到”评估集PR曲线“和”Gains-Lift曲线“等评价曲线。
   ”模型可视化“是将模型的决策过程用可视化的图像形式展现出来。支持此功能的模型包括分布式随机森林、XGBoost、孤立森林，以及AutoML训练出来的所有决策树类的模型。可以使用”上一个“、”下一个“按钮切换显示的模型，也可以点击图片将其放大显示。

   ![model-detail-tab3-visual](../images/model-detail-tab3-visual.png)

   当前模型是AutoML模型时，”训练记录“会用表格展示训练过程中建立过的所有模型。可以通过左侧的单选框，选择其中一个模型激活使用。点击模型名称，会在表格下方展示出单个模型的详细训练记录，如图所示。（注：在训练模型时可以设置参数"save_model_limit"，评分处在TopN的模型会被保存下来，才能进行切换和查看记录的操作）

   ![model-detail-tab3-automl](../images/model-detail-tab3-automl.png)

   后面三个页面“评估总览”，“KS评价”和“Precision/Recall阈值调整”记录的是使用“机器学习”--“评估”算子得到的评估结果。其中“评估总览”是一些常见的评估参数，如AUC，accuracy，轮廓系数等。

   “KS评价”和“P/R阈值调整”是二分类特有的评估项目，“KS评价”展示了模型的KS评价参数和TPR、FPR曲线。

   ![model-detail-tab4-ks](../images/model-detail-tab4-ks.png)

   ![model-detail-tab4-thres](../images/model-detail-tab4-thres.png)

“Precision/Recall阈值调整”用法如下：

   这里需要用户有一定的机器学习基础知识，懂得“查准率”，“查全率”，“混淆矩阵”的概念。

   选择好正样本后，可以看到各种指标。用户可以根据业务需要，手动调整查准率与查全率的平衡。

   点击“设置为最大Recall”或“设置为最大Precision”按钮，系统会自动计算二者最大值，并将指针自动指向相关位置。

   点击“保存设置”后，如果再次用此模型来预测，系统会根据这里的阈值来做二分类的预测。


## 导入导出模型

  模型管理页面中支持导出训练好的模型，只需点击相应模型右侧的”导出“按钮即可。也可以使用右上角的“ai_service_model_select”按钮，将外部的模型导入到当前系统中。

点击模型列表的”导出“按钮，可以选择导出成LittleBoy平台专用类型，或是导出成PMML格式，可方便地用于跨平台的机器学习模型部署。

![model-export](../images/model-export.png)