當前面的準備工作都已妥善之后，就可以進入模型訓練的步驟，后面的工作就是計算設備的事情了。

4、 執(zhí)行 TAO 模型訓練：

TAO 工具提供提供 QAT (Quantize Aware Training) 量化感知的訓練模式，不過目前 QAT 效果還在驗證當中，倒也不急于使用，因此我們還是以標準模式來訓練，就是將配置文件中 training_config 設置組的 “enable_qat” 參數(shù)設為 “false” 就行，然后直接執(zhí)行指令塊的命令，TAO 就會啟動視覺類容器來執(zhí)行模型訓練任務。

這里提供兩組執(zhí)行訓練所花費的時間參考數(shù)據：

• NVIDIA Qudra RTX A4000/16GB 顯存：48 秒/回合

• NVIDIA RTX-2070/16GB 顯存：67 秒/回合

• 兩張卡一起訓練：40秒/回合

為了更有效率地執(zhí)行，我們可以在training_config設置組里添加 “checkpoint_interval: 10” 參數(shù)，這樣每 10 回合生成一個中間文件，這樣能節(jié)省大約 7GB 的空間?，F(xiàn)在檢查一下所生成的中間模型文件，如下圖所示總共 8 個。

接下去我們看看這 8 個模型的訓練效果如何，因為得挑一個精確度 (mAP) 最好的文件，進行后面的修剪任務。

通常越后面的模型 mAP 值越高，但這不是絕對的，最好是有明確的數(shù)據來做依據，才是比較科學的態(tài)度。在 experiment_dir_unpruned/ssd_training_log_resnet18.csv 提供這些記錄，右鍵點擊文件 -> Open With-> CSVTable 之后，就會看到如下圖的內容。

表中可以看到，越下面模型的 mAP 值越高，這樣就能明確的選擇 “epoch_080” 的模型來進行后續(xù)工作，記得在 “%set_env EPOCH=” 后面填入參數(shù)值，例如要選擇第 80 回合的模型文件，就輸入 “080”，然后繼續(xù)往下進行。

5、評估模型好的訓練：

這個步驟的目的是為了確認模型是否符合要求？有時候可能效果最好的模型，效果還未達到預期目標，如果是這樣的話，就得回到第 4 步驟，以前面找到效果最好的模型，作為遷移選項的預訓練模型，就是將配置文件的 training_config 設置組的 “pretrain_model_path” 改成 ssd_resnet18_epoch_080.tlt 的完整路徑，然后再做 80 回合的訓練。

執(zhí)行評估效果的結構在本指令塊輸出的最下方，如下圖所示。

比對一下這里顯示的精準度，與前面 ssd_training_log_resnet18.csv 記錄的結果是相同的，其實這個步驟是有點冗余，可以忽略！

6、修剪模型：

如果您的模型要放在計算資源充沛的設備上執(zhí)行推理的話，其實后面的步驟是可以省略的，因此修剪模型的目的，是要在精確度維持水平的基礎上將模型進行優(yōu)化，這對 Jetson 這類計算資源吃緊的邊緣設備來說就非常重要，因為這對推理性能有很大的影響，因此要看您所需要執(zhí)行推理的設備是什么，再決定是否要進行修剪。

每個神經網絡都有各自的修剪重點，必須找到對應的說明文件，例如這里對ssd進行修剪，請訪問https://docs.nvidia.com/tao/tao-toolkit/text/object_detection/ssd.html，在里面的 “Pruning the Model” 有非常詳細的參數(shù)說明。

TAO 提供以下 6 種模型修剪的方式，設定值的粗體字為預設值：

• 標準化器 (normalizer)：使用參數(shù) -n，設定值為 “max/L2”；

• 均衡器 (equalization_criterion)：使用參數(shù) -eq，設定值為 “union/ intersection/ arithmetic_mean/geometric_mean”；

• 修剪粒度 (pruning_granularity)：使用參數(shù) -pq，設定值為正整數(shù)，預設值為 8；

• 修剪閾值 (pruning threshold)：使用參數(shù) -pth，設定值為小于 1 的浮點數(shù)，預設值為 0.1；

• 最小數(shù)量過濾器 (min_num_filters)：使用參數(shù) -nf，設定值為正整數(shù)，預設值為 16；

• 排除層 (excluded_layers)：使用參數(shù) -el，設定值為正整數(shù)，預設值為空值（不排除）。

在大家還不熟悉這些參數(shù)用法時，最簡單的方法就是調整閾值 (-pth) 的大小去找到平衡點，通常這個值越高就會損失較大的精度值，模型也會比較更小大。參數(shù)預設值為 0.1，差不多達0.3 已經是極限，再大可能就會讓精準度低于一般要求。

這個步驟會用到 ssd_train_resnet18_kitti.txt 配置文件，修剪完的模型會存放在 -o參數(shù)所指定的目錄，這里是“$USER_EXPERIMENT_DIR/experiment_dir_pruned”，輸出的模型文件名為 “ssd_resnet18_pruned.tlt”，后面的“重新訓練剪裁模型”步驟，就會以這個文件作為遷移學習的訓練基礎。

這個修剪過的模型文件還不能作為部署用途，還得經過下個步驟去重新訓練之后，是我們最終所需要的版本。

7、重新訓練修剪過的模型：

這個步驟與前面的模型訓練幾乎是一樣的，唯一不同的地方就是前面以 NCG 下載的 resnet_18.hdf5 為基礎導入遷移學習的功能，這里是以 ssd_resnet18_pruned.tlt 這個修剪過的文件為基礎，同樣用最前面的數(shù)據集進行訓練。

以這個項目為例，未剪裁模型的大小為 101.7MB，用閾值為 0.1 所剪裁的重新訓練模型大小只剩 22.5MB、閾值為 0.3 所剪裁的模型大小只剩 9.8MB。重新訓練后同樣會生成很多模型文件，同樣查看 experiment_dir_retrain 目錄下面的 ssd_training_log_resnet18.csv，挑出精度最好的一個準備下個評估環(huán)節(jié)。

8、評價重新訓練的模型：

與前面的評估方式一樣，找到效果最好的一個，然后將數(shù)值填入 “%set_envEPOCH=” 里，準備在訓練設備上測試一下推理的效果。

如果修剪后重新訓練的模型精度與未修剪的相差不多，這個模型就可以用來作為后面的推理測試，如果精度差距較大，就得回到第 6 步驟重新執(zhí)行修剪工作與第 7 步驟重新訓練，一直到獲得滿意精度的模型為止。