置信度其實就是模型對自己輸出結果的把握大小，例如一個分類任務，最終模型的輸出會在Softmax函數的作用下，變成一連串的概率，
比如分類到A的概率為80%，B任務的概率為10%以此類推。
那么置信度就是采用概率大于一定數值的結果。
這東西聽上去玄乎，實際上也是一種比較死板的邏輯判斷。
除了這兩種，篩選數據的方法其實還有很多，不過周昀都不滿意，因為這些方法從他們的底層邏輯來看，都沒有達到他想要看到的“智能”。
突然，周昀手指一頓。
如果從另一方面來看，數據篩選，還可以看作是一種數據蒸餾。
數據蒸餾其實很好理解，蒸餾大家都知道，那么數據蒸餾就是通過某種手段將數據集提純的方法。
恰好，周昀發在NeurIPS上的AgileEdge這篇論文里就有一種數據蒸餾的方法，因為想要縮小模型，就等于縮小參數量，兩者之間其實有著異曲同工之妙。
直接拿過來用肯定不行，不過周昀感覺只要稍作修改，應該能達到他想要的效果，因為當初設計這種數據蒸餾方法的時候，就已經著眼于“智能”二字。
內容未完，下一頁繼續閱讀