。

采樣策略包括以下常見采樣方法：

樣本均衡采樣：此方法是最常見的，即每個訓(xùn)練樣本都有相等的機會概率要選擇，即上式中的q = 1。 分類均衡采樣：每個分類具有相同的選擇概率，即每個分類均等選擇，然后從該分類中選擇樣本，即上式中的q = 0。 平方根采樣：本質(zhì)上，它是前兩種采樣方法的變體，通常將概率公式中的Q設(shè)置為0.5。 漸進(jìn)式平衡采樣：根據(jù)訓(xùn)練中的迭代次數(shù)t（時期），引入一種新的采樣模式，其中同時引入IB和CB采樣并調(diào)整適當(dāng)?shù)臋?quán)重。 公式為

，其中t是數(shù)據(jù)集訓(xùn)練迭代的總數(shù)。

分類器學(xué)習(xí)

分類器學(xué)習(xí)本研究還研究并概括了單獨分類器的訓(xùn)練：

再訓(xùn)練分類器（CTRT）：保持表示固定，隨機重新初始化分類器并對其進(jìn)行訓(xùn)練。 最近類別均值分類器（NCM）：首先計算所學(xué)習(xí)的每個類別特征的平均值，然后執(zhí)行最近鄰居搜索以確定該類別。 τ-歸一化分類器：作者建議使用此方法對歸類器中的分類邊界進(jìn)行重新歸一化，以實現(xiàn)平衡。

實驗結(jié)果

通過以上觀察和學(xué)習(xí)分裂，本研究在幾個公共長尾分類數(shù)據(jù)集中修改了頭類和尾類分類的決策邊界，并采用了不同的采樣策略進(jìn)行交叉訓(xùn)練實驗。 下圖顯示了不同分類器之間的比較結(jié)果：同時，在地點LT，Imagenet LT和inarialist 2018的三個開放標(biāo)準(zhǔn)數(shù)據(jù)集上，本研究中提出的策略也實現(xiàn)了比分類器更高的分類精度。 去年同期，并取得了新的SOTA結(jié)果：

通過各種比較實驗，該研究獲得了以下觀察結(jié)果：

1解耦表示學(xué)習(xí)和分類在這兩個過程中均取得了很好的結(jié)果，并打破了人們固有的“ 樣本均衡采樣的最佳學(xué)習(xí)效果，具有長尾分類的最通用特征表示。 重新調(diào)整分類邊界以實現(xiàn)具有長尾巴分布的物體識別非常有效。

3。 將本研究提出的解耦學(xué)習(xí)規(guī)則應(yīng)用于傳統(tǒng)網(wǎng)絡(luò)（如resnext）仍然可以取得良好的效果，這表明該策略對于長尾分類確實具有一定的指導(dǎo)意義。

這項研究針對行業(yè)和學(xué)術(shù)界經(jīng)常遇到的長尾樣本分類問題，并建議解構(gòu)傳統(tǒng)的“分類器表示的聯(lián)合學(xué)習(xí)”范式，這從另一個角度提供了新的思路：調(diào)整分類 表示空間中的邊界可能是一種更有效的方法。

是一個新的研究思路，實驗結(jié)果也具有代表性。 對于研究長尾巴分類的學(xué)者或工業(yè)工程師而言，除了在傳統(tǒng)采樣模式下“為表層添加更多水，為表層添加更多水”的經(jīng)驗之外，這還提供了其他思路。 目前，該研究的相關(guān)代碼已在GitHub上開源，感興趣的讀者可以下載它以進(jìn)行更多嘗試。

代碼實現(xiàn)

研究人員在GitHub項目中提供了相應(yīng)的培訓(xùn)代碼和必要的培訓(xùn)步驟。 整個代碼是相對基本的分類訓(xùn)練代碼，易于實現(xiàn)。 至于遞歸模型的訓(xùn)練，筆者還提出了一些注意點。

1。 在表示學(xué)習(xí)階段，網(wǎng)絡(luò)結(jié)構(gòu)（例如，在全局池化之后，不需要額外的完整連接層），超級參數(shù)選擇，學(xué)習(xí)率與批處理大小之間的關(guān)系與常規(guī)分類問題（例如Imagenet）一致 ，以確保表征學(xué)習(xí)的質(zhì)量。 類均衡采樣：使用多GPU實現(xiàn)時，需要考慮使每個設(shè)備具有更均衡的類采樣，以避免卡上的采樣類型太單一，從而進(jìn)行BN的參數(shù)估計 不準(zhǔn)確。 漸進(jìn)均衡采樣：為了提高采樣速度，采樣方法可以分為兩步。 第一步是從類別中選擇所需的類別，第二步是從相應(yīng)類別中隨機選擇樣本。

在分類器學(xué)習(xí)階段重新學(xué)習(xí)分類器（CTRT）：在學(xué)習(xí)階段隨機重新初始化分類器或繼承該特征以表示分類器。 重點是確保將學(xué)習(xí)率重置為初始大小并選擇余弦學(xué)習(xí)率。 Tau歸一化：在驗證集上選擇τ。 如果沒有可以從訓(xùn)練集中模仿平衡驗證集的驗證集，請參閱原始論文的附錄B.5。 學(xué)習(xí)參數(shù)縮放（LWS）：學(xué)習(xí)速率的選擇與CTRT相同。 在學(xué)習(xí)過程中，應(yīng)該固定分類器參數(shù)，并且僅應(yīng)學(xué)習(xí)縮放因子。

這是機器的心臟。 請聯(lián)系官方帳戶進(jìn)行授權(quán)。