Amazon壓縮機器學習模型,功能不變的情況下,將記憶體使用率降低94%,要讓車載系統離線也能用Alexa

Amazon壓縮機器學習模型,要讓車載系統離線也能用Alexa

Amazon使用了壓縮機器學習的新技術,在維持Alexa功能不變的情況下,將記憶體使用率降低94%,而這將能讓Alexa在離線狀態下,仍可以提供部分核心功能,同時也能加速Amazon雲端載入第三方Alexa技能的效率。

Amazon剛釋出了用於開發車內訊息娛樂系統的Alexa SDK(Alexa Auto Software Development Kit),而這個初版的SDK預設汽車系統可以存取雲端系統,以取得機器學習相關功能,但是在未來,Amazon希望支援Alexa的車輛,即便在離線狀態,仍可以使用Alexa的部分核心功能。

另外,第三方開發人員為Alexa開發了超過4萬5千個技能,而只有當用戶明確呼叫該功能時,第三方技能才會被載入到雲端記憶體中,這個過程增加了系統回應延遲。因此Amazon將使用壓縮機器學習模型的方法,縮減模型使用的硬體資源,以解決離線機器學習的需求,同時加速雲端載入第三方技能的速度至毫秒回應時間。

Alexa的自然語言理解系統,在解釋自由形式的話語採用了不同的機器學習模型,不過,這些模型都有其共通點,像是會從輸入的話語中抓取特徵,或是具特定推測價值的字串,Alexa的機器學習模型都常擁有數百萬個特徵。另一個共通點便是,每個特徵都有其權重,用以決定特徵在不同類型計算扮演角色的重要程度,而為數百萬個特徵儲存多重權重,這使得機器學習模型占據大量記憶體。

Amazon透過量化權重的方法,縮減儲存權重的容量,再加上權重相關特徵的特殊映射方法,綜合兩個壓縮演算法,可以讓機器學習模型記憶體使用率降低94%,最重要的是還能保持其性能不變。

🍎たったひとつの真実見抜く、見た目は大人、頭脳は子供、その名は名馬鹿ヒカル!🍏
Forums  ›  新聞話題  ›  商務