深度學習確實對人工智能起到了巨大的推動作用,但同時,其也存在著天生的缺陷。一直以來,人工智能都依賴大量的數據進行模型訓練,但這帶來了過度收集個人數據、數據標注工作量大,數據領域存在“數據孤島”等問題。 深度學習是基于大數據,通過多層網絡實現對“抽象概念”的理解,數據越多其效果相應就越好。而對于人類來說,推理是一項天生技能,只需要從少量數據樣本中學習,利用特征+推理的方法往往就可以進行有效的判別,這就是人類舉一反三的能力,即便沒有過去的知識積累,專業知識欠缺,也有 “照貓畫虎”的可能性。從這個角度來說,以深度學習為核心的人工智能還遠遠不及人類,人類面對陌生環境依然能夠通過學習做出適應變化。因此,“類人智能學習”首先要解決深度學習的這種弊端,即不依賴大數據也能進行自我學習。目前,基于小數據算法應用于長尾的應用場景已是國內平臺公司和創新型公司不斷深入的新興領域。比如:在城市治理方面,商湯在共享單車違停、亂丟垃圾檢測以及遛狗合規性洞察等小眾、長尾需求等方面的嘗試;早在 2020 年,商湯已開始聚焦長尾應用,在世界人工智能大會上商湯用了很大篇幅介紹其 AI 長尾應用。另一家典型的小數據算法公司創新奇智,近幾年在智能制造、AI 質檢等制造業領域,實現了 AI 場景化落地的突飛猛進。
隨著深度學習的蓬勃發展,特別是 CNN(卷積神經網絡)在視覺任務上取得的巨大成功,許多 FSL 研究者開始將目光從非深度模型轉向深度模型。2015 年,G.Koch 等人率先將深度學習納入 FSL 問題的解決方案中,提出了基于孿生卷積網絡CNN(Siamese CNN),對成對的樣例進行無相關類別的相似性度量學習(Metriclearning),這標志著 FSL 新時代的開始,即深度階段。之后,FSL 方法充分利用了深度神經網絡在特征表示和端到端模型優化方面的優勢,從各個不同角度解決 FSL問題,包括數據增強、度量學習和元學習等,將 FSL 研究推向快速發展的新時期。在深度階段盡管也提出過一些基于生成模型的方法,比如神經統計學和順序生成模型,但基于分類模型的 FSL 方法主導了 FSL 研究的發展。近年來,涌現了大量基于元學習的 FSL 方法,如 O.Vinyals 等人的匹配網絡、C.Finn 等人的 MAML、S.Ravi 和H.Larochelle 的元學習 LSTM、a.Santoro 等人的 MANN、T.Munkhdalai 和 H.Yu 的MetaNet、J.Snell 等人的原型網、F.Song 和 H.Li 等人的 LGM Nets 等等,元學習策略已成為 FSL 的主流。在這個時期,各種先進的 FSL 方法已被直接應用或改進,以解決計算機視覺、自然語言處理、音頻和語音、數據分析、機器人等領域的各種應用,而廣義 FSL 和多模態 FSL 也已經出現。
