基于Transformer結(jié)構(gòu)增強(qiáng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索性能預(yù)測(cè)器

摘要： 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural Architecture Scarch,NAS)作為一種通過(guò)搜索算法設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法,在計(jì)算機(jī)視覺和自然語(yǔ)言處理等領(lǐng)域得到廣泛應(yīng)用,相較于人工設(shè)計(jì)網(wǎng)絡(luò),NAS方法可以減少設(shè)計(jì)成本并提高模型性能.但是NAS的性能評(píng)估需要對(duì)候選架構(gòu)進(jìn)行大量訓(xùn)練,由此帶來(lái)的計(jì)算量占整個(gè)NAS的80%以上.為降低計(jì)算開銷和時(shí)間成本,近年來(lái)已提出許多基于Transf... （共16頁(yè)）