最新消息
最新消息| 周六直播預告|打破思維慣性,曠視MegEngine告訴你為什麼要思考大... | 2022-06-21 |
| 文章来源：由「百度新聞」平台非商業用途取用"https://www.163.com/dy/article/H2DVOUNJ0511CQLG.html" AIer們，春暖花開時，正是談戀愛、約干飯、求躺平、讀paper、搞代碼、勤思考的大好時機！大家活躍的腦細胞，一定需要一些新鮮的學術討論話題，來為接下來一年的工作、科研創新打下思考的基礎。曠視MegEngine團隊和TechBeat人工智能社區一起，策劃了本場直播交流活動，帶領大家向慣性思維發起挑戰。北京時間本周六（3.19）上午10:00，圍繞“LargeKernelMakesCNNGreatAgain”的主題，帶來三位講者的在線分享。△掃描二維碼，加入曠視MegEngine直播群聊△在深度學習的模型設計領域中，一般認為Conv的kernelsize選擇3x3是最高效、最具性價比的設計。這一認知從VGG論文發布出來的8年以來從未改變過。但擁有敏銳雙眼的大家有沒有注意到，近期，ConvNext、RepLKNet、ConvMixer、MetaFormer等論文都出于模型效果開始選擇了更大的kernelsize，在RepLKNet這一工作進行理論探索和設計的同時，MegEngine團隊也開始思考超大卷積核的高效實現對多種視覺應用的重要意義，對“小kernelsize的運行效率更高”這一根植于模型設計者腦中的思維慣性發起挑戰。想知道ConvNext，RepLKNet為何不約而同將kernelsize增大？想知道更大的kernelsize到底給模型帶來了什麼？想知道MegEngine是如何將31*31的DWconv優化快了10余倍？快來關注本次線上直播活動吧！活動議程及報名方式純粹想看【直播】的同學可以關注B站-曠視天元MegEngine直播間https:datayi.cnwkojmOBWPB站-曠視天元MegEngine直播間二維碼預提問表單已經有問題的同學，可以填寫下方表單，留下你的問題。被選中6個問題，我們將在直播中的QA環節，請講者優先回答，并送上由曠視MegEngine準備的“煉丹眼罩”哦！https:datayi.cnwGRwqVNdo直播獎品直播過程中的提問者，及現場抽獎環節中獎者，將獲得由曠視MegEngine和將門TechBeat準備的周邊禮品！記得要準時收看我們的直播活動哦！分享內容及講者介紹012020年代的卷積網絡（10:05-10:35）講者：劉壯UCBerkeley博士生Talk介紹：VisionTransformer的出現改變了計算機視覺中神經網絡架構的面貌。層級的VisionTransformer重新引入了很多ConvNet中的先驗，進一步獲得了在廣泛視覺任務中的成功。一般大家把Transformer的成功更多地被歸功于自注意力模塊。本分享中我們將一起探索融入Transformer設計的大卷積核ConvNet與最新的VisionTransformer相比如何，以及Transformer的優越性來自于何處。講者介紹：劉壯，加州大學伯克利分校EECS系TrevorDarrell教授研究組的五年級博士生，2017年本科畢業于清華大學姚班。曾在IntelLabs、AdobeResearch和FacebookAIResearch擔任研究實習生，康奈爾大學擔任訪問研究員。主要研究領域是深度學習和計算機視覺，具體主要包括開發和研究準確，高效，可擴展的視覺識別系統。根據谷歌學術的統計，他的學術成果被引用超過25000次。他的工作DenseNet獲得了CVPR2017的最佳論文獎。02超大卷積核架構設計與高效實踐（10:35-11:05）講者：丁霄漢曠視研究院BaseModel組實習生、清華大學博士生Talk介紹：卷積網絡的kernelsize可以多大？答案是：25x25就很好，31x31甚至更好。我們發現卷積網絡的基礎設計維度——kernelsize——對模型的性能特別是分割和檢測等下游任務至關重要。我們提出一種大量采用超大卷積核的模型——RepLKNet，在結構重參數化、depthwise卷積等設計要素的加持下，超大卷積既強又快，在目標檢測和語義分割等任務上超過SwinTransformer而且遠超傳統小卷積模型。這些跡象表明，Transformer性能強悍的本質可能并不在于attention，而在于其大感受野。在部署落地方面，我們提出一種專門為超大卷積核優化的卷積算法以實現大幅加速，所以RepLKNet不但FLOPs低，實際運行也快，對工業應用非常友好。講者介紹：丁霄漢，清華大學博士生，師從丁貴廣副教授，研究領域為神經網絡通用模型、基本工具、基礎理論。在CVPRICCVICMLNeurIPS等會議發表過一系列關于模型設計、優化、壓縮、加速的論文，建立了一個稱為結構重參數化的技術流派和體系。其中，在曠視研究院實習期間的代表作RepVGG已獲得約2100GitHubstars。03MegEngine大kernel工程優化實踐（11:05-11:35）講者：王彪曠視開源深度學習框架MegEngine異構計算組負責人Talk介紹：近期部分優秀學者們提出大的有效感受野可能是Transformer成功更為本質的原因，因此采用大kerneldepthwise卷積有可能是self-attention的一種替代。相比于稠密卷積，普通的depthwise卷積由于算存比過低對硬件并不友好，實際應用中遠達不到硬件的理論峰值。但大kerneldepthwise卷積相比于普通depthwise卷積算存比更高，對硬件更加友好，在理論上為我們提供了優化的可能。MegEngine對大kerneldepthwise卷積做了深入優化，相比于PyTorch(cudnn)最高加速10倍以上，絕對性能在部分情況下可以逼近硬件的理論峰值。在一定程度上打消了大kernel卷積網絡在訓練和部署上的效率疑慮。講者介紹：現任曠視開元深度學習框架MegEngine異構計算組負責人，主要負責曠視MegEngine的推理工作。任職期間完成了MegEngine基于MLIR的即時編譯技術實現等多項技術突破，并落地MegEngineCUDA推理解決方案以及多個端上優化項目。王彪畢業于中科院計算所，研究方向為高性能計算，對X86、Arm、OpenCL、CUDA等多種平臺具備豐富的優化經驗。3月19日周六上午10:00，我們直播間見！如果你也想成為講者▼自薦推薦單人Talk|團隊專場|錄播or直播|閉門交流多種方式任你選擇！推薦講者成功也有獎勵哦~關于TechBeat人工智能社區▼TechBeat(www.techbeat.net)隸屬于將門創投，是一個薈聚全球華人AI精英的成長社區。我們希望為AI人才打造更專業的服務和體驗，加速并陪伴其學習成長。期待這里可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的升級打怪的根據地！更多詳細介紹點擊“閱讀原文”，進入曠視天元MegEngine直播間 關鍵字標籤：獎盃訂製 |
|
 |
|
