首頁 > 新聞資訊 作者：Arm 工程部應用機器學習總監 Robert Elliott
Arm? 攜手 Meta 在 ExecuTorch[1] 中引入了對 Arm 平臺的支持[2]，ExecuTorch 是一個全新的端到端解決方案，為 PyTorch 實現設備上的人工智能 (AI)。
與多數企業一樣，Arm 極力支持高效、簡潔的 AI 開發流程，并努力確保各種最新發布、性能卓越的 PyTorch 模型能在 Arm 的平臺上順利運行。
雖然歷來 PyTorch 都是許多研究團隊搭建新神經網絡的首選平臺，但要將這些工作負載轉換為可在 Arm 平臺上高效運行的負載，卻是一個高強度的手動流程。受限于將網絡導出的工作流程，以及各種機器學習 (ML) 運算的長尾碎片效應，導致了將其部署到系統資源相對有限的嵌入式系統的難度。
隨著 Meta 發布了以 PyTorch 2.0[3] 這一重大發展為基礎的 ExecuTorch 代碼庫，使得先進的神經網絡能在更大范圍內（從服務器領域的 Arm CPU，到移動領域的 CPU 和 GPU，再到嵌入式應用中的?Cortex?-M 微處理器和?Ethos?-U NPU），更易于捕捉和調試運行。?
我們與 Meta 緊密合作，基于我們在 TOSA（用于捕獲神經網絡）[4]和 Ethos NPU[5]（用于加速移動平臺和嵌入式平臺上的關鍵 ML 工作負載）方面的巨大投入，推動 ExecuTorch 初步展開對采用 Arm 架構芯片的支持。?
近期，我們發布了 ExecuTorch 的 TOSA 編譯流程和運行時代理[6]，并為 Ethos-U55 提供了原型支持，使圖形能從 PyTorch python 環境直接導出到支持 Ethos-U 的平臺，如 Arm Corstone?-300[7]。?
我們期待著這項工作的持續開展，以便在一系列的 ML 用例中實現高效的輸出路徑。?
這對開發者意味著什么？
對典型的 PyTorch 用戶來說，這意味著可以將少量但不斷增加的神經網絡作為獨立模型捕獲，并在采用基于 Cortex-M 和 Ethos-U 的平臺上高效運行。?
這由三個主要部分組成：
1）可將神經網絡作為獨立文件捕獲的提前流程。下圖是簡化的導出視圖。有關更多信息，詳見導出至 ExecuTorch 文檔[8]。?
2）設備上的 ExecuTorch 運行時可將工作分派給 Cortex-M 和 Ethos-U。
3）ExecuTorch API 提供了部分代理圖形和全套 CPU 運算符的功能，允許逐步將負載分流到 Ethos-U。這對于神經網絡的開發及其向邊緣設備的過渡非常有利。
例如，TOSA/Ethos-U55 流程不需要一次性編譯整個圖形，可以逐步增加支持。這對于處理大型復雜圖形尤其有用。
這種靈活性對 PyTorch 的用戶也有直接的好處。利用一致的 ExecuTorch API，用戶可以編譯和部署模型，而在底層，圖形的某些部分可以盡可能地指派給功能強大的 Ethos-U55 執行，而圖形的其余部分仍然可以在 Arm CPU 上執行。這樣可以快速迭代和覆蓋模型，提高性能，而無需修改用戶代碼，從而提升開發者的體驗。
上述流程的簡單示例
它可以簡單到只需在 python 中的現有 PyTorch 模型中添加少量行，就能以 .pte 文件的形式捕獲模型的完整表示。
對新模型開發至關重要的是，這個流程的開發不僅適用于標準的神經網絡，也適用于為處理其他工作負載而編寫的自定義 torch.nn.Module。
有關在?Corstone-300 或其他支持 Ethos 的平臺上部署此功能的詳細示例和文檔，可以參考此示例應用[9]，它可以嵌入導出的 .pte 文件，并在 Ethos-U55 NPU 上執行。
量化
許多 Arm 平臺需要通過量化來實現 Ethos 加速或新 CPU 指令的全部性能優勢，因此我們也會努力引入符合 TOSA 標準的量化和圖形消耗。借助 ExecuTorch EXIR 圖形基礎結構，我們能夠輕松地解析整個量化圖形，并讀取所需的量化信息，以便在 TOSA 量化降低[10]的過程中計算重新縮放參數。?
在 PyTorch FX 圖到 TOSA 的初始量化支持中，我們使用了新的 PyTorch 2 導出訓練后量化 (PyTourch 2 Export Post-Training Quantization)[11] 來獲取 MobileNetV2 的量化示例，其中涵蓋了大多數常見運算符，例如 Add、Linear、Convolution 和 ReLU。由于其 API 非常簡單，只需三至四行代碼，就能使用從 XNNPACK 量化器子類化的 TOSA 量化流來實現量化步驟。為了支持更復雜的圖形，還可以構建自定義量化器[12]，以滿足大多數神經網絡模型的需要。??
這些圖形自然會進入 Ethos-U 編譯器[13]，生成可在 Ethos-U 硬件上直接執行的模型。?
MobileNetV2 的簡單示例 (PyTorch->TOSA->Vela) 顯示了在符合 TOSA 標準的神經網絡加速器硬件上運行 PyTorch 量化模型的可行性和簡易性。在接下來的工作中，Arm、Meta 和廣大的 PyTorch 社區將繼續為從 PyTorch 到 TOSA 的運算符降低提供更多支持。與此同時，Arm 會繼續開發支持 TOSA 的新流程，為添加新的編譯目標提供可靠的方法。
下一步是什么？
Arm 期待與 Meta 密切合作，增加更多的神經網絡和運算符，擴大對 ExecuTorch 全套功能的支持。我們期待在未來，可以通過 PyTorch 和 ExecuTorch 輕松開發出機器學習模型，讓 TOSA 可以無縫部署到數十億臺基于 Arm 架構的設備上。
歡迎查看我們提供的演示[14]，了解使用 PyTorch 和 ExecuTorch 通過 TOSA 將圖表導出到 Arm 平臺的可能性，并與我們分享您的想法。
（文章來源公眾號：Arm社區）
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
關于28quan官網電子
上海28quan官網電子技術有限公司是國內資深的研發工具軟件提供商，公司成立于2009年，面向中國廣大的制造業客戶提供研發、設計、管理過程中使用的各種軟件開發工具，致力于幫助客戶提高研發管理效率、縮短產品設計周期，提升產品可靠性。
十多年來，先后與ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立戰略合作伙伴關系，并作為他們在中國區的主要分銷合作伙伴服務了數千家中國本土客戶，為客戶提供從芯片級開發工具、EDA設計工具、軟件編譯以及測試工具、結構設計工具、仿真工具、電氣設計工具、以及嵌入式GUI工具等等。28quan官網電子憑借多年的經驗積累，真正的幫助客戶實現了讓研發更簡單、更可靠、更高效的目標。
歡迎關注“28quan官網電子”公眾號
了解更多研發工具軟件知識
