Hugging Face Blog·· 10 天前
Profiling TorchNeuron (Part 1): AWS Trainium 系统级性能分析指南
Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.
原始来源:Hugging Face Blog阅读原始报道
AI 导读
本文介绍如何使用 TorchNeuron 对 AWS Trainium 芯片上的模型推理性能进行系统级分析。文章以 RMSNorm 为例,演示了通过 torch.profiler 配合 NeuronConfig 捕获设备和运行时痕迹,并利用 Neuron Explorer 追踪操作从框架调度到硬件执行的全过程。
来源:Hugging Face Blog · huggingface.co