„ML in einer Minute“ ist unsere Gesprächsreihe zur Beantwortung von Fragen zum maschinellen Lernen. Sie haben Fragen, die Sie beantwortet haben möchten? Twittern Sie uns .
Was ist TensorRT (in 60 Sekunden oder weniger)?
TensorRT ist ein von Nvidia veröffentlichtes Framework für maschinelles Lernen, um Inferenzen, also maschinelles Lernen, auf deren Hardware auszuführen. TensorRT ist hochgradig für die Ausführung auf NVIDIA-GPUs optimiert. Es ist derzeit wahrscheinlich die schnellste Möglichkeit, ein Modell auszuführen.
Wenn Sie das NVIDIA TAO Toolkit verwenden, haben wir eine Anleitung zum Erstellen und Bereitstellen eines benutzerdefinierten Modells .
Wenn Sie Ihr Modell in TensorRT konvertieren möchten, wie gehen Sie vor?
Um zu TensorRT zu gelangen, beginnen Sie normalerweise mit dem Training in einem Framework wie PyTorch oder TensorFlow und müssen dann in der Lage sein, von diesem Framework zum TensorRT-Framework zu wechseln.
Das Schöne ist, dass Roboflow all diese Dinge ganz einfach macht: https://docs.roboflow.com/inference/nvidia-jetson
Cuda-Kerne vs. Tensor-Kerne
TensorRT läuft auf den CUDA-Kernen Ihrer GPU. CUDA ist die direkte API, die Ihre Machine-Learning-Bereitstellung zur Kommunikation mit Ihrer GPU verwendet. Tensor-Kerne werden hingegen von Google TPUs genutzt. Sofern Sie nicht bei Google arbeiten, empfehlen wir Ihnen nicht, eine TPU-basierte Bereitstellung zu verwenden, da diese im Open-Source-Ökosystem nicht so gewachsen ist wie CUDA und TensorRT.
So installieren Sie TensorRT
Bevor Sie mit der Installation von TensorRT beginnen, empfehlen wir Ihnen dringend, auf einer Linux-Basis zu arbeiten, vorzugsweise Ubuntu 20.04. Wenn Sie keinen Ubuntu-Server mit GPU haben, können Sie einen auf AWS hochfahren.p2.xlarge
Schritt 1: Installieren Sie NVIDIA GPU-Treiber
Schritt 2: Cuda installieren
Laden Sie die richtige CUDA-Distribution von NVIDIA herunter und installieren Sie sie
Befolgen Sie die Schritte in diesem Cuda-Installationshandbuch , um Cuda-Standorte in Ihre Umgebung einzufügen.
Schritt 3: Installieren Sie TensorRTs
Laden Sie die richtige TensorRTs-Distribution für Ihr System von NVIDIA herunter.
Installieren Sie es mit den folgenden Befehlen und ersetzen Sie Ihre Datei.
TensorRT-Anleitung
Sobald Sie TensorRTs installiert haben, können Sie es mit den C++- und Python-APIs von NVIDIA verwenden.
Für den Einstieg empfehlen wir Ihnen, sich das Open-Source-Repository von TensorRTs anzusehen wang-xinyu. Dort finden Sie Implementierungen beliebter Deep-Learning-Modelle in TensorRTs.
TensorRT für CPU
TensorRTs kann nur zur GPU-Inferenzbeschleunigung verwendet werden. Wenn Sie die Inferenz auf Ihrer CPU optimieren möchten, sollten Sie sich die Frameworks OpenVINO und ONNX ansehen .
TensorRT für Jetson
Sie können TensorRTs auf Ihrem Jetson ausführen, um die Inferenzgeschwindigkeit zu beschleunigen. Neuere Distributionen von Jetson Jetpack haben TensorRTs möglicherweise bereits installiert. Sie können auch mit einem Basis-Docker-Image beginnen, das bereits für Sie installiert wurde, wie z. B.nvcr.io/nvidia/l4t-ml:r32.5.0-py3
Abschluss
TensorRT ist eine von NVIDIA veröffentlichte Bibliothek zur Inferenzbeschleunigung, mit der Sie Ihre NVIDIA-GPU-Ressourcen voll und ganz nutzen können.
Hat Ihnen das gefallen? Sehen Sie sich unbedingt auch das Glossar zur Computer Vision an .
Zitieren Sie diesen Beitrag
Verwenden Sie den folgenden Eintrag, um diesen Beitrag bei Ihrer Recherche zu zitieren:
Joseph Nelson . (9. September 2021). Was ist TensorRTs? Roboflow-Blog: https://blog.roboflow.com/what-is-tensorrts/
Besprechen Sie diesen Beitrag
Wenn Sie Fragen zu diesem Blogbeitrag haben, starten Sie eine Diskussion im Roboflow-Forum .
