Optymalizuj i wdrażaj modele głębokiego uczenia na sprzęcie Intel
Konwertuj wytrenowane modele na format pośredni i uruchamiaj wydajne wnioskowanie za pomocą Model Optimizer i Inference Engine, obsługując CPU, GPU i NPU. Intel Corporation dostarcza ten zestaw narzędzi open-source do rozwoju na komputerach stacjonarnych i na krawędzi, z interfejsami API w Pythonie i C++ oraz integracją z Visual Studio. Obsługuje TensorFlow, PyTorch, ONNX, Keras i PaddlePaddle, a także zawiera narzędzia do kwantyzacji i wdrażania GenAI. Zestaw narzędzi jest odpowiedni dla programistów AI i inżynierów, którzy celują w sprzęt oparty na Intel dla niskiej latencji i wysokiej przepustowości wnioskowania.
Co robi OpenVINO dla wdrożonych modeli?
OpenVINO konwertuje i przygotowuje modele za pomocą Model Optimizer, aby przetłumaczyć artefakty TensorFlow, PyTorch, ONNX, Keras i PaddlePaddle na Reprezentację Pośrednią. Ponadto, Neural Network Compression Framework stosuje kwantyzację i inne optymalizacje, aby zmniejszyć rozmiar modelu. Silnik Wnioskowania następnie wykonuje te pliki IR na wspieranych procesorach i grafikach Intela, co pozwala na uruchomienie tego samego skonwertowanego modelu na różnych urządzeniach Intela.
Czy wpływa to na wydajność systemu podczas wnioskowania?
Narzędzie kieruje wykonanie do najlepszego dostępnego urządzenia Intela, aby CPU, zintegrowany lub dyskretny GPU, lub NPU mogły przeprowadzać wnioskowanie. Wsparcie dla procesorów Intel Core, Xeon, Atom oraz grafik Arc, UHD lub Iris Xe jest wyraźne, a Silnik Wnioskowania celuje w odpowiednie prymitywy urządzenia, aby obniżyć opóźnienia i zwiększyć przepustowość podczas działania. Programiści mogą wybierać specyficzne dla urządzenia backendy, aby zrównoważyć obciążenie CPU i wykorzystanie akceleratorów.
Czy jest to bezpieczne i zarządzalne dla środowisk produkcyjnych?
OpenVINO działa na podstawie licencji open-source i integruje się z przepływami pracy deweloperów poprzez interfejsy API Python i C++ oraz haki Visual Studio. Narzędzie zapewnia kroki konwersji i optymalizacji modeli przed wykonaniem, co zmniejsza potrzebę modyfikacji binarnych produkcyjnych w czasie działania. Open Model Zoo dostarcza wstępnie wytrenowane modele, a OpenVINO GenAI dodaje potoki dla modeli generatywnych, co razem pozwala zespołom ponownie wykorzystać zweryfikowane zasoby zamiast wdrażać nieprzetestowane binaria modeli bezpośrednio.
Odpowiednie dla zespołów AI skoncentrowanych na Intel; wymaga wiedzy na temat modeli i wdrożeń
Narzędzie jest odpowiednie dla programistów i naukowców zajmujących się danymi, którzy muszą uzyskać wysokowydajną inferencję na sprzęcie Intel i którzy mogą pracować z krokami konwersji modeli oraz wyborem urządzeń. Jedna uwaga: zespoły nieznające przepływów pracy związanych z optymalizacją modeli napotykają krzywą uczenia się, ponieważ proces wymaga konwersji modeli do formatu IR i zastosowania kroków kompresji przed wdrożeniem.
