Red Hat hat eine definitive Vereinbarung zur Übernahme von Neural Magic unterzeichnet, einem Unternehmen, das sich auf Software und Algorithmen zur Beschleunigung von Workloads der Generativen KI (Gen AI) spezialisiert hat.
Die Kernkompetenz von Neural Magic im Bereich Inferenz-Performance-Engineering sowie das unternehmerische Engagement für Open Source entsprechen der Vision von Red Hat, hochleistungsfähige KI-Workloads in der Hybrid Cloud bereitzustellen. KI der nächsten Generation spielt eine entscheidende Rolle in der heutigen Technologielandschaft. Dabei werden Large Language Models (LLMs) immer komplexer. Um kosteneffiziente und zuverlässige LLM-Services aufzubauen, sind erhebliche Rechenleistungen und Energieressourcen erforderlich. Diese Herausforderungen machen eine massgeschneiderte, einsatzbereite und sichere KI für die meisten Unternehmen unerreichbar. Red Hat begegnet diesen Herausforderungen, indem das Unternehmen generative KI durch die offene Innovation von vLLM einer grösseren Anzahl von Anwendern zugänglich macht. vLLM ist ein von der Community geführtes Open-Source-Projekt für Open Model Serving, das alle wichtigen Modellfamilien und eine Vielzahl von Hardware-Backends unterstützt. Die führende Rolle von Neural Magic im vLLM-Projekt in Kombination mit dem breiten Portfolio an Hybrid-Cloud-KI-Technologien von Red Hat bietet Unternehmen einen offenen Weg zur Umsetzung von KI-Strategien, die ihren individuellen Anforderungen gerecht werden. Mit der Technologie und der Expertise von Neural Magic im Bereich Performance Engineering will Red Hat die Zukunft der künstlichen Intelligenz mitgestalten, unterstützt durch das KI-Technologieportfolio von Red Hat, das Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI und InstructLab umfasst. Neural Magic nutzt seine Expertise und sein Wissen im Bereich vLLM, um einen Inferenz-Stack zu entwickeln, der es Anwendern ermöglicht, LLM-Workloads in hybriden Cloud-Umgebungen zu optimieren, bereitzustellen und zu skalieren. Dabei behalten sie die volle Kontrolle über die Auswahl der Infrastruktur, die Sicherheitsrichtlinien und den Modelllebenszyklus. Die Technologieführerschaft von Neural Magic im Bereich vLLM wird die Fähigkeit des Technologieportfolios von Red Hat AI verbessern, LLM-Bereitstellungen überall in der Hybrid Cloud mit einem vorgefertigten, hoch optimierten und offenen Inferenz-Stack zu unterstützen.