ZML lancia LLMD: un server di inferenza per modelli di linguaggio su chip eterogenei
La startup francese ZML ha presentato LLMD, un innovativo server di inferenza che supporta diversi modelli di linguaggio su una varietà di chip, promettendo di superare i vincoli esistenti e facilitare l'adozione dell'IA.
In Breve
- Cos'è ZML/LLMD?
- ZML/LLMD è un server di inferenza progettato per eseguire modelli di linguaggio su diversi chip.
- Qual è l'obiettivo di ZML?
- L'obiettivo è consentire alle aziende di utilizzare mix di chip per migliorare l'efficienza e facilitare l'adozione dell'IA.
- Chi sono i principali investitori di ZML?
- ZML ha raccolto fondi da investitori come 20VC, Kima Ventures e Yann LeCun.
La startup francese ZML ha recentemente lanciato ZML/LLMD, un server di inferenza innovativo progettato per eseguire modelli open source di linguaggio su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, disponibile gratuitamente al lancio, mira a superare i vincoli software e architetturali che spesso portano a una dipendenza da fornitori specifici, consentendo di sfruttare al massimo le prestazioni offerte da hardware eterogeneo.
Secondo Steeve Morin, fondatore di ZML, l’obiettivo principale è restituire alle aziende e agli operatori cloud il potere di creare sistemi personalizzati, ottenendo reali guadagni di efficienza che possano facilitare la diffusione dell’intelligenza artificiale. “L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA”, ha dichiarato Morin.
ZML si propone anche di collaborare con nuovi produttori di chip, molti dei quali europei, citando aziende come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha sottolineato che l’azienda sta lavorando su soluzioni innovative che non sono ancora state sviluppate altrove: “Siamo arrivati al punto in cui stiamo co-progettando il silicio”, ha aggiunto.
Il lancio di LLMD avviene in un contesto di crescente competitività nel settore, con operatori come Baseten, Inferact e RadixArk, oltre a progetti open source come vLLM e SGLang che offrono funzionalità simili. Nonostante la concorrenza, ZML mantiene rapporti di collaborazione con Nvidia, un segnale della sua volontà di integrare le migliori tecnologie disponibili.
Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori tra cui 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di decidere eventuali politiche commerciali. “Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio”, ha affermato.
Tra i sostenitori presenti nel capitale di ZML figurano nomi di spicco come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a conferma dell’interesse crescente verso l’ecosistema tecnologico europeo. Morin ha infine sottolineato che la realizzazione di ZML sarebbe stata impossibile senza il contesto innovativo di Parigi.
