ZML presenta LLMD: il server di inferenza che rivoluziona l’IA su chip eterogenei
La startup francese ZML lancia LLMD, un server di inferenza per modelli di linguaggio open source, ottimizzando l'uso di chip diversi.
In Breve
- Cosa è ZML LLMD?
- ZML LLMD è un server di inferenza per eseguire modelli di linguaggio open source su vari chip.
- Qual è l'obiettivo di ZML?
- L'obiettivo di ZML è migliorare l'efficienza nell'uso di chip eterogenei per facilitare l'adozione dell'IA.
- Chi ha finanziato ZML?
- ZML ha raccolto 20 milioni di dollari da investitori tra cui 20VC e Kima Ventures.
La startup francese ZML ha recentemente lanciato LLMD, un innovativo server di inferenza progettato per eseguire modelli di linguaggio open source su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, disponibile gratuitamente al momento del lancio ma non open source, si propone di superare i vincoli software e architetturali che spesso costringono le aziende a rimanere legate a singoli fornitori, ottimizzando così le prestazioni su hardware eterogeneo.
Il fondatore di ZML, Steeve Morin, ha dichiarato: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA». L’obiettivo è fornire a imprese e operatori cloud la flessibilità di utilizzare un mix di chip, anche quelli meno costosi o più efficienti dal punto di vista energetico, per migliorare l’efficienza e facilitare l’adozione dell’intelligenza artificiale.
ZML ha inoltre espresso interesse a collaborare con nuovi produttori di chip, molti dei quali europei. Tra questi, nomi come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha affermato che l’azienda sta lavorando su soluzioni innovative che non sono ancora state sviluppate altrove, aggiungendo: «Siamo arrivati al punto in cui stiamo co-progettando il silicio».
Il lancio di LLMD avviene in un mercato altamente competitivo, dove operatori come Baseten, Inferact e RadixArk e progetti open source come vLLM e SGLang offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti con Nvidia, un attore chiave nel settore.
Con sede a Parigi e un team di circa 20 persone, ZML ha recentemente raccolto 20 milioni di dollari da investitori come 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che ha precedentemente ricoperto il ruolo di VP of Engineering di Zenly (acquisita da Snapchat nel 2017), ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di stabilire eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».
Tra i sostenitori di ZML figurano nomi noti come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, evidenziando l’interesse crescente verso l’ecosistema europeo. Morin ha concluso sottolineando che la realizzazione di ZML sarebbe stata impossibile senza il contesto innovativo di Parigi.
