Mozilla lancia la sfida al mondo delle AI “in-cloud” e sbalordisce con il progetto llamafile:
“Oggi, la maggior parte delle persone che utilizzano modelli linguistici di grandi dimensioni (LLM) lo fanno attraverso app e servizi commerciali basati su cloud come ChatGPT.
Molte startup e sviluppatori stanno facendo lo stesso, costruendo applicazioni o addirittura intere aziende sulla base di API fornite da aziende come OpenAI.
Ciò solleva molte domande importanti sulla privacy, l’accesso e il controllo.
Chi sta “ascoltando” le nostre conversazioni in chat?
Come verranno utilizzati i nostri dati?
Chi decide a quali domande un modello risponderà o meno?
La nostra ragione d’essere è la salute di Internet e della vita online.”
Mitchell Baker, CEO di Mozilla
L’idea è quella di fare a meno di internet per far si che le IA funzionino e rispondano alle domande e richieste degli utenti, dotandole già di tutta la conoscenza necessaria per eseguire compiti specifici. In tal modo, secondo Mozilla, non solo si semplifica l’adozione della tecnologia ma si riduce anche il rischio di violazioni, (volute o no…. ma…), che possono accadere quando un dispositivo è connesso alla rete….
E’ tutto in un unico file compresso ed eseguibile (con vari accorgimenti per il momento) sui seguenti sistemi operativi (lascio il tutto in inglese, in quanto, tradotto, perde tutto il suo fascino):
- Linux 2.6.18+ (ARM64 or AMD64) i.e. any distro RHEL5 or newer
- macOS 15.6+ (ARM64 or AMD64, with GPU only supported on ARM64)
- Windows 8+ (AMD64)
- FreeBSD 13+ (AMD64, GPU should work in theory) –“in teoria dovrebbe funzionare è fantastico:)))”
- NetBSD 9.2+ (AMD64, GPU should work in theory)
- OpenBSD 7+ (AMD64, no GPU support)
Il supporto Processori:
- AMD64 microprocessors must have SSSE3. Otherwise llamafile will print an error and refuse to run. This means that if you have an Intel CPU, it needs to be Intel Core or newer (circa 2006+), and if you have an AMD CPU, then it needs to be Bulldozer or newer (circa 2011+). If you have a newer CPU with AVX, or better yet AVX2, then llamafile will utilize your chipset features to go faster. There is no support for AVX512+ runtime dispatching yet.
- ARM64 microprocessors must have ARMv8a+. This means everything from Apple Silicon to 64-bit Raspberry Pis will work, provided your weights fit into memory.
Il supporto GPU:
- On Apple Silicon, everything should just work if Xcode is installed.
- On Windows, GPU should just work so long as (1) you’re using our release binaries, and (2) you pass the
-ngl 35flag. You also need an NVIDIA graphics card that supports CUDA. There’s no support yet for AMD GPUs. You can also use CUDA via WSL by enabling Nvidia CUDA on WSL and running your llamafiles inside of WSL. This will also allow you to use llamafiles greater than 4GB on Windows. - On Linux, Nvidia cuBLAS GPU support will be compiled on the fly if (1) you have the
cccompiler installed, (2) you pass the-ngl 35flag to enable GPU, and (3) the CUDA developer toolkit is installed on your machine and thenvcccompiler is on your path.
In the event that GPU support couldn’t be compiled and dynamically linked on the fly for any reason, llamafile will fall back to CPU inference.
clikka qui se vuoi provare ad installarla!
Comunque, la fanno sempre facile, su GitHub!
Se vorrai provare, specialmente su Windows, usa un pc con installazione pulita, fai l’immagine disco, la “backuppi” su disco esterno, perchè dovrai “formattare” innumerevoli volte :)))
Tieni presente che dovrai installare da powershell, innumerevoli prerequisiti e dovrai aumentare il “limite di memoria di Windows.
Non è facile iniziare a lavorare con uno stack LLM open source.
Infatti come consigliano gli “sviluppatori del progetto” conviene tenere separato il “file” principale e, a seconda dei test che si vogliono effettuare scaricare il modello.
A seconda del set di strumenti scelto, potrebbe essere necessario clonare i repository GitHub, installare una serie di dipendenze Python, utilizzare una versione specifica dell’SDK di Nvidia, compilare il codice C++ e così via.
Nel frattempo, le cose si stanno evolvendo così velocemente in questo spazio che le istruzioni e i tutorial che funzionavano ieri potrebbero essere obsoleti domani (questo a me capita sempre…. quando vado a compilare qualcosa… sicuramente c’è da aggiornare qualche “libreria” oppure hanno appena corretto qualche bug, e al “primo colpo” non mi riesce da anni:)
Anche i formati di file per gli LLM aperti sono cambiati rapidamente.
Ma il Mondo OpenSource è così vasto che vari progetti si “fondono” (merge) o si “biforcano” (fork)
infatti due progetti sono stati “fusi” per essere inglobati nel progetto master:
- llama.cpp è un progetto open source avviato da Georgi Gerganov. (dal 2016 mi sembra di ricordare Master Dev)
Realizza un trucco piuttosto accurato: semplifica l’esecuzione di LLM su hardware di livello consumer, affidandosi alla CPU invece di richiedere una GPU di fascia alta (anche se è felice di usare la tua GPU, se ne hai una:).
I risultati possono essere sorprendenti: LLM in esecuzione su qualsiasi cosa, dai Macbook ai Raspberry Pi, sfornando risposte a velocità sorprendentemente utilizzabili. - Cosmopolitan è un progetto open source creato da Justine Tunney. (una delle donne più intelligenti del sistema solare)
Realizza un altro trucco interessante: consente di distribuire ed eseguire programmi su un’ampia varietà di sistemi operativi e architetture hardware.
Ciò significa che è possibile compilare un programma una sola volta (figata pazzesca), e quindi l’eseguibile risultante può essere utilizzato su quasi tutti i tipi di computer moderni
llamafile trasforma gli LLM in un unico file eseguibile.
Che tu sia uno sviluppatore o un utente finale, devi semplicemente scegliere l’LLM che desideri eseguire, scaricare il suo lamafile ed eseguirlo.
“Crediamo che llamafile sia un grande passo avanti per l’accesso all’IA open source. Ma c’è qualcosa di ancora più profondo che sta succedendo qui: llamafile sta anche guidando ciò che noi di Mozilla chiamiamo “intelligenza artificiale locale“.”
L’intelligenza artificiale locale è un’intelligenza artificiale che viene eseguita sul tuo computer o dispositivo.
Non nel Cloud o sui server “baremetal” di qualcun altro.
Il TUO!
Significa anche che l’IA è completamente sotto il tuo controllo e questo è qualcosa che nessuno potrà mai toglierti.
Nessun altro sta ascoltando le tue domande o leggendo le risposte dell’IA.
Nessun altro può accedere ai tuoi dati.
Nessuno può cambiare il comportamento dell’IA a tua insaputa.
(io la sto installando ora…. un giorno ve la mostrerò:)))))
varie fonti disseminate nell’articolo! Qui il blog dove scrive anche Justine!
Special Thanks to:





No responses yet