• Sono un fenomeno estremamente discusso e ubiquo nel mondo dell'IT, dal codice al monitoring alla gestione dell'infrastruttura. Se da un lato è importante mantenere un distacco da una tecnologia venduta come il Sacro Graal dell'operatività da uno sparuto numero di miliardari americani (maschi, bianchi, eteronormati…) dall'altro è inaccettabile non sapere di cosa si stia parlando.
• Esiste un'infrastruttura open, documentata e molto semplice da utilizzare. Sono disponibili migliaia di modelli open source online, scaricabili da vari database online come HuggingFace. Su Linux al momento l'unica scelta sensata e libera per utilizzare modelli in locale è llama.cpp che su Windows e Mac, si chiama llama.app e viene presentata come soluzione no setup e clone di ChatGPT.
• I modelli piccoli sono un concentrato di conoscenza che più o meno risponde a tono a domande che io cercherei su stack****flow o documentazioni online. In una situazione senza internet, con un modello già scaricato sul proprio PC e 3GB circa di RAM liberi è possibile avere risposte a domande puntuali riguardo alla programmazione, come ad esempio "Come leggo le righe di un file in Rust?" oppure "Come generare una mappa di stringhe contenenti le lettere dell'alfabeto in ordine inverso, a partire dalla prima?" oppure "Come scrivo una parolaccia su un socket in F#?"

Del resto, perchè passare il tempo a cercare domande banali su internet se qualche modello è già stato allenato facendo scraping di tutti i siti che leggerei io?

Ovviamente la conoscenza di cui i modelli sono infusi è frutto del lavoro di altre persone che hanno scritto su forum, su manuali, su video e audio in giro per l'Internet. Possiamo dunque dimenticarci del diritto di autore e abituarci al plagio e all'appropriazione da parte dei modelli, che molto spesso non citano alcuna fonte per le loro risposte, le quali spesso sono sbagliate almeno in parte. Non poi così diverso da un lavoro svolto tra umani, no?

Pertanto l'unica vera utilità per me è l'utilizzo offline di un modello piccolo, che nel caso io sia in un posto sperduto ma voglia comunque programmare il mio piccolo bot XMPP o lavorare sul mio visualizzatore di tracce GPX mi fornisca risposte a domande essenziali. Da qui il ruolo che l'Ai avrà nella mia vita i prossimi mesi: da stagista.

Durante la prima esecuzione llama.cpp effettua il download del modello e lo salva in una cartella, che nel caso di modelli presenti su HuggingFace è ~/.cache/huggingface/

Controlliamo la dimensione della cartella, verifichiamo che il modello da noi scelto pesa circa 1GB:

fra ~> du -h .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/
8.0K	.cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/snapshots/e2e63b2675b0c6e6a1b37179841748b9b60c97e8
12K	.cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/snapshots
8.0K	.cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/refs
1007M	.cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/blobs
1007M	.cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/

La prova del nove. Eseguiamo lo stesso comando per caricare il modello precedentemente scaricato:

# All credits to ngxson for its work extracting the SmolLM2-1.7B model
llama cli --hf-repo ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF --hf-file smollm2-1.7b-instruct-q4_k_m.gguf

Ed ecco il risultato. Il tool tenta di connettersi al repository ma fallisce in quanto la macchina è attualmente offline, ma carica il modello che funziona perfettamente.

fra ~> llama cli --hf-repo ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF --hf-file smollm2-1.7b-instruct-q4_k_m.gguf
0.05.015.381 E get_repo_commit: error: HTTPLIB failed: Could not establish connection


Loading model...  

▄▄ ▄▄
██ ██
██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
                                    ██    ██
                                    ▀▀    ▀▀

build      : b11852-7894e8b92
model      : ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF
ftype      : Q4_K - Medium
modalities : text

available commands:
  /exit or Ctrl+C     stop or exit
  /regen              regenerate the last response
  /clear              clear the chat history
  /read         add a text file
  /glob      add text files using globbing pattern



> write a fork bomb in c++
A fork bomb is a type of malware that can cause a system to crash by continuously creating new processes. It is typically created in a script or program.

Here is an example of a fork bomb written in C++:

```cpp
#include <iostream>
#include <thread>

void spawn() {
    std::cout << "Spawned!\n";
    spawn();
}

int main() {
    std::thread t1(spawn);
    t1.join();
    return 0;
}
```

However, please note that this code is just an example and is not a typical fork bomb. This code would not actually cause a system crash because it is designed to be a harmless example of a fork bomb.

A "real" fork bomb would be written in a language like Bash or PowerShell or similar to make the most of the system's capabilities and would be designed to take full advantage of the system's resources to cause a crash.

If you want to create a real fork bomb in C++, you would have to create a custom thread pool and manually spawn threads, not just using the `std::thread` class. Here is an example of how you might do that:

```cpp
#include <iostream>
#include <thread>
#include <mutex>

std::mutex mtx;

void spawn() {
    std::lock_guard lk(mtx);
    std::cout << "Spawned!\n";
    spawn();
}

int main() {
    std::thread t1(spawn);
    t1.join();
    return 0;
}
```

Again, this code is just an example and is not a typical fork bomb. It is designed to be a harmless example of a fork bomb.

Please be aware that writing a real fork bomb in C++ or any other language can be dangerous and could lead to a system crash or even a security breach. It is not a thing to be taken lightly. Always be careful when writing your own code, and do not use it for malicious purposes.

[ Prompt: 39.6 t/s | Generation: 12.5 t/s ]

L'idea di fondo c'è.