diff --git a/org/articles/20261104_stagista.org b/org/articles/20261104_stagista.org index 82864b5..a24968a 100644 --- a/org/articles/20261104_stagista.org +++ b/org/articles/20261104_stagista.org @@ -3,13 +3,23 @@ #+OPTIONS: toc:nil #+OPTIONS: title:nil #+TITLE: fragal.eu - Stagista, ovvero rendere utile un mini-LLM, parte 1 +#+HTML_HEAD: #+HTML_HEAD: +#+HTML_HEAD: +#+HTML_HEAD: + +#+BEGIN_EXPORT html + +#+END_EXPORT #+INCLUDE: "../header.html" export html * Stagista, ovvero rendere utile un mini-LLM, parte 1 -Sono molto scettico sull'utilizzo di modelli /AI/ nel lavoro e nella vita di tutti i giorni. +** Avvertenza: più opinioni che fatti + +Sono molto scettico sull'utilizzo di modelli AI nel lavoro e nella vita di tutti i giorni. + Le ragioni sono note e dibattute: consumo di risorse energetiche e informatiche sproporzionato rispetto alla necessità lavorativa, i risultati proposti dai modelli sono complessi da verificare, mancanza di organismi di controllo che regolamentino l'utilizzo in ambito pubblico e su dati sensibili, necessità di @@ -20,12 +30,15 @@ #+NAME: fig-2 [[file:../images/20261104_stagista/yells.jpg]] -Purtroppo avevo scelto la strada della programmazione prima che i vari /coding assistant/ esistessero -e sto vivendo come tant* la transizione verso un mondo di chiacchiere descrittive anzichè di linee di codice. Per non -fare la parte del luddista, che comunque mi gratifica molto, ho deciso di non fossilizzarmi e ragionare che -/non tutto il male viene per nuocere/. +Avendo scelto la strada della programmazione prima che i vari /coding assistant/ esistessero +sto vivendo come tant* la transizione verso un mondo di chiacchiere descrittive anzichè di linee di codice. -** Premessa riguardo alla mia ignoranza +Per non fare la parte del luddista, che comunque mi gratifica molto, +ho deciso di non fossilizzarmi e ragionare che /non tutto il male +viene per nuocere/. + + +** Riguardo alla mia ignoranza In generale mi sono disinteressato alla questione AI da un punto di vista tecnico: non so granchè delle differenze tra un modello e @@ -35,26 +48,35 @@ seguendo la regola a braccio: /+ parametri => + ram e CPU => laptop in fiamme/ Mi sono detto: se riesco a trovare un modello che giri -sul mio Thinkpad t450s del 2015, ci gioco un po'. Inizialmente non avevo un vero e proprio scopo se non +sul mio Thinkpad t450s del 2015, ci gioco un pochetto. Inizialmente non avevo un vero e proprio scopo se non sperimentare l'usabilità di [[https://github.com/ggml-org/llama.cpp][llama.cpp]] su un laptop che comincia ad essere datato, senza scheda grafica dedicata, un processore dual core, 8GB di RAM e Gentoo. ** Ma /cribbio/ servirà pure a qualcosa quest'AI -Qualcuno si ricorda del /machine learning/ o apprendimento automatico? Il termine utilizzato in ambito di ricerca -per definire interi corsi di laurea in informatica dedicati alla creazione e al /training/ di modelli statistici -su dati pre-esistenti con lo scopo di generare, o /generalizzare/, dati sconosciuti e quindi eseguire compiti -senza essere deterministicamente programmati per essi. +Partiamo dal /machine learning/, o apprendimento automatico, termine +utilizzato per definire interi corsi di laurea e dottorati di ricerca +dedicati all'incirca alla creazione e al /training/ di modelli statistici su dati +pre-esistenti, con lo scopo di generare dati +sconosciuti e quindi eseguire compiti senza essere deterministicamente +programmati per essi. Quando si parla di AI al bar o in famiglia oramai ci si riferisce prettamente a /Large Language Models/, ovvero modelli di machine learning orientati a processare il linguaggio naturale: quello parlato e scritto tra esseri umani. -Una macchina che scrive "Ciao, come stai? Che posso fare per te oggi?" risultando poi ragionevolmente affidabile -a leggere un testo e riassumerlo, scrivere in un linguaggio di programmazione, analizzare le -tue mail e rispondere da sola è un grande passo avanti per la -scienza. Per questo il mondo della tecnologia ci si è tuffato -a capofitto ritenendo che questo progresso andasse seguito ad ogni costo, nonostante gli evidenti problemi energetici collegati. -#+CAPTION: La domanda sulla vita, l'universo e tutto quanto +Ad esempio una macchina in grado di scrivere /"Ciao, come stai? Che posso fare per te oggi?"/ risultando poi ragionevolmente affidabile +a /fare cose/ come ad esempio: + +- leggere un testo e riassumerlo +- scrivere in un linguaggio di programmazione +- analizzare le mail e rispondere da sola +- fare il kaffè (ah no?) + +Ecco un grande passo avanti per la scienza. +Per questo il mondo della tecnologia si è tuffato a capofitto nel fenomeno AI +ritenendo che questo progresso andasse seguito ad ogni costo, nonostante gli evidenti problemi collegati di cui sopra. + +#+CAPTION: Il momento della risposta sulla vita, l'universo e tutto quanto non è mai stato così vicino #+NAME: fig-2 [[file:../images/20261104_stagista/adams.jpg]] @@ -75,41 +97,45 @@ Sorge quindi spontanea la domanda: *ma che te ne fai*? -Tre ragioni mi hanno spinto a sperimentare con gli LLM locali, con vari -anni di ritardo rispetto alla media dei programmatori: +*** Posso elencare 3 ragioni - Sono un *fenomeno estremamente discusso e ubiquo* nel mondo dell'IT, dal codice al monitoring alla gestione dell'infrastruttura. Se da un lato è importante mantenere un distacco da una tecnologia venduta come il Sacro Graal dell'operatività da uno sparuto numero di miliardari americani (maschi, bianchi, eteronormati...) dall'altro è *inaccettabile non sapere di cosa si stia parlando*. + - Esiste *un'infrastruttura open*, documentata e molto semplice da utilizzare. Sono disponibili migliaia di modelli open source online, scaricabili da vari database online come [[https://huggingface.co/][HuggingFace]]. Su Linux al momento l'unica scelta sensata e libera per utilizzare modelli in locale è [[https://github.com/ggml-org/llama.cpp][llama.cpp]] che su Windows e Mac, si chiama [[https://llama.app/][llama.app]] e viene presentata come soluzione /no setup/ e clone di ChatGPT. -- I modelli piccoli sono un concentrato di conoscenza che - più o meno risponde a tono a domande che io cercherei su stackoverflow o documentazioni online. + +- I modelli piccoli sono un *concentrato di conoscenza* che + più o meno risponde a tono a domande che io cercherei su stack****flow o documentazioni online. In una situazione senza internet, con un modello già scaricato sul proprio PC e 3GB circa di RAM liberi è possibile avere risposte a domande puntuali riguardo alla programmazione, come ad esempio "Come leggo le righe di un file in Rust?" oppure "Come generare una mappa di stringhe contenenti le lettere dell'alfabeto in ordine inverso, a - partire dalla prima?" oppure "Come scrivo una parolaccia su un + partire dalla prima?" oppure "Come scrivo una parolaccia su un socket in F#?" Del resto, perchè passare il tempo a cercare domande banali su internet se qualche modello è già stato allenato facendo scraping di tutti i siti che leggerei io? +*** Sfruttiamo quindi quest'appropriazione intellettuale + Ovviamente la conoscenza di cui i modelli sono infusi è frutto del lavoro di altre persone che hanno scritto su forum, su manuali, su video e audio -in giro per l'Internet. Possiamo dunque dimenticarci del diritto di autore +in giro per l'Internet. +Possiamo dunque dimenticarci del diritto di autore e abituarci al plagio e all'appropriazione da parte dei modelli, che molto spesso non citano alcuna fonte per le loro risposte, le quali spesso sono sbagliate almeno in parte. Non poi così diverso da un lavoro svolto tra umani, no? -Pertanto l'unica vera utilità per me è l'utilizzo offline di un -modello piccolo, che nel caso io sia in un posto sperduto ma voglia +Pertanto l'unica vera utilità per me è *l'utilizzo offline di un modello piccolo*, +che nel caso io sia in un posto sperduto ma voglia comunque programmare il mio piccolo bot XMPP o lavorare sul mio visualizzatore di tracce GPX mi fornisca risposte a domande essenziali. Da qui il ruolo che l'Ai avrà nella mia vita i prossimi @@ -119,21 +145,26 @@ #+NAME: fig-3 [[file:../images/20261104_stagista/stagista.jpg]] -** Ecce potato: Lo stagista a comando +** Ecce patata: Lo stagista a comando -Per farla molto breve e avere anche voi lo stagista gratuito su Linux, -basta installare llama.cpp come descritto [[https://github.com/ggml-org/llama.cpp#quick-start][qui]] ed eseguire un unico comando: +Per farla molto breve e avere anche voi lo stagista gratuito su Linux, basta installare llama.cpp come descritto [[https://github.com/ggml-org/llama.cpp#quick-start][qui]] ed eseguire un unico comando +che effettua il download di un modello in formato `.gguf` da HuggingFace. -#+BEGIN_SRC bash -# All credits to ngxson for its work extracting the SmolLM2-1.7B model +#+BEGIN_EXPORT html +
+
+# Thanks to ngxson for its work packaging the SmolLM2-1.7B model in gguf format
llama cli --hf-repo ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF --hf-file smollm2-1.7b-instruct-q4_k_m.gguf
-#+END_SRC
+
+
+#+END_EXPORT
SmolLM2-1.7B è un modello pensato per l'utilizzo locale che non mi ha mai dato problemi di looping e sembra
non allucinare troppo. Al momento ho avuto successo con domande molto semplici:
-#+BEGIN_SRC markdown
-
+#+BEGIN_EXPORT html
+
+
> how to split a string in C#?
You can split a string in C# using the `String.Split()` method. Here is a simple example:
@@ -151,7 +182,8 @@
- `myString.Split(',')` splits the string at each comma and returns an array of substrings.
- The `foreach` loop is used to print each substring in the array.
-Remember, the `String.Split()` method does not remove the separators from the resulting array elements. If you want to remove the commas, you can use the `String.Replace()` method:
+Remember, the `String.Split()` method does not remove the separators from the resulting array elements.
+If you want to remove the commas, you can use the `String.Replace()` method:
```csharp
string myString = "apple,banana,cherry";
@@ -163,10 +195,12 @@
```
[ Prompt: 11.4 t/s | Generation: 4.7 t/s ]
+
+
+#+END_EXPORT
-#+END_SRC
-#+CAPTION: Ecce Potato
+#+CAPTION: Nessuna macchina sarebbe in grado di fare di meglio.
#+NAME: fig-4
[[file:../images/20261104_stagista/ecce_potato.jpg]]
@@ -177,4 +211,138 @@
Ovviamente ci sono parametri da tarare di cui non so nulla, stagista capisce solo l'inglese, ma sappiamo tutt* che nel mondo dell'AI da bocciofila
non è importante. Ciò che conta è che risponda a tono.
+*** Anche offline!
+
+Durante la prima esecuzione llama.cpp effettua il download del modello
+e lo salva in una cartella, che nel caso di modelli presenti su
+HuggingFace è *~/.cache/huggingface/*
+
+Controlliamo la dimensione della cartella, verifichiamo che il modello da noi scelto pesa circa 1GB:
+#+BEGIN_EXPORT html
+
+
+fra ~> du -h .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/
+8.0K .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/snapshots/e2e63b2675b0c6e6a1b37179841748b9b60c97e8
+12K .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/snapshots
+8.0K .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/refs
+1007M .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/blobs
+1007M .cache/huggingface/hub/models--ngxson--SmolLM2-1.7B-Instruct-Q4_K_M-GGUF/
+
+
+#+END_EXPORT
+
+La prova del nove. Eseguiamo lo stesso comando per caricare il modello precedentemente scaricato:
+
+#+BEGIN_EXPORT html
+
+
+# All credits to ngxson for its work extracting the SmolLM2-1.7B model
+llama cli --hf-repo ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF --hf-file smollm2-1.7b-instruct-q4_k_m.gguf
+
+
+#+END_EXPORT
+
+Ed ecco il risultato. Il tool tenta di connettersi al repository ma fallisce in quanto la macchina è attualmente
+offline, ma carica il modello che funziona perfettamente.
+
+#+BEGIN_EXPORT html
+
+
+fra ~> llama cli --hf-repo ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF --hf-file smollm2-1.7b-instruct-q4_k_m.gguf
+0.05.015.381 E get_repo_commit: error: HTTPLIB failed: Could not establish connection
+
+
+Loading model...
+
+▄▄ ▄▄
+██ ██
+██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄
+██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██
+██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
+ ██ ██
+ ▀▀ ▀▀
+
+build : b11852-7894e8b92
+model : ngxson/SmolLM2-1.7B-Instruct-Q4_K_M-GGUF
+ftype : Q4_K - Medium
+modalities : text
+
+available commands:
+ /exit or Ctrl+C stop or exit
+ /regen regenerate the last response
+ /clear clear the chat history
+ /read add a text file
+ /glob add text files using globbing pattern
+
+
+
+> write a fork bomb in c++
+A fork bomb is a type of malware that can cause a system to crash by continuously creating new processes. It is typically created in a script or program.
+
+Here is an example of a fork bomb written in C++:
+
+```cpp
+#include
+#include
+
+void spawn() {
+ std::cout << "Spawned!\n";
+ spawn();
+}
+
+int main() {
+ std::thread t1(spawn);
+ t1.join();
+ return 0;
+}
+```
+
+However, please note that this code is just an example and is not a typical fork bomb. This code would not actually cause a system crash because it is designed to be a harmless example of a fork bomb.
+
+A "real" fork bomb would be written in a language like Bash or PowerShell or similar to make the most of the system's capabilities and would be designed to take full advantage of the system's resources to cause a crash.
+
+If you want to create a real fork bomb in C++, you would have to create a custom thread pool and manually spawn threads, not just using the `std::thread` class. Here is an example of how you might do that:
+
+```cpp
+#include
+#include
+#include
+
+std::mutex mtx;
+
+void spawn() {
+ std::lock_guard lk(mtx);
+ std::cout << "Spawned!\n";
+ spawn();
+}
+
+int main() {
+ std::thread t1(spawn);
+ t1.join();
+ return 0;
+}
+```
+
+Again, this code is just an example and is not a typical fork bomb. It is designed to be a harmless example of a fork bomb.
+
+Please be aware that writing a real fork bomb in C++ or any other language can be dangerous and could lead to a system crash or even a security breach. It is not a thing to be taken lightly. Always be careful when writing your own code, and do not use it for malicious purposes.
+
+[ Prompt: 39.6 t/s | Generation: 12.5 t/s ]
+
+
+#+END_EXPORT
+
+* Considerazioni
+
+Spezziamo una lancia in favore di stagista: è audace ma non
+cattivo. Continuerò a spingere i suoi limiti, anche se dovrò
+probabilmente intervistare altri modelli ancora.
+
+Le problematiche al momento sono principalmente 2:
+- Stagista parla solo inglese, manco un A1 di italiano.
+- Le risorse richieste per allenare modelli in locale sono altissime; pertanto non possiamo formare stagisti internamente. HuggingFace e gli altri repository di modelli saranno le nostre
+ agenzie interinali.
+
+Restate aggiornati! Chissà, magari stagista avrà un profilo L****din prima o poi...
+
#+INCLUDE: "../footer.html" export html
diff --git a/site/css/monokai.css b/site/css/monokai.css
new file mode 100644
index 0000000..5b28d7b
--- /dev/null
+++ b/site/css/monokai.css
@@ -0,0 +1,70 @@
+/*
+Monokai style - ported by Luigi Maselli - http://grigio.org
+*/
+
+.hljs {
+ background: #272822;
+ color: #ddd;
+}
+
+.hljs-tag,
+.hljs-keyword,
+.hljs-selector-tag,
+.hljs-literal,
+.hljs-strong,
+.hljs-number,
+.hljs-name {
+ color: #f92672;
+}
+
+.hljs-code {
+ color: #66d9ef;
+}
+
+.hljs-attribute,
+.hljs-attr,
+.hljs-symbol,
+.hljs-regexp,
+.hljs-link {
+ color: #bf79db;
+}
+
+.hljs-string,
+.hljs-bullet,
+.hljs-subst,
+.hljs-title,
+.hljs-section,
+.hljs-emphasis,
+.hljs-type,
+.hljs-built_in,
+.hljs-selector-attr,
+.hljs-selector-pseudo,
+.hljs-addition,
+.hljs-variable,
+.hljs-template-tag,
+.hljs-template-variable {
+ color: #a6e22e;
+}
+
+.hljs-title.class_,
+.hljs-class .hljs-title {
+ color: white;
+}
+
+.hljs-comment,
+.hljs-quote,
+.hljs-deletion,
+.hljs-meta {
+ color: #75715e;
+}
+
+.hljs-keyword,
+.hljs-selector-tag,
+.hljs-literal,
+.hljs-doctag,
+.hljs-title,
+.hljs-section,
+.hljs-type,
+.hljs-selector-id {
+ font-weight: bold;
+}
diff --git a/site/css/stylesheet.css b/site/css/stylesheet.css
index 4c965af..300c125 100644
--- a/site/css/stylesheet.css
+++ b/site/css/stylesheet.css
@@ -32,6 +32,13 @@
color: indigo;
}
+/* code blocks */
+pre {
+ min-width: 95%;
+ padding: 1em;
+ font-size: 80%;
+}
+
/* Images */
.figure {
display: inline;