Dragone2 :linuxmint:
Sysadmin & Developer. Ho creato https://www.risposteinformatiche.it/ e contribuisco alle traduzioni della distro GNU/Linux Linux Mint.
- 11 Posts
- 3 Comments
Dragone2 :linuxmint:@mastodon.unoOPto
FediLUG Italia - il Linux User Group ufficiale del fediverso@diggita.com•Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web,
1·11 days ago@emmecola @linux @opensource beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che per quello che ho visto, dalla fascia media (es. RTX 4050) di NVIDIA si riesce a far girare LLM piccoli, come Gemma 4. Ovviamente se pretendi di eseguire LLM grandi, con tanti parametri ti andranno sempre lenti, ma se usi un LLM che sta dentro la VRAM della tua GPU, non ha problemi. Ti consiglio di dare un’occhiata a whichllm, un tool su GitHub
Dragone2 :linuxmint:@mastodon.unoOPto
FediLUG Italia - il Linux User Group ufficiale del fediverso@diggita.com•Scopri Vaultwarden, l'alternativa opensource e leggera a Bitwarden, un password manager totalmente self-hosted.
1·2 months ago@Naranko @linux @opensource Vaultwarden è più leggero, anche per via delle tecnologie con cui è implementato. Bitwarden Lite richiede minimo 200 MB di RAM e raccomanda almeno 1 GB di storage, per info e approfondire: https://github.com/dani-garcia/vaultwarden/discussions/6547

@emmecola @linux @opensource https://github.com/Andyyyy64/whichllm questo, sostanzialmente, basandosi sul tuo HW ti consiglia quali LLM sono compatibili / a che velocità e quali sarebbero consigliati, basandosi su benchmark fatti da altri utenti con configurazioni HW simili alla tua.