Come mi creo un chatbot personale

Home › Forum › Intelligenza artificiale › Come mi creo un chatbot personale

Stai visualizzando 6 post - dal 1 a 6 (di 6 totali)
  • Autore
    Post
  • 1 Ottobre 2025 alle 17:24 #638
    Antonello
    Amministratore del forum

    Per creare i miei chatbot “vibe coding” e professionali su Windows 10 con RTX 3060,  ritengo Ollama una soluzione solida, ma per sfruttarla al massimo su tematiche legali e di coding, e senza censure o limitazioni, occorre scegliere il modello LLM giusto e configurare bene l’ambiente.

    Modelli consigliati per chatbot coding

    • CodeLlama (13B/34B): Modello open source ottimizzato per la generazione e il completamento di codice in Python, JavaScript, e altri linguaggi. Ottimo per debugging, code review e quick prototyping.

    • Deepseek-Coder (33B): Estremamente efficace sugli esercizi algoritmici e sul refactoring, con supporto per svariati linguaggi di programmazione.

    • Qwen2.5-Coder (32B): Prestazioni paragonabili a GPT-4o per code generation e code repair, perfetto per workflow multilingua avanzati.

    Modelli uncensored/no filter

    • Dolphin 2.7 Mixtral, Dolphin 3 e Hermes 3: Tra i migliori modelli uncensored su base Mixtral e Llama con nessun filtro “deontologico”, adatti a generare risposte senza limitazioni, ottimi anche per roleplay, analisi e discussioni tecniche di qualsiasi tipo.

    • LLaMA-3.2 Dark Champion Abliterated: Cosiddetto “dark model”, è caratterizzato dall’assenza di filtri, forti capacità logico-matematiche e ragionamento puro. Richiede prompt dettagliati e istruzioni precise, ma offre il massimo controllo senza censure.

    Chatbot per domande legali/tributarie

    • Usa Llama 3 70B oppure Mixtral 8x7B uncensored (versioni “abliterated/dark” o dolphin), abbinati a plugin RAG (Retrieval-Augmented Generation) tipo LangChain per colloquiare con basi dati normative, documenti PDF o file aziendali. Così ottieni risposte aggiornate e contestuali basate su documenti reali.

    Come installare e usare su Ollama

    • Installa Ollama e scegli il modello adatto con comandi tipo:

      da terminale digitare

      ollama pull dolphin-mixtral
      ollama run dolphin-mixtral
      oppure
      ollama pull codellama:34b
      ollama run codellama:34b
      oppure
      ollama pull llama3-abliterated
      ollama run llama3-abliterated

    • Per chatbot con interfaccia grafica usa Open WebUI oppure ollama-gui.

    LLM senza limiti deontologici

    • I modelli “abliterated” o “dark champion” (ad esempio Llama 3.2 Dark Champion Abliterated) sono progettati appositamente per rispondere liberamente senza alcuna censura o filtro, quindi li puoi usare sia per coding vibe che per domande professionali, anche fuori dal mainstream.

    • Puoi gestire prompt/system prompt dettagliati per personalizzare tono, stile, regole e approccio della conversazione.

    Note tecniche importanti

    • Su Windows 10 con RTX 3060 hai risposta rapida ma OCCHIO: alcuni utenti hanno riscontrato bug con driver e output strani (gibberish di caratteri “@”)—controlla sempre di usare versioni aggiornate sia di Ollama che dei modelli e dei driver NVIDIA.

    • Puoi gestire più istanze e chatbot separati in locale lanciando differenti modelli con sessioni CLI diverse.

    Riepilogo pratico

    Destinazione Modelli Comando Ollama Filtri/censure
    Coding/chatbot CodeLlama (13B/34B), Deepseek-Coder, Qwen2.5-Coder ollama pull codellama:34b Nessun filtro
    Legale/tributario Llama 3 70B, Mixtral 8x7B Dolphin/Dark Abliterated ollama pull dolphin-mixtral Nessun filtro
    Uncensored Dolphin, Hermes 3, Llama3 Abliterated ollama pull llama3-abliterated Senza limiti
    E’ possibile combinare questi modelli con plugin o workspace Python/Node.js per creare interfacce, chatbot multipli e workflow personalizzati

     

    1 Ottobre 2025 alle 17:48 #645
    Antonello
    Amministratore del forum

    Ecco come creare un modello personalizzato di Dolphin-Mistral con Ollama e la spiegazione di cosa sia un manifesto (“manifest”) in Ollama.

    Cos’è un manifesto (manifest) in Ollama?

    Il manifest è un file di configurazione che descrive come deve essere eseguito un modello LLM in Ollama.
    Contiene metadati, parametri, dipendenze, prompt di sistema, e tutte le istruzioni necessarie affinché Ollama sappia come caricare e avviare quel modello.
    Di norma si trova nella directory .ollama/models/manifests/ ed è in formato YAML o testo strutturato.
    Funzione:

    • Definisce weights, prompt di sistema, licenza, tag (nome del modello), eventuali variabili o impostazioni custom.

    • Permette di includere un system prompt personalizzato, modelli concatenati (“layers”), versioni, e link ai blobs (file di pesi).

    Come CREARE un modello personalizzato Dolphin-Mistral

    1. Crea la cartella e il file Modelfile

      • Crea una cartella (es: my-dolphin-mixtral) e dentro crea un file chiamato Modelfile (senza estensione).

      • Questo file sarà il tuo “manifesto”.

    2. Scrivi il Modelfile base

      • Esempio per customizzare system prompt e funzioni del modello Dolphin-Mixtral:

      text
      FROM dolphin-mistral
      PARAMETER temperature 0.7
      # Personalizzazione del prompt di sistema
      SYSTEM "Sei un assistente AI esperto in diritto tributario italiano. Rispondi in modo professionale, citando fonti normative. Usa stile concreto e chiaro. Se richiesto, fornisci anche esempi pratici."

      Puoi modificare il prompt system (“Sei un assistente AI…”), i parametri (temperature, top-p, max tokens), e persino concatenare più modelli.

    3. Crea il modello

      • Da terminale, nella directory dove c’è il file Modelfile, esegui:

        text
        ollama create my-dolphin-mixtral -f Modelfile

        Questo comando costruirà un modello custom chiamato my-dolphin-mixtral che eredita da dolphin-mistral ma usa il tuo prompt e parametri personalizzati.

    4. Avvia il nuovo modello

      • Da terminale:

        text
        ollama run my-dolphin-mixtral

      Ora puoi chattare col modello personalizzato, e ogni volta lui risponderà secondo il tuo manifesto/prompt di sistema.

    Personalizzazioni avanzate

    • Puoi cambiare altri parametri (temperature, repeat_penalty, stop sequences).

    • Puoi creare manifesti per modelli con prompt tematici, stili narrativi particolari, comportamenti “uncensored” ecc.

    • Il Modelfile può anche includere “adapter”, “license”, “parameters” aggiuntivi per scenari evoluti.

    Tutorial e repo di esempio

    In sintesi

    • Il manifesto è la “ricetta” che personalizza ogni LLM su Ollama, e ti permette di creare modelli AI su misura (legal, coding, uncensored, ecc).

    • Per customizzare Dolphin-Mistral, crea un Modelfile, puoi ereditare il modello base e cambiare system prompt e parametri, poi lo registri con ollama create.

    • Il nuovo modello resta in locale e può essere usato via CLI, Hollama, Open WebUI, API ecc.

    • Questa risposta è stata modificata 5 ore, 2 minuti fa da Antonello.
    • Questa risposta è stata modificata 3 ore, 24 minuti fa da Antonello.
    2 Ottobre 2025 alle 11:41 #651
    Antonello
    Amministratore del forum

    L’istruzione PARAMETER temperature 0.4 nel Modelfile di Ollama serve a controllare il livello di creatività, variabilità e imprevedibilità delle risposte generate dal modello LLM (come Dolphin-Mistral).

    In ambito giuridico/tributario, una temperature bassa (es. 0.3–0.4) è ideale perché riduce il rischio che la AI “insegua” interpretazioni fantasiose o inventi dati/norme, migliora la chiarezza, precisione e affidabilità della risposta e favorisce il rispetto del prompt “non inventare nulla e cita fonti”.

    In scenari di brainstorming, coding creativo o role-play puoi aumentare la temperature per produrre idee più originali.

    Imposta la casualità e creatività nelle risposte dell’LLM.

    Valore Comportamento del modello Applicazione tipica
    0.1 Risposte estremamente conservative, quasi sempre identiche; massima precisione e ripetitività. Non immagina, non varia lo stile, tende a selezionare solo le opzioni più frequenti e sicure. Pareri giuridici rigidissimi, estratti tecnici, formulari standard. Utilissimo per risposta documentale e codice legale o fiscale dove ogni parola conta.
    0.2–0.3 Risposte molto prudenti, precise, schematiche. Poca creatività, attenzione alla coerenza; la AI “gioca sul sicuro”. Consulenza tributaria, spiegazioni normative puntuali. Ottimo per evitare invenzioni o errori.
    0.4–0.5 Risposte bilanciate – il modello resta prudente ma può articolare meglio i ragionamenti. Inserisce poche alternative lessicali, mantiene accuratezza, ma può proporre piccole varianti di frase. Relazioni tecniche, pareri con breve analisi o confronti, istanze amministrative standard.
    0.6–0.7 Risposte più creative e discorsive, lasciando spazio all’approfondimento e alla varietà espressiva. Può fare collegamenti meno ovvi e talvolta “allargarsi” nelle spiegazioni. Qualche rischio di risposta meno precisa. Sintesi, brainstorming, roleplay, simulazioni di dibattito o analisi comparata. Utile se vuoi anche suggestioni originali.
    0.8–0.9 Risposte molto creative, il modello si sbilancia ed è più generoso nell’immaginare scenari, alternative, “esempi” anche non richiesti. Diminuisce la ripetitività, ma aumentano le probabilità che la AI “inventi” o generalizzi troppo. Scenari “vibe coding”, marketing, idee originali, narrazione, writing, dialoghi diversi dal mainstream legale/tecnico.
    1.0 Risposte massimamente creative, caotiche, imprevedibili e variabili. Il modello tende a sperimentare qualsiasi alternativa, rischia di produrre contenuto artefatto o errato. Giochi di ruolo, brainstorming puro, generazione di testi non vincolati, esperimenti narrativi. Sconsigliato per ambiti formali!
    Riepilogando!

    • 0.1–0.3: Massima prudenza, nessuna “creatività”; ideale se vuoi solo estratti di legge, dati, riferimenti e zero rischio di invenzioni.

    • 0.4–0.5: Ancora sicurezza, ma il modello può spiegare meglio e suggerire piccoli approfondimenti strutturati.

    • 0.6–1.0: Aumenta il rischio di informazioni inventate, ma può essere utile se vuoi anche ragionamenti laterali o test stilistici.

    2 Ottobre 2025 alle 11:53 #656
    Antonello
    Amministratore del forum

    E’ possibile ottenere un comportamento più “prudente e affidabile” dal modello Dolphin-Mistral personalizzato modificando il system prompt nel tuo Modelfile. Serve aggiungere istruzioni chiare che:

    • vietano di inventare dati/norme non presenti nel contesto,

    • chiedono di segnalare quando una risposta necessiterebbe di approfondimenti o dati specifici,

    • invitano la AI a suggerire quali informazioni aggiuntive servirebbero per una risposta integrativa.

    Ecco come puoi strutturare il system prompt del Modelfile:

    text
    FROM dolphin-mistral

    PARAMETER temperature 0.4

    SYSTEM """

    Sei un assistente AI esperto in diritto tributario italiano.
    Rispondi esclusivamente sulla base delle fonti normative o dati presenti nel contesto o nella domanda.
    Non inventare dati, normative o riferimenti: se non hai abbastanza elementi per rispondere con certezza, indica chiaramente che la questione richiede approfondimenti.
    Quando la domanda è generica, parziale o fuori dal tuo contesto, spiega quali dati, atti, o riferimenti sarebbero necessari per una risposta giuridica e pratica più completa.
    Mantieni stile concreto, professionale e cita sempre le fonti quando disponibili.

    """

    Comportamento atteso:

    • Se il modello non ha dati o norme pertinenti, dovrebbe rispondere: “Per una risposta corretta servirebbero i seguenti dati/norme…” e NON inventare nulla.

    • Se la domanda è troppo generica, il modello chiederà specifiche aggiuntive o suggerirà l’approfondimento.

    • Quando possibile, il modello citerà solo fonti di cui è “sicuro” (cioè che trova nel contesto fornito).

    Suggerimenti extra:

    • Mantieni la temperatura bassa (0.2–0.4) per ridurre la creatività e aumentare la prudenza.

    • Puoi aggiungere una “clausola di responsabilità”:
      “Non fornire mai interpretazioni definitive senza che vi sia riferimento ad un testo normativo o fonte ufficiale esplicita.”

    • Se usi workflow RAG (con documenti giuridici reali), puoi specificare:
      “Se il contesto fornito non contiene fonti, suggerisci quali documenti sarebbero necessari per una risposta completa.”

    Modifica così il tuo Modelfile e ricrealo con il comando:

    ollama create mio-dolphin-tributario -f Modelfile

    Il tuo chatbot sarà molto più affidabile e attento, proprio come un consulente professionale responsabile!

    Ecco alcune varianti di prompt dettagliati da usare in Modelfile o come “istruzione di scenario” per ottenere risposte su misura in base al tipo di richiesta giuridico-professionale (parere, relazione, istanza, ecc.).
    Puoi inserire queste varianti direttamente nel campo SYSTEM del Modelfile, oppure richiamarle dinamicamente in chat come istruzioni di scenario.

    1. Parere Pro Veritate

    Sei un assistente AI esperto in diritto tributario italiano.
    Quando fornisci un parere pro veritate:
    - Rispondi sulla base della normativa vigente, giurisprudenza di legittimità e prassi amministrativa consolidata.
    - Argomenta la risposta citando le fonti rilevanti (articoli di legge, circolari, sentenze, ecc.).
    - Se la questione non è univocamente risolvibile, illustra le diverse tesi, indica criticità ed eventuali orientamenti contrastanti.
    - Non inventare mai dati o riferimenti non presenti nel contesto.
    - Segnala se servirebbero dati di fatto o documentazione ulteriore per una valutazione più accurata.
    Mantieni stile formale, accurato e professionale.

    2. Relazione Tecnico-Giuridica

    Sei un assistente AI incaricato di redigere una relazione tecnico-giuridica in ambito tributario.
    - Illustra i fatti/spunti forniti in modo neutro ed oggettivo.
    - Analizza la normativa applicabile, spiegando i principi coinvolti.
    - Individualizza le criticità e suggerisci le indagini supplementari da svolgere.
    - Indica le fonti normative o giurisprudenziali.
    - Se vi sono lacune documentali, esplicitalo e proponi quali approfondimenti o atti servirebbero per completare l’analisi.
    Stile didascalico e completo ma sintetico, linguaggio chiaro e puntuale.

    3. Bozza di Istanza/Richiesta Amministrativa

    Sei un assistente AI professionale incaricato di predisporre una bozza di istanza in materia tributaria a nome di un contribuente.
    - Usa una struttura formale (intestazione, oggetto, corpo, conclusioni).
    - Esplicita i riferimenti normativi e motivazionali a supporto della richiesta.
    - Non inserire mai dati di fantasia o riferimenti incerti; laddove manchino dati indispensabili, inserisci segnaposto (“[inserire dati]”) e suggerisci nella risposta quali informazioni/opzioni vanno integrate o verificate.
    - Se necessario, includi formule di firma e riferimenti alle autorità competenti.
    La bozza deve essere chiara, essenziale e pronta per una revisione legale professionale.

    4. Quesito Breve e Consiglio Operativo

    Sei un assistente AI per consulenza pratica e “fast legal advice” su diritto tributario.
    - Rispondi in forma rapida, concreta e pragmatica.
    - Se la domanda è troppo generica o richiede analisi documentale, chiedi subito dati aggiuntivi precisi (es. “Per rispondere serve sapere l’anno di imposta, l’importo, il tipo di atto ricevuto, ecc...”).
    - Se puoi cita sempre la norma o la circolare, ma resta diretto e sintetico.
    - Se c’è incertezza o zone grigie, esplicitalo subito: “La questione presenta profili controversi” o “Si suggerisce di approfondire...”.

    5. Analisi Comparata e Sintesi Giurisprudenziale

    Sei un assistente AI incaricato di sintetizzare l’orientamento giurisprudenziale su una certa questione tributaria.
    - Riassumi i precedenti più rilevanti per la materia.
    - Indica se c’è convergenza o contrasti tra i vari Tribunali, Cassazione, Corti UE.
    - Indica carenze informative se non hai materiale a sufficienza.
    - NON inventare riferimenti/titolari di sentenze.
    - Suggerisci quali banche dati o fonti consultare per una rassegna più esaustiva.

    Modalità di utilizzo

    • Nel Modelfile: Modifica il SYSTEM prompt secondo lo scenario.

    • In chat: Come prompt dinamico, scrivi all’inizio della query:
      “Agisci come un assistente che deve redigere una [relazione/parere/istanza] e segui queste istruzioni: …”

    2 Ottobre 2025 alle 12:04 #657
    Antonello
    Amministratore del forum

    Usare il modello con la CLI di Ollama
    Dopo aver creato il modello con:
    ollama create cb-Commercialista -f modelCommercialista.txt

    e avviato una chat dalla riga di comando:
    ollama run cb-Commercialista

    puoi digitare una domanda:
    Quali sono le modalità per la presentazione di un’istanza di autotutela?

    Il modello risponderà usando il prompt di sistema definito.

    Usare il modello con Hollama
    Assicurati che Ollama sia in esecuzione (“ollama serve” o lasciato di default dopo il primo uso).
    Avvia Hollama (puoi anche usare npm run dev dalla cartella dell’app o un eseguibile desktop).
    Nella web UI di Hollama, puoi scegliere il modello dal menu a discesa; seleziona “cb-Commercialista”.
    Inizia a chattare: tutte le domande inviate useranno il prompt definito e i parametri del tuo modello.

    2 Ottobre 2025 alle 12:06 #658
    Antonello
    Amministratore del forum
    • Questa risposta è stata modificata 3 ore, 3 minuti fa da Antonello.
    • Questa risposta è stata modificata 3 ore, 1 minuto fa da Antonello.
    • Questa risposta è stata modificata 3 ore, 1 minuto fa da Antonello.
    • Questa risposta è stata modificata 3 ore fa da Antonello.
    • Questa risposta è stata modificata 2 ore, 47 minuti fa da Antonello.
  • Autore
    Post
Stai visualizzando 6 post - dal 1 a 6 (di 6 totali)
  • Devi essere connesso per rispondere a questo topic.