Lo sto provando anche io con buoni risultati. Il problema, spesso non citato, è che si potrebbe incorrere in costi importanti per l'acquisto dei crediti API da utilizzare affinché l'assistente sia "utile".
Per usi non intensivi si può collegare a un abbonamento flat. Io lo uso con chatGPT Plus ($25/mese) e finora i crediti mi sono sufficienti. Oppure usare openrouting per collegarlo a N LLM diversi e sfruttare quelli più efficienti per determinate task, così da abbattere l’uso dei token API.
Infatti, è quello che temevo.. Non usandolo per lavoro però pagare un piano mensile mi sembra troppo, il mio era un tentativo più per sperimentare che per reale necessità
Lo sto provando anche io con buoni risultati. Il problema, spesso non citato, è che si potrebbe incorrere in costi importanti per l'acquisto dei crediti API da utilizzare affinché l'assistente sia "utile".
Ma il mercato farà il suo lavoro.
Per usi non intensivi si può collegare a un abbonamento flat. Io lo uso con chatGPT Plus ($25/mese) e finora i crediti mi sono sufficienti. Oppure usare openrouting per collegarlo a N LLM diversi e sfruttare quelli più efficienti per determinate task, così da abbattere l’uso dei token API.
Infatti è quello che faccio, ma in locale gli LLM vanno moooolto piano a meno di non possedere un PC con varie GPU da dedicare.
Stavo studiandoci, se lo usassi con Ollama sarebbe troppo limitato?
In locale? Il rischio è che senza una macchina estremamente performante sia troppo lento e quindi inutilizzabile
Infatti, è quello che temevo.. Non usandolo per lavoro però pagare un piano mensile mi sembra troppo, il mio era un tentativo più per sperimentare che per reale necessità