Lo sto provando anche io con buoni risultati. Il problema, spesso non citato, è che si potrebbe incorrere in costi importanti per l'acquisto dei crediti API da utilizzare affinché l'assistente sia "utile".
Per usi non intensivi si può collegare a un abbonamento flat. Io lo uso con chatGPT Plus ($25/mese) e finora i crediti mi sono sufficienti. Oppure usare openrouting per collegarlo a N LLM diversi e sfruttare quelli più efficienti per determinate task, così da abbattere l’uso dei token API.
Lo sto provando anche io con buoni risultati. Il problema, spesso non citato, è che si potrebbe incorrere in costi importanti per l'acquisto dei crediti API da utilizzare affinché l'assistente sia "utile".
Ma il mercato farà il suo lavoro.
Per usi non intensivi si può collegare a un abbonamento flat. Io lo uso con chatGPT Plus ($25/mese) e finora i crediti mi sono sufficienti. Oppure usare openrouting per collegarlo a N LLM diversi e sfruttare quelli più efficienti per determinate task, così da abbattere l’uso dei token API.
Infatti è quello che faccio, ma in locale gli LLM vanno moooolto piano a meno di non possedere un PC con varie GPU da dedicare.