Swiftlet: Como Rodar LLMs de 80B em Pouca RAM no Mac e iPhone
Conheça o Swiftlet, motor de inferência que permite executar modelos de linguagem de 80B parâmetros em aparelhos com pouca memória RAM usando quantização avançada.
Conheça o Swiftlet, motor de inferência que permite executar modelos de linguagem de 80B parâmetros em aparelhos com pouca memória RAM usando quantização avançada.