Modelos & Agentes
pesquisadores da kimi publicam arquitetura que acelera llms em 6x
x.com25 de agosto
o que aconteceu
Pesquisadores chineses ligados à Kimi publicaram uma nova arquitetura de atenção que executa LLMs 6x mais rápido e usa 75% menos memória GPU do que atenção completa. A técnica foi discutida no X com 1.174 likes e 220 reposts.
por que importa
A técnica pode viabilizar modelos maiores em hardware mais acessível e reduzir custos de inferência para quem roda modelos próprios.
vale saber
O sinal não traz link para o paper, benchmarks detalhados ou comparação específica de modelos. A informação é de segunda mão (thread no X).
repercussão no X de @HowToPrompt__
- curtidas
- 1,2 mil
- reposts
- 220
- impressões
- 63.3k
fonte
- Thread @HowToPrompt__Post no XAbrir ↗
