Modelos & Agentes
nvidia publica pipeline de dados para línguas índicas com 2.8 trilhões de tokens
huggingface.co16 de outubro
o que aconteceu
Nvidia publicou artigo sobre escala de pré-treino em línguas índicas, apresentando dataset de 2.8 trilhões de tokens e pipeline aberto de geração de dados. O trabalho foi divulgado no blog da Hugging Face.
por que importa
Contribuição relevante para diversidade linguística em IA, endereçando carência de dados de qualidade em línguas não-europeias.
fonte
- Blog Hugging FaceFonte oficialAbrir ↗
