1、自然语言处理(NLP):
Transformerbased模型:如BERT(Bidirectional Encoder Representations from Transformers)、RoBERTa(Robustly Optimized BERT Pretraining Approach)、DeBERTa(DecodingEnhanced BERT with Disentangled Attention)等,这些模型在各种NLP任务上取得了显著的成果,如问答、文本分类、情感分析等。
大型语言模型:如GPT3(第三代生成式预训练变换器)、PaLM(Pathways Language Model)、LLaMA(Large Language Model Meta AI)等,这些模型能够生成高质量的文本,进行对话,甚至在某些领域进行创作。