Meta 推出 LayerSkip：升迁谎言语模子推理速率
2024-05-01站长之家4月28日 音书:Meta公司最新发布了LayerSkip，这是一款端到端的措置决策，成心蓄意用于升迁大型话语模子（LLM）的推理速率。这一时刻在不同范畴的Llama模子上经过了世俗的纯属实践，并在多个任务上展现了显赫的性能升迁。 LayerSkip的主要成立包括: CNN/DM文档选录任务: 在这一任务上，LayerSkip将推理速率升迁了2.16倍，显赫提高了文档处理的终结。 编程任务: 在编程关系的话语任务中，LayerSkip竣事了1.82倍的速率升迁，这可能极大优化编程援手器
