INFO:
2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍