老爸工作上经常处理excel表格,因为数据涉密现在考虑本地部署大模型(至少7b以上吧),给他写过脚本,但是需求老变,他年纪大了不想让他再多花时间学python了,问题:
1.大模型直接处理本地文件会不会出错
2.机器配置是13700h,内存16g,gpu信息没显示,怀疑是核显,最大能部署多少b的模型,求推荐部署哪个模型
老爸工作上经常处理excel表格,因为数据涉密现在考虑本地部署大模型(至少7b以上吧),给他写过脚本,但是需求老变,他年纪大了不想让他再多花时间学python了,问题:
1.大模型直接处理本地文件会不会出错
2.机器配置是13700h,内存16g,gpu信息没显示,怀疑是核显,最大能部署多少b的模型,求推荐部署哪个模型
3-7
这个配置能运行的大模型智商也有限
买GPU
别给令尊找麻烦了
CPU 跑小规模模型跑起来也是智障
买 GPU 或者租赁 GPU 成本过高
别给你爸增加麻烦性需求
预算不够 没有意义
插显卡,部署r1的蒸馏版,16g显存就能跑32b级别了,基本可用
建议安装officeAI助手