这需要12GB-24GB的GPU才能跑的。自己的笔记本、台式机GPU都不够用。这我身边有两个GPU服务器提供商,一个是AI-GALAXY,一家上海企业,另一个是百度AI-STUDIO。对比了数据集拷贝,于是觉得还是前者的机器比较先进,百度AI-STUDIO的免费的机子也能用但不够快。前者应该是连硬盘都上了PCIE接口了,拷资料速度是USB3.0 U盘的数倍以上。然后虽然跑通了demo,能在自己的设备上部署是量化后的模型。最后运行起来的大模型聊天系统,不知哪里问题还...
24.41-default 2024年01月 移除QEMU Guest Agent 全部 商用 2023年06月 调整透明大页默认策略为enable=always、defrag=madvise 优化tuned的virtual-guest配置 调整qdisc队列规则,默认为fq_codel 调整CPUfreq为performance模式 移除冗余软件源 2023年03月 首次发布上线 Fedora镜像版本 镜像信息 发布日期 发布内容 发布地域 阶段 Fedora 37 64位 内核版本:6.0.18-300.fc37.x86_64 2023年07月 修复已知问题 全部 商用 2023年03月...
这需要12GB-24GB的GPU才能跑的。自己的笔记本、台式机GPU都不够用。这我身边有两个GPU服务器提供商,一个是AI-GALAXY,一家上海企业,另一个是百度AI-STUDIO。对比了数据集拷贝,于是觉得还是前者的机器比较先进,百度AI-STUDIO的免费的机子也能用但不够快。前者应该是连硬盘都上了PCIE接口了,拷资料速度是USB3.0 U盘的数倍以上。然后虽然跑通了demo,能在自己的设备上部署是量化后的模型。最后运行起来的大模型聊天系统,不知哪里问题还...