下午五点钟就搞完了核心框架的所有代码,这种速度放在几年前,那是根本不敢想的。
而写代码只能说是整个科研过程中最为简单的一个步骤了。
接下来才是折磨的开始。
跑实验——>调BUG,这种枯燥的循环过程才是真正让人感觉心累的环节。
周昀在网上找了一个参数量在100B左右的大模型,本来他是打算找个几十B的就差不多了。
谁知道导师这么给力,资源多了,他也不那么扣扣嗖嗖了。
AgileEdge的主要作用就是将大模型压缩成小模型然后放到边缘设备里。
因为是全自动的AI框架,所以其操作流程非常的傻瓜。
只要将边缘设备连接到电脑,程序就会自动检测其硬件的具体参数,然后经过AgileEdge的压缩,不断地优化模型,最终形成一个能运行的模型文件。
边缘设备周昀暂时就找了一台老的智能机,内存只有32G,将手机插上数据线。
运行程序。
内容未完,下一页继续阅读