GGUF
GPT-Generated Unified Format的缩写，是一种新型的文件格式，专门用于存储和交换大型机器学习模型的数据。
这种格式针对模型的快速加载和保存进行了优化，使其在推理方面更加高效。
GGUF可以有多重不同版本的量化，Q2、Q3、Q4、Q5、Q6、Q8，这些数字表示模型权重的位数，位数越高，模型的精度通常越高，但所需的存储空间和计算资源也越多。
不是所有GGUF格式的模型都能用LM Studio运行，可以打开下面这个链接，这里所有模型都可以用LM Studio运行：
量化是指将模型中的高精度数字转换为低精度数字，以减少模型的存储空间和计算需求。