首先我们学习一些 ggml 的核心概念。如果你熟悉 PyTorch 或 TensorFlow，这可能对你来说有比较大的跨度。但由于 ggml 是一个 低层 的库，理解这些概念能让你更大幅度地掌控性能。
- ggml_context: 一个装载各类对象 (如张量、计算图、其他数据) 的“容器”。
- ggml_cgraph: 计算图的表示，可以理解为将要传给后端的“计算执行顺序”。
- ggml_backend: 执行计算图的接口，有很多种类型: CPU (默认) 、CUDA、Metal (Apple Silicon) 、Vulkan、RPC 等等。
- ggml_backend_buffer_type: 表示一种缓存，可以理解为连接到每个
ggml_backend的一个“内存分配器”。比如你要在 GPU 上执行计算，那你就需要通过一个buffer_type(通常缩写为buft) 去在 GPU 上分配内存。 - ggml_backend_buffer: 表示一个通过
buffer_type分配的缓存。需要注意的是，一个缓存可以存储多个张量数据。 - ggml_gallocr: 表示一个给计算图分配内存的分配器，可以给计算图中的张量进行高效的内存分配。
- ggml_backend_sched: 一个调度器，使得多种后端可以并发使用，在处理大模型或多 GPU 推理时，实现跨硬件平台地分配计算任务 (如 CPU 加 GPU 混合计算)。该调度器还能自动将 GPU 不支持的算子转移到 CPU 上，来确保最优的资源利用和兼容性。