浏览代码

fix: add missing interface options

saul 1 年之前
父节点
当前提交
1d1ce256f4
共有 1 个文件被更改,包括 4 次插入0 次删除
  1. 4 0
      src/interfaces.ts

+ 4 - 0
src/interfaces.ts

@@ -12,6 +12,8 @@ export interface Options {
   numa: boolean
   num_ctx: number
   num_batch: number
+  num_gpu: number
+  num_gqa: number
   main_gpu: number
   low_vram: boolean
   f16_kv: boolean
@@ -40,6 +42,8 @@ export interface Options {
   mirostat_eta: number
   penalize_newline: boolean
   stop: string[]
+  rope_frequency_base: number
+  rope_frequency_scale: number
 }
 
 export interface GenerateRequest {