Bladeren bron

fix: add missing interface options

saul 1 jaar geleden
bovenliggende
commit
1d1ce256f4
1 gewijzigde bestanden met toevoegingen van 4 en 0 verwijderingen
  1. 4 0
      src/interfaces.ts

+ 4 - 0
src/interfaces.ts

@@ -12,6 +12,8 @@ export interface Options {
   numa: boolean
   num_ctx: number
   num_batch: number
+  num_gpu: number
+  num_gqa: number
   main_gpu: number
   low_vram: boolean
   f16_kv: boolean
@@ -40,6 +42,8 @@ export interface Options {
   mirostat_eta: number
   penalize_newline: boolean
   stop: string[]
+  rope_frequency_base: number
+  rope_frequency_scale: number
 }
 
 export interface GenerateRequest {