FROM codellama:13b-code

# Base model name and adapter
ADAPTER ./codellama-13b-qml.gguf

# Parameters optimized for code generation
PARAMETER temperature 0
PARAMETER repeat_penalty 1.1
PARAMETER num_predict 300
PARAMETER top_p 0.9
PARAMETER stop "<SUF>"
PARAMETER stop "<PRE>"
PARAMETER stop "</PRE>"
PARAMETER stop "</SUF>"
PARAMETER stop "< EOT >"
PARAMETER stop "\\end"
PARAMETER stop "<MID>"
PARAMETER stop "</MID>"
PARAMETER stop "##"


# Template format for code interactions
TEMPLATE """{{if .Prompt}}{{ .Prompt }}{{end}}{{if .Response}}{{ .Response }}{{end}}"""