| FROM codellama:7b-code | |
| # Base model name and adapter | |
| ADAPTER ./codellama-7b-qml.gguf | |
| # Parameters optimized for code generation | |
| PARAMETER temperature 0.2 | |
| PARAMETER num_predict 500 | |
| PARAMETER top_p 0.9 | |
| PARAMETER stop "<SUF>" | |
| PARAMETER stop "<PRE>" | |
| PARAMETER stop "</PRE>" | |
| PARAMETER stop "</SUF>" | |
| PARAMETER stop "< EOT >" | |
| PARAMETER stop "\\end" | |
| PARAMETER stop "<MID>" | |
| PARAMETER stop "</MID>" | |
| PARAMETER stop "##" | |
| # Template format for code interactions | |
| TEMPLATE """{{if .Prompt}}{{ .Prompt }}{{end}}{{if .Response}}{{ .Response }}{{end}}""" | |