Restaurant Køllegaarden har sit navn efter familien Køl der for mange år siden drev gården som et traditionelt familielandbrug. Efterhånden som tiden gik, blev gården i folkemunde bare kaldt ”Køllegaarden” (Køls gaard)

Køllegaarden blev senere lagt ind under Skjørringe Gods som i 1973 etablerede golfbanen. Da Køllegaarden ligger smukt midt på golfbanen genopstod den gamle gaard som klubhus – og nu også som sæson restaurant.