Peder Nielsens anden store passion var kunst – og meget gerne moderne kunst. Han var således tæt på maleren [[Martin Kaalund-Jørgensen]], da denne slog sig ned i Silkeborg i 1920'erne og han var tillige et af [[Asger Jorns|Asger Jorn]] faste holdepunkter. Han stod bl.a. bag opkøb af Jorns tidlige værker og siden hen sendte Jorn billeder hjem af de kunstnere, han arbejdede sammen med i udlandet. Hermed var grunden lagt til det, der i 1966 skulle blive til [[Silkeborg Kunstmuseum]].
Og som om dette ikke er nok, så var Peder Nielsen endvidere internationalt anerkendt ekspert på stankelben og svampemyg. Amerikanske og europæiske myg bærer således hans navn: Nielseni eller Nielseniana. Peder Nielsen skrev bindet om stankelben i værket "Danmarks Fauna". Inden for det entomologiske felt arbejdede han tæt sammen med de to andre lokale naturforskere [[P. Peter Esben-Petersen]] og [[A. C. Jensen-Haarup]], der begge var ansatte ved byens skolevæsen.
Peder Nielsen var også optaget af naturfredningssagen og var i perioden 1944-1958 formand for [[Naturfredningsforeningen for Silkeborg og Omegn]].
Som et kuriosum kan det nævnes at ungdomsvennen, politikeren og forfatteren [[Julius Bomholt]], omtaler Peder Nielsen ved hans rigtige navn i romanen "Længsel".