Początki miejscowości Nowe Grabie sięgają wieku XVIII. Wieś założona przez osadników holenderskich przed 1796r. Na początku obszar obejmował dzisiejsze miejscowości Ludwikowa i Karolewa. Około 1800r istniała w miejscowości szkoła ewangelicka. O pobycie kolonistów świadczy zachowany w północno-wschodniej części wsi cmentarz.

HISTORIA NASZEJ SZKOŁY

1945r - lekcje odbywają się w prywatnych domach, a następnie w wyremontowanym i przystosowanym do potrzeb szkoły budynku, gdzie  uczyły się klasy I-IV, klasa V miała zajęcia w prywatnym budynku.

1959r - rozpoczęcie budowy nowej szkoły

1.09.1961r - oddanie szkoły do użytku

1975-1976r - modernizacja budynku (założenie CO i instalacji wodnej).

W latach 1980 -1984 dyrektorem szkoły nadal była p. Krystyna Dąbrowska.
W wyniku reorganizacji szkół od września 1984r. p. Krystyna Dąbrowska objęła stanowisko Gminnego Inspektora Oświaty i Wychowania z siedzibą w Gąbinie. Jej miejsce jako dyrektor szkoły zajął p. Sylwester Dąbrowski. Był dyrektorem do 1988 r.

W latach 1983-1985 szkoła została rozbudowania. Powstała wówczas sala gimnastyczna, dwie nowe sale lekcyjne, biblioteka, pokój nauczycielski, szatnia dla dzieci i toalety. Wiele prac przy rozbudowie wykonywanych było przy dużej pomocy rodziców.

Od czasu zmniejszenia pensum godzin nauczycielskich, zwiększyła się liczba pracujących nauczycieli. Rada Pedagogiczna w tym okresie liczyła 8 nauczycieli. Od 1981 roku pracowała p. Anna Strzelecka, od 1982 roku p. Mieczysław Żerowski, od 1983 roku p. Benedykta Wachowicz, Anna Gołdyn, Dariusz Lasota i J. Machała. Od 1984 r. p. Elżbieta Kamińska, Dorota Czajkowska, Lucjan Gołdyn i Katarzyna Drabik.

W 1985 roku do szkoły przyszły p. Barbara Artiomow i Danuta Jakubowska, a część pracujących poprzednio nauczycieli odeszła do pracy w innych szkołach. W 1986 roku do pracy przyjęta została p. Eugenia Ziółkowska.

W późniejszych latach nastąpiła stabilizacja kadry pedagogicznej. W latach 1989 — 1998 pracowała w naszej szkole p. Aleksandra Jadczak, natomiast p. Benedykta Wachowicz odeszła do pracy w innej szkole. Od 1990 roku w szkole rozpoczęła się nauka religii. Etat katechetki objęła p. Małgorzata Machała, a w klasach starszych religii uczył ksiądz kanonik Zygmunt Karp. Od 1991 roku stanowisko dyrektora objęła p. Barbara Artiomow. W w/w okresie w naszej szkole pracowali również następujący nauczyciele: Marek Bieniek, Elżbieta Żabka, Elżbieta Falkowska, Jan Zalewski, Aleksander Jędrzejkiewicz, Waldemar Kidziun, Beata Matuszewska, Renata Cichecka, Ewa Krajewska, Jolanta Maćkowiak, Joanna Jasińska, Iwona Komsta, Maria Macek, Janina Gołębiewska oraz Beata Kłys. W 1997r została zatrudniona p. Renata Tarka.

Od 1998 roku szkoła jest sześcioklasową szkołą podstawową zgodnie z założeniami reformy oświaty. W 2001 roku przyjęła ona imię wybitnego wodza i architekta polskiej niepodległości Marszałka Józefa Piłsudskiego i sztandar z jego wizerunkiem.

 W roku 2005 otrzymaliśmy nową pracownię komputerową refundowaną przez Europejski Fundusz Społeczny. Baza dydaktyczna szkoły jest ciągle wzbogacana i modyfikowana, dostosowywana do potrzeb uczniów i programów nauczania.

W 2005 roku nasza szkoła uzyskała certyfikat  „Szkoły z klasą”. Od 2008 roku w historię naszej szkoły wpisał się na stałe „Piknik Pieczonego Ziemniaka”, który należy do tradycji nie tylko szkoły, ale całej społeczności lokalnej.

Od 2011 roku na terenie szkoły, w ramach programu „Radosna szkoła”, został wybudowany plac zabaw i udostępniony dla społeczności lokalnej.

Dzięki możliwości pozyskania środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego w 2012r powstał przy szkole Punkt Przedszkolny przystosowany do wczesnej edukacji dzieci -  3-5-latków na okres 01.07.2012-30.06.2014.