安土桃山時代まで郡域は広かったが、1586年(天正14年)の木曽川の大洪水により、美濃国との境に流れていた木曽川が葉栗郡内のほぼ中央を流れるようになった。この為、豊臣秀吉の命により、1589年(天正17年)に新しい木曽川を尾張国と美濃国の境とし、美濃国側を羽栗郡に改称した。同時に中島郡・海西郡も2国にまたがる郡となったが、こちらは改称されていない。
明治11年(1878年)12月20日 郡区町村編制法の愛知県での施行により、行政区画としての葉栗郡が発足。「丹羽葉栗郡役所」が丹羽郡小折村に設置され、同郡とともに管轄。
昭和29年(1954年)6月1日 宮田町・草井村が丹羽郡古知野町・布袋町と合併して江南市が発足し、郡より離脱。(2町1村)
平成17年(2005年)4月1日 木曽川町が一宮市に編入。同日葉栗郡消滅。