Yn ôl yr elusennau mae toriadau i'w cyllidebau yn golygu nad yw'r corff yn gwarchod nac yn gwella pysgodfeydd - sydd yn un o'i ddyletswyddau.
Mae lefelau llygredd, yn enwedig gan ffermydd, nawr "allan o reolaeth" meddai Afonydd Cymru a'r Ymddiriedolaeth Pysgota.
Dywedodd llefarydd CNC bod "llygredd wedi bod yn broblem dros y blynydde diwethaf", ond eu bod hefyd yn gweithio gyda ffermwyr yn ogystal â chymryd camau cyfreithiol.
Dywedodd llefarydd ar ran Llywodraeth Cymru bod taclo llygredd yn "hollbwysig" wrth wella ansawdd dwr Cymru, ond ychwanegodd nad oedd toriadau i CNC wedi "effeithio ar y gallu i gwblhau eu dyletswyddau statudol".
'Anhrefnus a biwrocrataidd'
Cafodd CNC ei sefydlu yn 2013 wedi i Gyngor Cefn Gwlad Cymru, Comisiwn Coedwigaeth Cymru ac Asiantaeth yr Amgylchedd Cymru uno.
Un o'i ddyletswyddau yw monitro cyflwr afonydd Cymru a gweithredu'n erbyn unigolion neu gwmnïau sy'n eu llygru.
Gall pridd, gwrtaith a llaid, yn ogystal â gwastraff gael eu canfod yn yr afonydd, ac mae hyn yn lladd pysgod a'r pryfed sy'n eu bwydo.
Mae ffigyrau swyddogol ddaeth i law BBC Cymru yn dangos bod CNC wedi derbyn 6,886 adroddiad o lygredd rhwng Ebrill 2013 a Rhagfyr 2016.
Dylai'r corff fod yn fwy llym meddai Prif Weithredwr yr Ymddiriedolaeth Bysgota, Mark Lloyd. Ond mae'n dweud nad oes ganddyn nhw'r "adnoddau i ymchwilio yn gywir".
Mae cyllideb Cyfoeth Naturiol Cymru wedi ei wasgu yn gyson gan Lywodraeth Cymru. Mae disgwyl i'w hincwm leihau o £20m dros y tair blynedd nesaf, os fydd toriadau'n 5% y flwyddyn.
Dywedodd Mr Lloyd: "Maen nhw wedi colli llawer o'i staff ar y rheng flaen ac yn methu gweithredu ar y cyd.
"Mae'r mudiad yn anhrefnus, yn rhy fiwrocrataidd a dyw hi ddim yn ymddangos bod gyda nhw strategaeth. Dwi'n credu eu bod nhw'n methu yn eu dyletswydd i amddiffyn yr amgylchedd."
Ym mis Rhagfyr y llynedd cafodd miloedd o bysgod eu lladd yn Afon Teifi yng Ngheredigion wedi llygredd yn yr afon.
Ysgrifennodd Mr Lloyd at Ysgrifennydd yr Amgylchedd, Lesely Griffiths wedi'r digwyddiad i fynegi ei bryder, gan ddweud bod "nifer o ddigwyddiadau llygredd tebyg wedi bod yng Nghymru yn y blynyddoedd diwethaf".
Ychwanegodd bod yr afonydd "mwyaf pwysig" ar gyfer pysgota a bioamrywiaeth wedi eu heffeithio, a bod hynny'n tanlinellu "methiant ar lefel genedlaethol Llywodraeth Cymru" i daclo'r broblem.
Dywedodd Prif Weithredwr Afonydd Cymru, y corff sy'n cynrychioli'r chwe ymddiriedolaeth afon yng Nghymru, ei fod yn cytuno gyda'r sylwadau yn y llythyr.
Dywedodd Dr Stephen Marsh-Smith: "Rydyn ni wedi gweld trychinebau ofnadwy yng Nghymru, nid dim ond o ffynhonnell penodol ond llygredd gwasgaredig a'r cynnyrch gwreiddiol yn mynd i'r afonydd ac yn eu dirywio yn wael iawn."
Dywedodd bod yr effaith ar bysgod wedi bod yn "ofnadwy", a bod goblygiadau i'r economi wledig yn ogystal â'r amgylchedd.
Mewn prosiect ar draws y ffin yn Henffordd, mae Asiantaeth Amgylchedd Lloegr yn cymryd "agwedd proactif" yn ôl Dr Marsh-Smith, gan weithio ar y cyd gyda Sefydliad Wysg a Gwy.
Mae'r rheoleiddwyr yn ymweld yn gyson gyda ffermwyr sydd mewn perygl o lygru'r afon yn yr ardal. Mae ffermwyr yna'n cael cyngor cyfrinachol am ddim i geisio atal y broblem.
Dywedodd Kate Adams o Sefydliad Wysg a Gwy bod y cynllun yn gweithio yn "dda iawn" a bod "gwelliant yn lleol i ansawdd y dŵr a chynnydd yn nifer y brithyll afon".
Dywedodd Dr Marsh-Smith mai'r gwahaniaeth "allweddol" yn Lloegr yw "rheoleiddiwr sydd yn gwneud ei brif waith, sef rheoleiddio, ac mae'n bwrw ymlaen i wneud hynny".
Ychwanegodd: "Mae yna angen am hynny yng Nghymru ar frys."
Dywedodd Huwel Manley, Rheolwr Gweithrediadau i CNC bod "llygredd wedi bod yn broblem dros y blynydde diwethaf".
Ychwanegodd bod nifer o opsiynau er mwyn delio gydag achosion, yn cynnwys rhoi rhybuddion, cynnig cyngor neu ddechrau camau cyfreithiol.
"Mae'r sector gyhoeddus drwy Gymru wedi gweld toriadau tebyg," meddai, gan ychwanegu bod hynny'n cael ei ystyried yn y ffordd o weithio.
Pwysleisiodd yr angen i weithio mewn "partneriaeth" gyda sectorau eraill er mwyn datrys problemau "gyda'n gilydd".
Dywedodd llefarydd ar ran Llywodraeth Cymru bod taclo llygredd yn "hollbwysig" wrth wella ansawdd dwr Cymru, a bod angen i ffermwyr "adnabod y cyfrifoldeb pwysig sydd ganddyn nhw wrth ddelio gyda'r broblem".
Ychwanegodd y llefarydd nad oedd toriadau i CNC wedi "effeithio ar y gallu i gwblhau eu dyletswyddau statudol", a bod "disgwyliad" i'r corff gymryd camau lle mae tystiolaeth o dorri rheolau.
Dyw'r rheoleiddiwr amgylcheddol Cyfoeth Naturiol Cymru (CNC) bellach "ddim yn gwneud ei waith yn iawn", yn ôl grwpiau pysgota ac afonydd.