Ada beberapa sumber atau faktor yang patut diduga sebagai penyebab utama kesulitan belajar siswa. Sumber itu dapat berasal dari dalam diri siswa sendiri maupun dari luar diri siswa. Dari dalam diri siswa dapat disebabkan oleh faktor biologis maupun psikologis. Dari luar diri siswa, kesulitan belajar dapat bersumber dari keluarga (pendidikan orang tua, hubungan dengan keluarga, keteladanan keluarga dan sebagainya), keadaan lingkungan dan masyarakat secara umum.
Kesulitan belajar tidak dialami hanya oleh siswa yang berkemampuan di bawah rata-rata atau yang dikenal sungguh memiliki learning difficulties, tetapi dapat dialami oleh siswa dengan tingkat kemampuan manapun dari kalangan atau kelompok manapun. Tingkat dan jenis sumber kesulitannya beragam. Mengutip Brueckner dan Bond, Cooney, Davis, dan Henderson (1975) mengelompokkan sumber kesulitan itu menjadi lima faktor, yaitu:
1. Faktor Fisiologis
Kesulitan belajar siswa dapat ditimbulkan oleh faktor fisiologis. Hal ini antara lain ditunjukkan oleh kenyataan bahwa persentase kesulitan belajar siswa yang mempunyai gangguan penglihatan lebih dari pada yang tidak mengalaminya. Demikian pula kesulitan siswa yang mempunyai gangguan pendengaran lebih banyak dibandingkan dengan yang tidak mengalaminya.
Hal yang serupa juga terjadi pada siswa yang mempunyai gangguan neurologis (sistem syaraf). Sistem koordinasi sistem syaraf yang terganggu merupakan kendala dalam siswa belajar. Dalam hubungannya dengan faktor-faktor di atas, umumnya guru matematika tidak memiliki kemampuan atau kompetensi yang memadai untuk mengatasinya. Yang dapat dilakukan guru hanyalah memberikan kesempatan kepada siswa yang memiliki gangguan dalam penglihatan atau pendengaran tersebut untuk duduk lebih dekat ke meja guru. Selebihnya, hambatan belajar tersebut hendaknya diatasi melalui kerjasama dengan pihak yang memiliki kompetensi (bimbingan dan konseling misalnya) sehingga dapat menanganinya lebih baik.
2. Faktor Sosial
Jika sepulang dari sekolah seorang siswa senantiasa ditanya ibunya tentang keadaan kegiatan belajarnya di sekolah, kemudian memberikan dorongan positif atas kekurangberhasilan atau keberhasilan anaknya, maka perhatian ibu itu akan dapat mendorong siswa untuk senantiasa berusaha belajar.
Tetapi jika seorang ayah sering mengatakan: "Saya dulu tidak pernah memperoleh nilai hitam dalam ilmu pasti (matematika), tetapi toh berhasil juga menjadi 'orang', kaya lagi!" maka hal tersebut merupakan ungkapan yang dapat menurunkan motivasi siswa belajar matematika.
Hal itu dapat berlanjut kepada anaknya yang mengatakan kepada orang tuanya: "Kalau begitu saya lebih baik melanjutkan sekolah yang tidak ada matematikanya saja, ya Pak?" Sebaliknya jika bapak itu mengatakan "Saya tidak pernah memperoleh nilai hitam dalam matematika, tetapi saya banyak belajar cara berpikir matematika dan ternyata dapat menjadi orang", maka pernyataan Bapak yang tidak menguasai matematika dengan baik itu masih merupakan dorongan bagus bagi siswa untuk mau belajar matematika. Hal senada mestinya juga dilakukan oleh guru dalam memotivasi siswanya belajar matematika.
Hubungan orang tua dengan anak, dan tingkat kepedulian orang tua tentang masalah belajarnya di sekolah, merupakan faktor yang dapat memberikan kemudahan, atau sebaliknya menjadi faktor kendala bahkan penambah kesulitan belajar siswa. Termasuk dapat memberikan kemudahan antara lain: kasih sayang, pengertian, dan perhatian atau kepedulian (misalnya "menyertai" anaknya belajar, dan tersedianya tempat belajar yang kondusif.
Di samping itu ekonomipun merupakan faktor, baik positif maupun negatif. Siswa yang mengalami masalah sosial di rumahnya biasanya dari kalangan keluarga yang kurang menaruh perhatian pada perkembangan anaknya. Hal ini mungkin akibat dari kepedulian yang rendah terhadap belajar anak/siswa, permasalahan tersebut dapat terjadi baik dari kalangan yang ekonominya sudah mapan maupun ekonominya masih lemah.
Keluarga yang mempunyai kemudahan dalam memberikan alat permainan dan bacaan edukatif kepada anaknya yang masih belajar di tingkat pendidikan dasar, memberikan kesempatan lebih baik bagi anak-anaknya untuk berkembang dan mengatasi kesulitan mereka di kelas.
Usaha-usaha yang dilakukan melalui permainan manipulatif bangun datar, bangun ruang dan permainan manipulatif lainnya memberikan
tantangan yang dapat mengembangkan alternatif dalam mengatasi kesulitan belajar. Faktor sosial di dalam dan di luar kelas dalam lingkungan sekolah juga berpengaruh terhadap kelancaran atau kesulitan belajar siswa. Siswa yang kurang dapat bergaul atau menyesuaikan dengan situasi kelas oleh berbagai sebab yang menyebabkan ia merasa terpencil, terhina atau senantiasa menjadi bahan ejekan atau olokan, merupakan faktor penghambat, meskipun bagi sebagian siswa yang biasa mengatasi masalah hal itu dapat digunakan sebagai pemacu untuk menunjukkan eksistensinya.
Interaksi antar siswa yang kurang dibiasakan dalam kegiatan di kelas dapat menyebabkan masalah sosial. Anak yang merasa kurang
semakin menyendiri, sebaliknya dengan kebiasaan lainnya di rumah ia dapat mengalihkannya dengan minta perhatian guru. Secara umum siswa yang terlalu tertutup atau terlalu terbuka mungkin adalah siswa yang mengalami masalah sosial di rumah atau tekanan dari teman atau mungkin orang tuanya.
Jadi lingkungan belajar di sekolah juga merupakan salah satu faktor sosial kesulitan belajar siswa. Masalahnya perlu dikaji dan penyelesaiannya mungkin memerlukan bantuan wali kelas, guru bimbingan atau pihak luar yang lebih memahami masalah siswa tersebut.
3. Faktor Emosional
Siswa yang sering gagal dalam matematika lebih mudah berpikir tidak rasional, takut, cemas, benci pada matematika. Jika demikian maka hambatan itu dapat "melekat" pada diri anak/siswa. Masalah siswa yang termasuk dalam faktor emosional dapat disebabkan oleh:
1) Obat-obatan tertentu, seperti obat penenang, ekstasi, dan obat lain yang sejenis.
2) Kurang tidur.
3) Diet yang tidak tepat.
4) Hubungan yang renggang dengan teman terdekat.
5) Masalah tekanan dari situasi keluarganya di rumah.
Mengutip Teaching About Drug Abuse (1972:22-26), Cooney dkk (1975) dinyatakan bahwa siswa yang mengkonsumsi pil ekstasi kemalasannya naik luar biasa, kadang-kadang menunjukkan perangai yang tidak rasional, depresi, tak sadar, atau sebaliknya: tertawa-tawa. Tampilannya berubah tiba-tiba, kesehatan menurun. Akibatnya siswa akan kurang menaruh perhatian terhadap pelajaran, atau mudah mengalami depresi mental, emosional, kurang ada minat membaca buku maupun menyelesaikan pekerjaan rumah. Siswa yang terkena narkoba biasanya daya ingatnya menurun. Penanganan kesulitan belajar yang disebabkan oleh hal-hal di atas sebaiknya dilakukan oleh orang yang memiliki kompetensi, baik psikologis, medis maupun agamis.
4. Faktor Intelektual
Siswa yang mengalami kesulitan belajar disebabkan oleh faktor intelektual, umumnya kurang berhasil dalam menguasai konsep, prinsip, atau algoritma, walaupun telah berusaha mempelajarinya. Siswa yang mengalami kesulitan mengabstraksi, menggeneralisasi, berpikir deduktif dan mengingat konsep-konsep maupun prinsip-prinsip biasanya akan selalu merasa bahwa matematika itu sulit. Siswa demikian biasanya juga mengalami kesulitan dalam memecahkan masalah terapan atau soal cerita. Ada juga siswa yang kesulitannya terbatas dalam materi tertentu, tetapi merasa mudah dalam materi lain.
5. Faktor Pedagogis
Di antara penyebab kesulitan belajar siswa yang sering dijumpai adalah faktor kurang tepatnya guru mengelola pembelajaran dan menerapkan metodologi.
Misalnya guru masih kurang memperhatikan kemampuan awal yang dimiliki siswa, guru langsung masuk ke materi baru. Ketika terbentur kesulitan siswa dalam pemahaman, guru mengulang pengetahuan dasar yang diperlukan. Kemudian melanjutkan lagi materi baru yang pembelajarannya terpenggal. Jika ini berlangsung dan bahkan tidak hanya sekali dalam suatu tatap muka, maka akan muncul kesulitan umum yaitu kebingungan karena tidak terstrukturnya bahan ajar yang mendukung tercapainya suatu kompetensi.
Ketika menerangkan bagian-bagian bahan ajar yang menunjang tercapainya suatu kompetensi bisa saja sudah jelas, namun jika secara keseluruhan tidak dikemas dalam suatu struktur pembelajaran yang baik, maka kompetensi dasar dalam penguasaan materi dan penerapannya tidak selalu dapat diharapkan berhasil. Dengan kata lain, struktur pelajaran yang tertata secara baik akan memudahkan siswa, paling tidak mengurangi kesulitan belajar siswa.
Kejadian yang dialami siswa dan sering muncul menurut guru adalah: "Ketika dijelaskan mengerti, ketika mengerjakan sendiri tidak bisa". Jika guru menanggapinya hanya dengan menyatakan: memang hal itu yang sering dikemukakan siswa kepada saya, berarti guru tersebut tidak merasa tertantang profesionalismenya untuk mencari penyebab utama, menemukannya, dan mengatasi masalahnya.
Kesulitan itu dapat terjadi karena guru kurang memberikan latihan yang cukup di kelas dan memberikan bantuan kepada yang memerlukan, meskipun ia sudah berusaha keras menjelaskan materinya. Hal ini terjadi karena guru belum menerapkan hakekat belajar matematika, yaitu bahwa belajar matematika hakekatnya berpikir dan mengerjakan matematika. Berpikir ketika mendengarkan penjelasan guru, mempunyai implikasi bahwa tanya jawab merupakan salah satu bagian penting dalam belajar matematika. Dengan tanya jawab ini proses diagnosis telah diawali. Ini berarti diagnostic teaching, pembelajaran dengan senantiasa sambil mengatasi kesulitan siswa telah dilaksanakan dan hal ini yang dianjurkan.
Secara umum, cara guru memilih metode, pendekatan dan strategi dalam pembelajaran akan berpengaruh terhadap kemudahan atau kesulitan siswa dalam belajar siswa. Perasaan lega atau bahkan sorak sorai pada saat bel berbunyi pada akhir jam pelajaran matematika adalah salah satu indikasi adanya beban atau kesulitan siswa yang tak tertahankan. Jika demikian maka guru perlu introspeksi pada sistem pembelajaran yang dijalankannya.