האם יש הבדל גדול בין שלוש לארבע יחידות במתמטיקה?

כן, ממש.

3 יחידות זה המינימום יחידות במתמטיקה שאפשר לעשות על מנת להוציא תעודת בגרות, אם באפשרותך לעשות יותר יחידות, זה יעזור לך יותר בלימודים הגבוהים.
בדרך כלל מעדיפים לקבל אנשים שעשו 4/5 יחידות למקומות עבודה מסויימים וללימודים הגבוהים.