מה הקטע של רשעים (ואפילו כופרים) לאיים על הדתיים בשם ה'?

יש רשעים וכופרים שאומרים לא דתיים (אפילו לרבנים) "ה' יעניש אותך!", "ה' ישים אותך בגינהום!". דוגמא לכך מצינו בתורה עצמה: דתן ואבירם אמרו למשה רבנו (עליו השלום) "יֵרֶא יְהוָה עֲלֵיכֶם וְיִשְׁפֹּט אֲשֶׁר הִבְאַשְׁתֶּם אֶת-רֵיחֵנוּ בְּעֵינֵי פַרְעֹה וּבְעֵינֵי עֲבָדָיו לָתֶת-חֶרֶב בְּיָדָם לְהָרְגֵנוּ" (שמות ה, כא). מישהו יכול להסביר את זה?