המילה "תשליך" מקורה בספר מיכה, שם הנביא אומר "מִי-אֵ-ל כָּמוֹךָ נֹשֵׂא עָו‍ֹן וְעֹבֵר עַל-פֶּשַׁע לִשְׁאֵרִית נַחֲלָתוֹ לֹא-הֶחֱזִיק לָעַד אַפּוֹ כִּי-חָפֵץ חֶסֶד הוּא. יָשׁוּב יְרַחֲמֵנוּ יִכְבֹּשׁ עֲו‍ֹנֹתֵינוּ וְתַשְׁלִיךְ בִּמְצֻלוֹת יָם כָּל-חַטֹּאותָם. תִּתֵּן אֱמֶת לְיַעֲקֹב חֶסֶד לְאַבְרָהָם אֲשֶׁר-נִשְׁבַּעְתָּ לַאֲבֹתֵינוּ מִימֵי קֶדֶם.

בפסוקים אלו הנביא משבח את ה' שהוא מוחל על העוונות של בני ישראל, ומשליך למצולות ים את החטאים. בזוהר הקדוש נאמר, שבפסוקים אלו מרומזים י"ג מידות הרחמים, ושמידות הרחמים המרומזים בפסוקים אלו, מכוונים לדרגה גבוהה אף יותר ממידות הרחמים המוכרות, שכתובות בחומש שמות ושאותם אמר משה רבנו.

חוץ מאמירת התפילה ליד מקור מים, כדי לרמז על נבואת מיכה ועל מידות הרחמים, משתדלים שבמים שלידם אומרים את התפילה יהיו גם דגים, כי עיני הדגים לא נעצמות אף פעם, ודבר זה מרמז לנו על ההשגחה העליונה שאינה נעצרת לעולם. תמיד יש מעלינו עין רואה ואוזן שומעת, ובמילא כל מעשינו בספר נכתבים – הן הדברים החיוביים והן השליליים, ולכן אנו מבקשים מה' שלמרות שהוא יודע היטב על מעשינו, בכל זאת שיסלח לנו.

סיבה נוספת שנכתבה על הדגים בתשליך, היא להראות את חוסר האונים שלנו מול הבורא – כמו דגים שניצודים ברשת, ואין להם שום יכולת להתנגד לאחר שהם עלו ברשת מן המים. היות ואין לנו יכולת לעשות דבר, אנו מבקשים מה' שהוא יסלח לנו, ויכתוב ויחתום אותנו לשנה טובה.