הנושא הראשון שהמשנה עוסקת בו הוא טומאת כתבי קודש, נושא שהוזכר אגב הוויכוח במשנה הקודמת. כדרכה אין המשנה פותחת בדין הראשוני, שכתבי קודש מטמאים, אלא באחת ההסתעפויות והתוצאות שלו. הבסיס ההלכתי הוא שכל כתבי הקודש מטמאים את הידיים. הנימוקים לכך יובהרו להלן, פ"ד מ"ו. ההלכה היא מסוף ימי בית שני לכל המאוחר, והיא נרמזת גם במקורות נוספים (משנה, כלים פט"ו מ"ו; פרה פ"י מ"ג).
רצועות תפילין עם התפילין מטמות את הידים – שכן התפילין הן בחזקת כתבי הקודש. החידוש הוא שגם הרצועות מטמאות, אף על פי שאין עליהן כתב, אבל הן חלק מאביזר הקודש. עם זאת מצויה במשנה הגבלה: הן מטמאות רק כשהן עם התפילין (בבלי, שבת עט ע"ב – להלן). רבי שמעון אומר רצועות תפילין אינן מטמות הידים – הן אינן נכללות בכתבי הקודש. השאלה היא האם רבי שמעון סובר שרצועות תפילין הן חול, או שלדעתו הן קודש.
בתוספתא שנינו: "רבי שמעון בן יהודה אומר משום רבי שמעון, הנוגע ברצועה טהור עד שיגע בקציצה. רבי זכיי אומר משום רבי יעקב, הנוגע בקציצה טהור, עד שיגע ברצועה" (פ"ב ה"ט, עמ' 683-682). עמדתו של רבי שמעון ברורה: הרצועה אינה קדושה, הקציצה (קופסת התפילין) והקלף עצמו הם קודש. עמדת רבי יעקב הפוכה ותמוהה: מדוע הקציצה קדושה יותר מהרצועה? הנוסחה שלפנינו מצויה גם בר"ש, אבל בכתב יד וינה: "עד שיגע במזוזה". מקורה של נוסחה זו בבבלי, וכך שנינו: "מאי מזוזה? מזוזה שבתפילין4הדיון הוא על מינימום הוצאה של קלף, ומה ניתן לכתוב על חתיכת קלף קטנה. המשנה קובעת כדי להוציא תפילין, ועל כך מפרש הבבלי מזוזה שבתפילין, כלומר הפרשיות שבמזוזה המצויות בתפילין. כנראה השתדלו לכתוב תפילין בכתב קטן במיוחד כדי שהתפילין שמהלכים אתן כל היום תהיינה קטנות. . וקרי להו לתפילין מזוזה? אין, והתניא: רצועות תפילין עם התפילין מטמאות את הידים, בפני עצמן אין מטמאות את הידים. רבי שמעון בן יהודה אומר משום רבי שמעון: הנוגע ברצועה – טהור, עד שיגע בקציצה. רבי זכאי משמו אומר: טהור, עד שיגע במזוזה עצמה" (בבלי, שבת עט ע"ב). התניא היא התוספתא, ויש בה הסבר למינוח "עם התפילין" שבמשנה, והנוסח "מזוזה" הוא כמו בתוספתא כתב יד וינה, ברם הבבלי מפרש מינוח זה כתפילין. אגב אורחא הניסוח שבבבלי פותר את הבעיה ההלכתית, שכן כתוב רק עד שייגע במזוזה עצמה, כלומר בקלף עצמו. נוסח זה של הבבלי, ואף הנוסח שבכתב יד וינה, פותרים את הבעיה לחלוטין, אבל שניהם נראים כתיקון סופר שעמד על השאלה הברורה שהעלינו. לעומת זאת ספק אם סופר היה מתקן את הנוסח מ"מזוזה" ל"קציצה" והיה מייצר כך שאלה זועקת זו.
מעבר למשנתנו אין רצועות התפילין נזכרות במקורות התנאים, אלא רק בירושלמי (כגון ברכות פ"ג ה"ה, פו ע"ד) ובבבלי (מועד קטן כה ע"א; מנחות לה ע"ב).
נראה שהמצווה לא זכתה להימנות עם המצוות שהמוני בית ישראל קיימו בחיי היום-יום. הרחבנו בכך במשנה הראשונה במסכת עירובין. עם כל זאת, משניות אחרות מציגות מציאות שבה כאילו כל אדם מישראל מניח תפילין דבר יום ביומו. דוגמה לכך היא משנת נדרים (פ"ב מ"ב) המניחה כאילו כל אדם מניח תפילין, ומי שאינו נוהג כן עובר על המצווה.
בציורי פסיפס מבתי כנסת מופיעות דמויות אנושיות, רובן לבושות אך ללא תפילין, כולל התמונה מדורה אירופוס המתארת מנהיג קורא בתורה (משה, יחזקאל, עזרא?). אולי התכוון האמן לצייר קורא בתורה בשבת, שבה אין מתעטרים בתפילין, אך דומה שקל יותר להסביר את הציור במציאות חברתית שבה הנחת תפילין בפומבי הייתה נדירה..
במערה ליד קומראן (מערת האגרות, מס' 4) נמצאו מספר זוגות תפילין, ומתאים הוא שבני הכת ששמרו על מצוות טהרה בקנאות הקפידו על שמירת מצוות תפילין. ברם, ביתר המערות שבהן התחבאו לוחמי בר כוכבא (נחל צאלים, נחל משמר ומורבעת) נמצאו רק תפילין בודדות, בדיוק כפי שהעידו חכמים שמצווה זו הייתה רופפת בידם בימים רגילים ובימי השמד.