אחרי סיום האוניברסיטה, עבד באלמר שנתיים בחברת פרוקטר אנד גמבל כעוזר מנהל ייצור לפני שהתקבל לאוניברסיטת סטנפורד - לבית הספר למנהל עסקים, שם קיבל תואר שני במנהל עסקים. שנה לאחר מכן עזב באלמר את סטנפורד לאחר שגייטס שכנע אותו להצטרף למיקרוסופט. באלמר היה העובד ה-24 במיקרוסופט כשהצטרף ב-11 ביוני 1980, המנהל העסקי הראשון אשר הועסק על ידי גייטס. בהתחלה הוצע לו שכר של 50,000$ וגם אחוזי בעלות בחברה. כשמיקרוסופט הפכה לתאגיד ב-1981, החזיק באלמר בבעלותו 8% מהחברה.

באלמר הוביל כמה מחלקות במיקרוסופט, הכוללות את פיתוח מערכות ההפעלה, תפעול, מכירות ותמיכה. ביולי 1998, קודם לתפקיד נשיא החברה, וב-13 בינואר 2000 מונה למנכ"ל החברה, במקום ביל גייטס שפרש. בזמן שגייטס החזיק בחזון הטכנולוגי, באלמר טיפל בצד הכלכלי של החברה. ב-2003 מכר באלמר 8.6% אחוזים מהמניות שלו, מה שהשאיר איתו עם 4% בחברה. באותה שנה באלמר שינה את תוכנית חלוקת האופציות לעובדים, באופן שגרם לעובדים להיות מיליונרים מוקדם יותר.

נטייתו לבטא את עצמו בקול רם היא מוכרת. מקרה מפורסם מ-1991, לאחר שצרח "!Windows, Windows, Windows" בהמשכיות בזמן ישיבה ביפן גרם לפגיעה חמורה במיתרי הקול של באלמר והם דרשו ניתוח. עוד מקרה מפורסם קרה בכנס מפתחים של מיקרוסופט בו באלמר עלה לבמה בליווי מוזיקה רועשת וצרחות. בהמשך הנאום שלו צעק באלמר "מפתחים! מפתחים! מפתחים!". דבר זה משמש כבדיחה קבועה על באלמר ומיקרוסופט.

ב-23 באוגוסט 2013 הודיע באלמר על כוונתו לפרוש מתפקיד מנכ"ל מיקרוסופט במהלך השנה הקרובה. בפברואר 2014 סיים את כהונתו כמנכ"ל, והוא ממשיך להיות חבר במועצת המנהלים של החברה. בשנת 2014 רכש את קבוצת הכדורסל לוס אנג'לס קליפרס תמורת שני מיליארד דולר. בהמשך אותה שנה פרש ממועצת המנהלים של מיקרוסופט.