Gleim wurde am 02.04.1719 in Ermsleben geboren. Er war das vierte Kind eines Obersteuereinnehmers. Zunächst erhielt er Unterricht durch einen protestantischen Geistlichen, ab 1730 besuchte er die Stadtschule zu Wernigerode. 1735 starben beide Eltern; wohlhabende Gönner ermöglichten aber das Studium der Philosophie und Rechtswissenschaften in Halle. Ab 1743 arbeitete er in Berlin als Hauslehrer, dann als Stabssekretär des Prinzen Wilhelm von Brandenburg-Schwedt. 1747 wurde er zum Sekretär des Domkapitels in Halberstadt ernannt; 1756 erhielt er ein Kanonikat des Stifts Walbeck bei Helmstedt. Die dadurch erreichte, finanziell Wohlabgesicherte Position, ermöglichte es dem Junggesellen in Halberstadt seinen Traum von einer anakreontischen Existenz zu verwirklichen. Gleim war mit Friedrich Gottlieb Klopstock, Johann Gottfried Herder, Johann Heinrich Voß und Johann Gottfried Seume befreundet und gründete den Halberstädter Dichterkreis, einen Bund junger Literaten, die er selbstlos förderte. Darüber hinaus suchte er die Freund- oder wenigstens Bekanntschaft mit allen deutschsprachigen Dichtern und Dichterinnen.
Seine bekannteste Dichtung waren die "Preußischen Kriegslieder in den Feldzügen 1756 und 1757 von einem Grenadier", die er am Anfang des Siebenjährigen Krieges voller Begeisterung für Friedrich II. schrieb. Darin war er ein Vorläufer der deutschen politischen Lyrik. Bereits zu Lebzeiten galt Gleim als eine literarische Persönlichkeit. Bis ins hohe Alter genoss er als »Vater Gleim« hohes Ansehen. Im Jahr 1801 erblindete er, auch eine ärztliche Behandlung konnte die Krankheit nicht aufhalten oder bessern. Johann Wilhelm Ludwig Gleim starb am 18. Februar 1803 in Halberstadt. Der Nachlass Gleims befindet sich in dem vom Dichter als Freundschaftstempel ausgebauten Gleimhaus in Halberstadt.