Der Sohn eines von Friedrich dem Großen geadelten Markgräflich Ansbachischen Geheimrats kommt als Zwölfjähriger nach Ansbach, wo er von dem Dichter Johann Peter Uz erste poetische Anregungen bekommt. Karl Ludwig von Knebel studiert 1764 in Halle Jura, bricht das Studium jedoch ab und tritt in Potsdam in das Regiment des Prinzen von Preußen ein. Seine ersten Gedichte in dieser Zeit erscheinen in K. W. Ramlers Liedern der Deutschen sowie im Göttinger Musenalmanach.

1773 beendet er seinen Militärdienst und reist nach Weimar, den Winter verbringt er wieder in Ansbach und Nürnberg. Dort erreicht ihn das Angebot, als Erzieher des Prinzen Konstantin nach Weimar zu gehen. Von Dezember 1774 bis Mai 1775 begleitet Knebel die Prinzen Karl August und Konstantin auf ihrer Bildungsreise nach Straßburg und Paris; bei einem Zwischenhalt in Frankfurt (11. Dezember 1774) lernt er Goethe kennen, den er mit Erbprinz Karl August bekannt macht. Goethe wird daraufhin nach Weimar eingeladen, zwischen ihm und Knebel entwickelt sich eine lebenslange Freundschaft („Urfreund“). Auf Knebels Vermittlung vollzieht sich die Aussöhnung Goethes mit Wieland.

Nachdem das Landgut Tiefurt als Wohnsitz für Konstantin 1776 eingerichtet worden ist, schafft Knebel am Ufer der Ilm die erste englische Parkanlage Weimars. Goethe erwähnt seinen Vertrauten in dem Gedicht „Ilmenau“, bei der Uraufführung der Prosafassung seiner Iphigenie auf Tauris (1779) spielt Knebel den Thoas.

1780 gibt Knebel das Amt des Prinzenerziehers auf. Ende 1781 verlässt er Weimar und kommt erst 1784 dorthin wieder zurück. Ein Jahr später begleitet er Goethe auf dessen Reise nach Karlsbad. Gemeinsame geologische Beobachtungen verzeichnet er in dem von ihm geführten Tagebuch; auf der weiteren Reise nach Hof und Wunsiedel machen beide Erkundungen im Thüringischen Schiefergebirge, finden aber keine Indizien für ein basaltisches Gebirge, das sie vermuten.

1798 heiratet Karl Ludwig von Knebel die Geliebte von Karl August von Sachsen-Weimar, die 33 Jahre jüngere Kammersängerin Luise Rudorff. Mit ihr zieht er zunächst nach Ilmenau, zumal ihm das Leben am Hofe zunehmend unerträglich wird, und siedelt dann ab 1804 nach Jena, wo er bis zu seinem Tode lebt.

Knebels literarische Leistung liegt weniger in eigenen dichterischen Schöpfungen als vielmehr in seinen Übersetzungen sowie im Briefwechsel mit den großen Denkern seiner Zeit, allen voran Goethe, Herder und Wieland. Freund und Begleiter der Weimarer Geistesheroen, übt er Einfluss auf die Entstehung ihrer Werke aus und kann so als eine Art geistiger Satellit und Spiegel des deutschen Idealismus in einer Person betrachtet werden.

Mit homerischen Hymnen, elegischen Distichen und gnomischen Epigrammen gelingt Knebel die Nachbildung antiker lyrischer Formen. Herder gibt ihm zudem Anregungen zu geschichtsphilosophischen und anthropologischen Essays, worin er dessen Ideen umschreibt, weiterdenkt, und teilweise systematisiert. 1815 erscheint eine Sammlung Kleine Gedichte von Knebel, die besonders Frau von Stein lobend erwähnt. Für Frau von Staël verfasst er bereits 1803/04 eine Übersicht über die Entwicklung der deutschen Literatur im 18. Jahrhundert.

Sein Hauptverdienst als Übersetzer kommt ihm zweifellos bei der Übertragung lateinischer Klassiker, vornehmlich Properz und Lukrez, ins Deutsche zu. Die Properz-Übersetzung erscheint 1798 und wird nur durch die spätere Übersetzung von Voß übertroffen; die Lukrez-Übersetzung erscheint 1821 im Göschen-Verlag. Sie wird bis in die jüngste Zeit mehrfach nachgedruckt und ist in ihrer Verwerfung strenger, metrischer Gesetze zugunsten eigentümlicher Silbenverhältnisse der deutschen Sprache von allgemeiner literarischer Bedeutung, weshalb Knebel vielleicht als der erfolg- und einflussreichste frühe deutsche Lukrez-Übersetzer gelten kann.