Die zweite Hälfte im Leben Sacharows war weitestgehend vom Kampf um die Demokratisierung Sowjetrusslands geprägt. So schrieb er Briefe an die Regierung, in denen er die Freilassung von gewaltsam in der Psychiatrie festgehaltener Dissidenten forderte und gründete zusammen mit Waleri Tschalidse und Andrei Twerdochlebow das Menschenrechtskomitee der UdSSR. Er wohnte auch Gerichtsprozessen gegen Dissidenten bei, die unter anderem wegen Besitz und Verbreitung seines Essays angeklagt waren. Bei einem dieser Prozesse lernte er seine spätere zweite Ehefrau, die Menschenrechtsaktivistin Jelena Bonner kennen, die seine Arbeit in den nächsten Jahren prägen und unterstützen sollte.
In seinem Kampf um die Menschrechte schonte Sacharow auch sich selbst nicht. 1974 trat er während eines Besuchs des US-Präsidenten Nixon in den Hungerstreik, um auf die Situation politischer Gefangener in der UdSSR aufmerksam zu machen. Für seinen Kampf um Menschenrechte bekam er 1975 schließlich den Friedensnobelpreis. Das KGB erlaubte ihm jedoch nicht, ins Ausland zu reisen, um den Preis entgegenzunehmen. Durch seine Arbeit am Atomwaffenprojekt sei er schließlich Geheimnisträger. Jelena Bonner nahm den Preis in Oslo stellvertretend entgegen.
Verbannung nach Gorki
Auch nach der Vergabe des Preises kämpfte Sacharow trotz der Repressalien des KGB gegen das autoritäre System der UdSSR. Den Einmarsch sowjetischer Truppen in Afghanistan verurteilte er aufs Schärfste. Da er sich dazu auch gegenüber westlichen Journalisten äußerte, galt er inzwischen als „Staatsfeind Nr.1“. Das Politbüro entschloss sich deshalb 1980 dazu, ihn in die geschlossene Stadt Gorki (heute: Nischni Nowgorod) zu verbannen.

Da die Stadt für Ausländer gesperrt war, hatte Sacharow – ganz nach Plan des KGB – keinen Kontakt mehr zu ausländischen Journalisten. Sieben Jahre sollte er in diesem Exil verbringen. In dieser Zeit schrieb er weiter Briefe an Aktivisten und Regierungsstellen und auch seine Memoiren, die ihm drei Mal vom KGB gestohlen wurden.