Tragiczna historia artysty Chartkowa rozpoczęła się przed sklepem na dziedzińcu Schukina, gdzie zobaczył jeden z wielu obrazów przedstawiających chłopów lub krajobrazy, a biorąc pod uwagę ostatniego dwuręcznego mężczyznę, przyprowadził go do domu. To portret starego mężczyzny w azjatyckich ubraniach, wydawał się niedokończony, ale chwycony tak silnym pędzlem, że oczy na portrecie wyglądały, jakby były żywe. W domu Chartkov dowiaduje się, że właściciel przyszedł z kwartałem, żądając zapłaty za mieszkanie. Rozgoryczenie Chartkowa, który już żałował dwuręcznego i siedzącego z ubóstwa, bez świecy, nasila się. Nie bez zadziorności myśli o losie młodego utalentowanego artysty, który zmuszony jest do skromnego przygotowania, podczas gdy odwiedzający artystów „hałasują jak zwykle” i zabierają spory kapitał. W tym momencie jego spojrzenie spoczywa na portrecie, już przez niego zapomnianym - i całkowicie żywy, niszcząc nawet harmonię samego portretu, przeraża go, dając mu nieprzyjemne uczucie. Idąc spać za ekranami, widzi przez szczeliny portret oświetlony miesiącem, również się na niego gapi. W strachu Chartkov zasłania go prześcieradłem, ale potem wydaje się, że ma oczy, które świecą przez płótno, potem wydaje się, że prześcieradło jest odrywane, w końcu widzi, że prześcieradła naprawdę zniknęły, a stary człowiek poruszył się i wyszedł z ram. Starzec podchodzi do niego za ekranami, siada u jego stóp i zaczyna liczyć pieniądze, które wyjmuje z torby, którą przyniósł ze sobą. Jedna paczka z napisem „1000 sztuk złota” przewraca się na bok, a Chartkov chwyta ją niezauważalnie. Desperacko wyciskając pieniądze, budzi się; ręka odczuwa właśnie w niej ciężar. Po serii kolejnych koszmarów budzi się późno i ciężko. Przybywszy z wynajmującym, dowiedziawszy się, że nie ma pieniędzy, proponuje zapłacić za swoją pracę. Portret starca przyciąga jego uwagę i, patrząc na płótno, mimowolnie ściska ramy - paczka znana Chartkovowi wypada z napisem „1000 sztuk złota”.
Tego samego dnia Chartkow płaci właścicielowi i pocieszając się opowieściami o skarbach, zagłuszając pierwszą część, aby kupić farby i zamknąć się na trzy lata w warsztacie, wynajmuje luksusowe mieszkanie na Newskim, wkłada dandysa, reklamuje się w gazecie, a następnego dnia zabiera klienta. Ważna dama, opisując pożądane szczegóły przyszłego portretu swojej córki, zabiera ją, gdy Chartkov zdaje się tylko podpisywać i jest gotowa złapać coś ważnego w twarz. Następnym razem pozostaje niezadowolona z przejawionych podobieństw, zażółcenia twarzy i cieni pod oczami, a na koniec bierze do portretu stare dzieło Chartkowa Psyche, nieco zaktualizowane przez zirytowanego artystę.
W krótkim czasie Chartkov staje się modny: chwytając się jednego wspólnego wyrazu, maluje wiele portretów, spełniając różnorodne roszczenia. Jest bogaty, adoptowany w arystokratycznych domach, i surowo i arogancko wypowiada się o artystach. Wielu, którzy znali wcześniej Chartkowa, jest zdumionych tym, jak talent, który był tak zauważalny na początku, mógł w nim zniknąć. Ważne jest, że wyrzuca młodym niemoralność, staje się skąpcem, a pewnego razu, na zaproszenie Akademii Sztuk, patrzy na płótno jednego ze swoich dawnych towarzyszy wysłanych z Włoch, dostrzega doskonałość i rozumie całą otchłań swojego upadku. Zamka się w warsztacie i zanurza w pracy, ale jest zmuszony przerwać każdą minutę z powodu nieznajomości elementarnych prawd, których studiowania zaniedbał na początku swojej kariery. Wkrótce ogarnęła go straszna zazdrość, zaczął kupować najlepsze dzieła sztuki i dopiero po nieuchronnej śmierci z gorączki związanej z konsumpcją stało się jasne, że arcydzieła, na których zdobycie wykorzystał całą swoją fortunę, zostały brutalnie zniszczone. Jego śmierć jest okropna: straszne oczy starca wydawały mu się wszędzie.
Historia Chartkowa po krótkim czasie została wyjaśniona na jednej z aukcji w Petersburgu.Wśród chińskich waz, mebli i obrazów uwagę wielu przyciąga niesamowity portret pewnego Azjatki, której oczy są pomalowane taką sztuką, że wydają się żywe. Cena wzrasta czterokrotnie, a następnie przemawia artysta B., deklarując swoje specjalne prawa do tego płótna. Na poparcie tych słów opowiada historię, która przytrafiła się jego ojcu.
Po nakreśleniu na początku części miasta zwanej Kolomną, opisuje mieszkającego tam niegdyś lichwiarza, giganta o azjatyckim wyglądzie, który jest w stanie pożyczyć każdego, kto chce, od niszy starej kobiety do marnotrawnej szlachty. Jego odsetki wydawały się niewielkie, a warunki płatności były bardzo opłacalne, jednak przy dziwnych obliczeniach arytmetycznych kwota do zwrotu wzrosła niesamowicie. Najgorsze było przeznaczenie tych, którzy otrzymywali pieniądze z rąk złowieszczego Azjatki. Historia młodego błyskotliwego szlachcica, destrukcyjna zmiana charakteru, która sprowadziła na niego gniew cesarzowej, zakończyła się jego szaleństwem i śmiercią. Życie cudownego piękna, ze względu na ślub, z którym wybrała pożyczkę od lichwiarza (dla rodziców panny młodej widziała przeszkodę w małżeństwie w zdenerwowanej sytuacji pana młodego), życie zatrute w ciągu roku trucizną zazdrości, nietolerancji i kaprysów, które nagle pojawiły się w uprzednio szlachetnej postaci męża. Niestety, nawet wkraczając w życie jego żony, popełnił samobójstwo. Wiele niezbyt rzucających się w oczy opowieści, które miały miejsce w niższych klasach, wiązało się również z nazwiskiem lichwiarza.
Ojciec narratora, artysta samouk, który ma zamiar przedstawić ducha ciemności, często myślał o swoim strasznym bliźnim, a kiedy sam do niego podchodzi i żąda namalowania portretu, aby pozostać na obrazie „jak żywy”. Ojciec z radością podejmuje tę sprawę, ale im lepiej udaje mu się uchwycić wygląd starego mężczyzny, im bardziej żywe są jego oczy, tym bardziej bolesne uczucie go chwyta. Bez siły, by znieść rosnącą niechęć do pracy, odmawia kontynuowania, a modlitwy starca, wyjaśniając, że po jego śmierci jego życie zostanie zachowane w portrecie dzięki mocy nadprzyrodzonej, przerażają go całkowicie. Ucieka, niedokończony portret przynosi mu sługa starca, a lichwiarz umiera następnego dnia. Z biegiem czasu artysta zauważa w sobie zmiany: zazdrość o uczniu, krzywdzi go, oczy lichwiarza pojawiają się na jego obrazach. Kiedy ma zamiar wypalić okropny portret, błaga go przyjaciel. Ale nawet on wkrótce został zmuszony do sprzedania swojego siostrzeńca; bratanek też się go pozbył. Artysta rozumie, że część duszy lichwiarza została przeniesiona do okropnego portretu, a śmierć jego żony, córki i młodego syna w końcu to zapewnia. Umieszcza seniora w Akademii Sztuk i idzie do klasztoru, gdzie prowadzi surowe życie, szukając wszystkich możliwych stopni bezinteresowności. W końcu bierze pędzel i pisze Boże Narodzenie Jezusa przez cały rok. Jego dzieło jest cudem pełnym świętości. Ale synowi, który przyjechał się pożegnać przed podróżą do Włoch, opowiada wiele swoich przemyśleń na temat sztuki i, wśród niektórych instrukcji, opowiadając historię z lichwiarzem, przywołuje go do znalezienia spacerującego portretu i jego eksterminacji. A teraz, po piętnastu latach bezowocnych poszukiwań, narrator w końcu znalazł ten portret - a kiedy on, wraz z nim tłumem słuchaczy, odwraca się do ściany, portret już go nie ma. Ktoś mówi: „Skradziony”. Może masz rację.