Esej wprowadzający do powieści opowiada o rodzinnym mieście autora - Salemie, jego przodkach - fanatykach purytańskich, o jego pracy w zwyczajach Salem oraz o ludziach, z którymi musiał się zmierzyć. „Ani frontowe, ani tylne drzwi celne nie prowadzą do raju”, a służba w tej instytucji nie przyczynia się do rozkwitu dobrych skłonności ludzi. Pewnego razu, przeglądając dokumenty leżące w wielkim pokoju na trzecim piętrze urzędu celnego, autor znalazł manuskrypt pewnego Jonathana Pugha, który zmarł osiemdziesiąt lat temu. Była to biografia Esther Prien, która żyła pod koniec XVII wieku. Z papierami trzymana była czerwona szmata, po bliższym przyjrzeniu okazała się niesamowicie haftowana literą „A”; kiedy autor przyłożył go do piersi, wydawało mu się, że poczuł oparzenie. Odwołany po zwycięstwie w Wigonie autor powrócił do studiów literackich, dla których owoce pracy pana Pugha były dla niego bardzo przydatne.

Z więzienia w Bostonie przychodzi Esther Prien z dzieckiem w ramionach. Ma na sobie piękną sukienkę, którą uszyła dla siebie w więzieniu, na piersi jego szkarłatny haft w kształcie litery „A” - pierwsza litera słowa „Dorosła” („cudzołożna”). Wszyscy potępiają zachowanie Esther i jej wyzywający strój. Zostaje zaprowadzona na rynek do peronu, gdzie będzie musiała stawić się do pierwszej po południu pod wrogim spojrzeniem tłumu - sąd dostał taką karę za grzech i za odmowę nadania imienia nowonarodzonej córce ojcu. Stojąc przy pręgierzu, Esther wspomina swoje poprzednie życie, dzieciństwo w starej Anglii, skulonego naukowca w średnim wieku, z którym połączyła swój los. Rozglądając się po tłumie, zauważa w tylnych rzędach mężczyznę, który natychmiast opanowuje jej myśli. Ten mężczyzna nie jest młody, ma przenikliwe spojrzenie badacza i zgarbiony niezmordowany robotnik. Pyta innych o to, kim ona jest. Są zaskoczeni, że nic o niej nie słyszał. Wyjaśnia jednak, że go tu nie ma, od dawna był zniewolony przez pogan, a teraz Indianin przywiózł go do Bostonu, aby otrzymać okup. Powiedziano mu, że Esther Prien jest żoną angielskiego naukowca, który postanowił przeprowadzić się do Nowej Anglii. Wysłał swoją żonę do przodu i pozostał w Europie. Podczas swoich dwóch lat w Bostonie Esther nie otrzymała od niego żadnych wiadomości: prawdopodobnie umarł. Protekcjonalny sąd wziął pod uwagę wszystkie okoliczności łagodzące i nie skazał upadłej kobiety na śmierć, ale skazał go na trzy godziny stania na platformie przy haniebnym filarze, a następnie do końca życia nosił na piersi znak hańby. Ale wszyscy są oburzeni, że nie nazwała wspólnika grzechu. Najstarszy kapłan z Bostonu, John Wilson, przekonuje Esther do ujawnienia imienia uwodziciela, a następnie młody pastor, Dimsdale, którego parafianką była, przełamując podniecenie. Ale młoda kobieta uparcie milczy, przytulając dziecko do piersi.

Kiedy Esther wraca do więzienia, przychodzi do niej ten sam nieznajomy, którego widziała na placu. Jest lekarzem i nazywa się Roger Chillingworth. Najpierw uspokaja dziecko, a następnie podaje lek Esther. Ona boi się, że ją otruje, ale lekarz obiecuje, że nie zemści się ani na młodej kobiecie, ani na dziecku. Był zbyt zarozumiały, aby poślubić młodą piękną dziewczynę i poczekać na jej wzajemne uczucie. Esther zawsze była z nim szczera i nie udawała, że ​​go kocha. Obaj wyrządzili sobie krzywdę, a nawet. Ale Chillingworth chce poznać imię swojej ukochanej Estery, imię osoby, która wyrządziła obojgu zło. Esther nie chce go nazwać. Chillingworth każe jej przysiąc, że nie ujawni nikomu jego prawdziwego imienia i związku z nim. Niech wszyscy uwierzą, że jej mąż nie żyje. Postanawia za wszelką cenę dowiedzieć się, z kim zginęła Estera, i zemścić się na swoim kochanku.

Po wyjściu z więzienia Esther osiada w opuszczonym domu na obrzeżach Bostonu i zarabia na życie jako robótki ręczne. Jest tak wykwalifikowaną hafciarką, że nie ma końca dla klientów. Kupuje sobie tylko niezbędne artykuły, a resztę pieniędzy rozdaje biednym, często w zamian słysząc obelgi zamiast wdzięczności. Jej córka Pearl jest piękna, ale ma namiętne i zmienne usposobienie, więc Esther nie jest z nią łatwa. Pearl nie chce przestrzegać żadnych zasad. Pierwszym świadomym wrażeniem była szkarłatna litera na piersi Esther.

Pieczęć odrzucenia spoczywa na dziewczynie: nie jest jak inne dzieci, nie bawi się z nimi. Widząc osobliwości dziewczynki i desperacko chcąc dowiedzieć się, kim jest jej ojciec, niektórzy obywatele uważają ją za diabelski spawn. Esther nigdy nie zrywa z córką i zabiera ją ze sobą wszędzie. Pewnego dnia przybywają do gubernatora, by oddać zamówione przez niego ceremonialne haftowane rękawiczki. Gubernatora nie ma w domu i czekają na niego w ogrodzie. Gubernator powraca wraz z kapłanami Wilsonem i Dimsdale. Po drodze rozmawiali o Pearl, która jest dzieckiem grzechu, i powinni wziąć ją od swojej matki i przenieść w inne ręce. Kiedy zgłaszają to Esther, nie zgadza się na oddanie córki. Pastor Wilson postanawia dowiedzieć się, czy Esther wychowuje ją w duchu chrześcijańskim. Pearl, która wie jeszcze więcej niż ma być w jej wieku, uparcie i odpowiada na pytanie, kto ją stworzył, odpowiada, że ​​nikt jej nie stworzył, jej matka właśnie znalazła ją w krzaku róży u drzwi więzienia. Pobożni panowie są przerażeni: dziewczyna ma już trzy lata i nie wie, kto ją stworzył. Postanawiają zabrać Pearl od matki, a ona udaje się zatrzymać córkę w domu tylko dzięki wstawiennictwu pastora Dimsdale.

Znajomość medycyny i pobożności zyskały szacunek mieszkańców Bostonu dla Chillingworth. Wkrótce po swoim przybyciu wybrał ks. Dimsdale na swojego duchowego ojca. Wszyscy parafianie bardzo cenili młodego teologa i martwili się o jego zdrowie, które znacznie pogorszyło się w ostatnich latach. Ludzie zobaczyli palec Opatrzności po przybyciu do swojego wykwalifikowanego lekarza i nalegali, aby pan Dimsdale zwrócił się do niego o pomoc. W rezultacie młody ksiądz i stary doktor zaprzyjaźnili się, a następnie nawet osiedlili razem. Chillingworth, który postanowił zbadać tajemnice Estery z surową bezstronnością sędziego, coraz bardziej podlega jednemu poczuciu - zemście, która podporządkowuje mu całe życie. Czując żarliwą naturę młodego kapłana, chce wniknąć w ukryte głębiny swojej duszy, a to nie kończy się na niczym. Chillingworth cały czas prowokuje Dimsdale, mówiąc mu o skruszonych grzesznikach. Twierdzi, że dolegliwość cielesna Dimsdale'a opiera się na ranie psychicznej i przekonuje księdza do ujawnienia mu, lekarzowi, przyczyny jego cierpienia emocjonalnego. Dimsdale woła: „Kim jesteś, aby <...> stanąć między cierpiącym a jego Panem?” Ale gdy młody ksiądz zasypia na krześle w ciągu dnia i nie budzi się, nawet gdy Chillingworth wchodzi do pokoju. Podchodzi do niego starzec, kładzie dłoń na piersi i odpina ubranie, którego Dimsdale nigdy nie zdjął w obecności lekarza. Chillingworth triumfuje - „tak zachowuje się Szatan, gdy jest przekonany, że cenna ludzka dusza jest utracona dla nieba i wygrana dla piekła”. Dimsdale odczuwa wrogość do Chillingwortha i wyrzuca ją za nią, nie znajdując dla niej żadnego powodu, a Chillingworth - „nędzne, samotne stworzenie, jeszcze bardziej nieszczęśliwe niż jego ofiara” - stara się zaostrzyć udrękę psychiczną Dimsdale'a.

Pewnej nocy Dimsdale idzie na rynek i stoi przy pręgierzu. O świcie mijamy Esther Prien i Pearl. Kapłan wzywa ich, wstępują na platformę i stoją obok niego. Pearl pyta Dimsdale, czy stanie tu z nimi jutro po południu, ale odpowiada, że ​​w Dniu Ostatniego Sądu wszyscy trzej staną przed tronem wielkiego sędziego, ale teraz nie jest czas i światło dzienne nie powinno ich widzieć trzy. Ciemne niebo nagle się świeci - prawdopodobnie jest to światło meteoru. Widzą niedaleko platformy Chillingworth, która patrzy na nich nierozerwalnie. Dimsdale mówi Esther, że czuje niewypowiedziany horror przed tym mężczyzną, ale Esther, związana przysięgą, nie zdradza mu tajemnic Chillingworth.

Lata mijają. Pearl ma siedem lat. Idealne zachowanie Esther i jej bezinteresowna pomoc dla poszkodowanych prowadzi do tego, że mieszkańcy miasta zaczynają traktować ją z pewnym szacunkiem. Nawet szkarłatna litera wydaje się im nie symbolem grzechu, ale wewnętrznej siły. Pewnego razu, podczas spaceru z Pearl, Esther spotyka Chillingwortha i jest zdumiona zmianą, która zaszła w nim w ostatnich latach. Spokojna, mądra twarz naukowca nabrała drapieżnego, okrutnego wyrazu, a na jego twarzy pojawia się grymas uśmiechu. Esther mówi do niego, to ich pierwsza rozmowa od czasu, kiedy złożył od niej przysięgę, że nie ujawni swojego prawdziwego imienia. Esther prosi go, aby nie torturował Dimsdale: cierpienie, na które naraża go Chillingworth, jest gorsze niż śmierć. Ponadto dręczą go oczy zaprzysiężonego wroga, nawet nie wiedząc, kim on jest. Esther pyta, dlaczego Chillingworth nie mści się na niej; odpowiada, że ​​pomścił go szkarłatny list. Esther błaga Chillingwortha, aby zmienił zdanie, wciąż można go ocalić, ponieważ ta nienawiść zmieniła go z mądrej, sprawiedliwej osoby w diabła. Jego mocą jest przebaczenie, przebaczenie ludziom, którzy go obrazili, będzie jego zbawieniem. Ale Chillingworth nie może wybaczyć, jego przeznaczeniem jest nienawiść i zemsta.

Esther postanawia ujawnić Dimsdale, że Chillingworth jest jej mężem. Ona szuka spotkania z księdzem. Wreszcie spotyka go w lesie. Dimsdale mówi jej, że cierpi z powodu faktu, że wszyscy uważają go za czystego i nieskazitelnego, podczas gdy on sam jest zabrudzony grzechem. Otaczają go kłamstwa, pustka, śmierć. Esther zdradza temu, który ukrywa się pod imieniem Chillingworth. Dimsdale jest wściekły: z winy Esther „odsłonił swoją słabą zbrodniczą duszę przed oczami tego, który potajemnie z niej drwił”. Ale wybacza Esther. Obaj wierzą, że grzech Chillingwortha jest jeszcze gorszy niż ich grzech: wkroczył do świątyni ludzkiego serca. Rozumieją - Chillingworth, wiedząc, że Esther ujawni Dimsdale swój sekret, wymyśla nowe intrygi. Esther oferuje Dimsdale do uruchomienia i rozpoczęcia nowego życia. Zgadza się ze kapitanem statku płynącego do Bristolu, że zabierze on na pokład dwie osoby dorosłe i dziecko.

Statek ma wypłynąć za trzy dni, a w przeddzień Dimsdale ma zamiar przeczytać kazanie w dniu wyborów. Ale czuje, że jego myśli się mętnieją. Chillingworth oferuje mu swoją pomoc, ale Dimsdale odmawia. Ludzie zbierają się na rynku, aby usłyszeć przesłanie Dimsdale. Esther spotyka w tłumie kapitana statku Bristol i informuje ją, że Chillingworth też z nimi popłynie. Widzi po drugiej stronie placu Chillingworth, który uśmiecha się do niej złowieszczo. Dimsdale wygłasza genialne kazanie. Rozpoczyna się świąteczna procesja, Dimsdale postanawia żałować ludziom. Chillingworth, zdając sobie sprawę, że to złagodzi udrękę cierpiącego, i czując, że ofiara wymyka się mu, podbiega do niego, błagając go, aby nie zawstydzał swojej świętej godności. Dimsdale prosi Esther, aby pomógł mu wspiąć się na platformę. Stoi przy pręgierzu i żałuje za swój grzech przed ludem. Podsumowując, zdziera kapłański szalik, odsłaniając klatkę piersiową. Jego wzrok gaśnie, umiera, ostatnie słowa - chwała Wszechmocnemu. Po mieście krążą różne pogłoski: niektórzy twierdzą, że na piersi księdza był szkarłatny list - dokładne podobieństwo do tego, które nosi Esther Prien. Inni wręcz przeciwnie twierdzą, że klatka piersiowa księdza była czysta, ale wyczuwając nadejście śmierci, chciał porzucić ducha w ramionach upadłej kobiety, aby pokazać światu, jak wątpliwe jest prawość najbardziej nieskazitelnego ludu.

Po śmierci Dimsdale Chillingworth, który stracił sens życia, natychmiast stał się zaniedbany, a jego duchowa i fizyczna siła natychmiast go opuściła. Nie minął nawet rok, zanim umarł. Całą swoją wielką fortunę przekazał małej Pearl. Po śmierci starego lekarza Esther i jej córka zniknęły, a historia Estery stała się legendą. Wiele lat później Estera wróciła i ponownie dobrowolnie przyłączyła się do znaku wstydu. Mieszka sama w swoim starym domu na obrzeżach Bostonu. Pearl, najwyraźniej szczęśliwa w małżeństwie, pamiętała matkę, pisała do niej, wysyłała prezenty i byłaby zadowolona, ​​gdyby Esther z nią mieszkała. Ale Estera chciała żyć tam, gdzie popełnił swój grzech - wierzyła, że ​​tam też należy dokonać pokuty. Kiedy umarła, została pochowana obok pastora Dimsdale, ale między dwoma grobami pozostała przerwa, jakby nawet po śmierci prochy tych dwóch nie miały prawa mieszać się.