O ensaio introdutório do romance fala da cidade natal do autor - Salem, sobre seus ancestrais - fanáticos puritanos, sobre seu trabalho nos costumes de Salem e sobre as pessoas que ele teve que enfrentar por lá. “Nem a porta da frente nem a porta dos fundos da alfândega levam ao paraíso”, e o serviço nesta instituição não contribui para o florescimento de boas inclinações nas pessoas. Certa vez, vasculhando papéis empilhados em uma enorme sala no terceiro andar da alfândega, o autor encontrou um manuscrito de um certo Jonathan Pugh, que havia morrido oitenta anos atrás. Era uma biografia de Esther Prien, que viveu no final do século XVII. Um pedaço de pano vermelho era guardado com os papéis; após uma inspeção mais detalhada, ele era incrivelmente bordado com a letra "A"; quando o autor o colocou no peito, parecia-lhe sentir uma queimadura. Demitido após a vitória de Whig, o autor retornou aos estudos literários, para os quais os frutos da obra do Sr. Pugh lhe foram muito úteis.
Da prisão de Boston vem Esther Prien com um bebê nos braços. Ela está usando um lindo vestido que costurou para si mesma na prisão, no peito dele o bordado escarlate dele na forma da letra “A” - a primeira letra da palavra Adúltera (adúltera). Todo mundo condena o comportamento de Esther e sua roupa desafiadora. Ela é levada à praça do mercado para a plataforma, onde terá que enfrentar uma da tarde sob os olhares hostis da multidão - tal punição foi trazida a ela pela corte por seu pecado e por se recusar a dar o nome do pai à filha recém-nascida. De pé no pelourinho, Esther relembra sua vida passada, infância na velha Inglaterra, uma cientista de meia-idade e encurvada, com quem relacionou seu destino. Olhando em volta da multidão, ela percebe nas fileiras de trás um homem que imediatamente toma posse de seus pensamentos. Esse homem não é jovem, tem o olhar penetrante de um pesquisador e as costas curvadas de um trabalhador incansável. Ele pergunta aos outros sobre quem ela é. Eles ficam surpresos que ele não tenha ouvido nada sobre ela. Mas ele explica que não está aqui, há muito que foi escravizado pelos gentios e agora o indiano o levou a Boston para receber um resgate. Dizem que Esther Prien é a esposa de um cientista inglês que decidiu se mudar para a Nova Inglaterra. Ele enviou sua esposa para a frente e permaneceu na Europa. Durante seus dois anos em Boston, Esther não recebeu nenhuma notícia dele: ele provavelmente morreu. O tribunal condescendente levou em conta todas as circunstâncias atenuantes e não condenou a mulher caída à morte, mas o condenou a ficar três horas na plataforma no pilar vergonhoso e depois carregar o sinal de desonra no peito pelo resto da vida. Mas todo mundo está indignado por ela não ter nomeado o cúmplice do pecado. O padre mais velho de Boston, John Wilson, convence Esther a revelar o nome do sedutor, seguido por um jovem pastor Dimsdale, cujo paroquiano ela era, falando com ela em uma voz interrompida. Mas a jovem é teimosamente silenciosa, segurando o bebê firmemente contra o peito.
Quando Esther retorna à prisão, o mesmo estranho que ela viu na praça chega até ela. Ele é médico e se chama Roger Chillingworth. Primeiro, ele acalma a criança, depois dá o remédio Esther. Ela tem medo de que ele a envenene, mas o médico promete não se vingar da moça ou do bebê. Era muito presunçoso da parte dele casar-se com uma jovem bonita e esperar um sentimento recíproco dela. Esther sempre foi honesta com ele e não fingiu que o amava. Então, ambos fizeram mal um ao outro e até. Mas Chillingworth quer saber o nome de sua amada Esther, o nome da pessoa que fez mal a ambos. Esther se recusa a nomeá-lo. Chillingworth a faz jurar que não revelará a ninguém seu nome verdadeiro e seu relacionamento com ele. Todos acreditem que o marido dela está morto. Ele decide, por todos os meios, descobrir com quem Esther pecou e vingar seu amante.
Depois de sair da prisão, Esther se instala em uma casa abandonada nos arredores de Boston e ganha a vida como um bordado. Ela é uma bordadeira tão habilidosa que não tem fim para os clientes. Ela compra para si mesma apenas as necessidades e distribui o restante do dinheiro para os pobres, muitas vezes ouvindo insultos em vez de gratidão em troca. Sua filha Pearl é linda, mas tem uma disposição apaixonada e mutável; portanto, Ester não é fácil com ela. Pearl não quer obedecer a nenhuma regra. Sua primeira impressão consciente foi a letra escarlate no peito de Esther.
O selo da rejeição está na menina: ela não é como as outras crianças, não brinca com elas. Vendo as esquisitices da menina e desesperadas para descobrir quem é seu pai, alguns cidadãos a consideram uma desoladora diabólica. Esther nunca termina com a filha e a leva a todos os lugares. Uma vez que eles vêm ao governador para devolver um par de luvas bordadas cerimoniais encomendadas por ele. O governador não está em casa e eles estão esperando por ele no jardim. O governador retorna com os padres Wilson e Dimsdale. No caminho, eles conversaram sobre Pearl ser um filho do pecado e deveriam pegá-lo da mãe e transferi-lo para outras mãos. Quando eles relatam isso a Esther, ela não concorda em desistir da filha. O pastor Wilson decide descobrir se Esther a está criando em um espírito cristão. Pearl, que sabe muito mais do que deveria na idade dela, teimosamente e responde à pergunta de quem a criou, responde que ninguém a criou; sua mãe a encontrou em uma roseira na porta da prisão. Os piedosos senhores estão horrorizados: a menina já tem três anos e não sabe quem a criou. Eles decidem levar Pearl de sua mãe, e ela consegue manter a filha em casa apenas graças à intercessão do pastor Dimsdale.
O conhecimento de medicina e piedade conquistou o respeito do povo de Boston por Chillingworth. Logo após sua chegada, ele elegeu o Rev. Dimsdale como seu pai espiritual. Todos os paroquianos estimavam muito o jovem teólogo e estavam preocupados com sua saúde, que se deteriorou bastante nos últimos anos. As pessoas viram o dedo da Providência ao chegar ao médico habilitado e insistiram que o Sr. Dimsdale se voltasse para ele em busca de ajuda. Como resultado, o jovem padre e o velho médico fizeram amigos e até se estabeleceram juntos. Chillingworth, que começou a investigar os segredos de Esther com a severa imparcialidade de um juiz, está cada vez mais sob o poder de um único sentimento - a vingança, que subjuga toda a sua vida. Sentindo a natureza ardente do jovem sacerdote, ele quer penetrar nas profundezas ocultas de sua alma e, por isso, não pára por nada. Chillingworth provoca Dimsdale o tempo todo, falando sobre pecadores impenitentes. Ele afirma que a doença corporal de Dimsdale se baseia em uma ferida mental e convence o padre a revelar a ele, o médico, a causa de seu sofrimento emocional. Dimsdale exclama: "Quem é você para ficar entre o sofredor e o seu Senhor?" Mas uma vez que um jovem padre adormece em uma cadeira durante o dia e não acorda mesmo quando Chillingworth entra na sala. O velho se aproxima dele, coloca a mão no peito e desabotoa as roupas que Dimsdale nunca tirou na presença de um médico. Chillingworth triunfa - "é assim que Satanás se comporta quando está convencido de que uma preciosa alma humana está perdida para o céu e conquistada para o inferno". Dimsdale sente hostilidade em relação a Chillingworth e se censura por ela, não encontrando motivo para ela, e Chillingworth - "uma criatura infeliz e solitária, ainda mais infeliz que sua vítima" - está tentando com todas as suas forças agravar o tormento mental de Dimsdale.
Uma noite, Dimsdale caminha até a praça do mercado e fica no pelourinho. Ao amanhecer, passe por Esther Prien e Pearl. O padre chama por eles, eles sobem para a plataforma e ficam ao lado dele. Pearl pergunta a Dimsdale se ele estará aqui com eles amanhã à tarde, mas ele responde que no Dia do Juízo Final todos os três estarão diante do trono do grande juiz, mas agora não é a hora e a luz do dia não os verá. O céu escuro de repente se ilumina - provavelmente esta é a luz de um meteoro. Eles vêem não muito longe da plataforma de Chillingworth, que os olha atentamente. Dimsdale diz a Esther que sente um horror inexprimível diante desse homem, mas Esther, vinculada a um juramento, não revela a ele os segredos de Chillingworth.
Os anos se passam. Pearl tem sete anos. O comportamento perfeito de Ester e sua ajuda desinteressada aos aflitos leva ao fato de que os habitantes da cidade começam a tratá-la com um tipo de respeito. Até a letra escarlate lhes parece não um símbolo do pecado, mas de força interior. Certa vez, enquanto caminhava com Pearl, Esther conhece Chillingworth e fica surpreso com a mudança que ocorreu nele nos últimos anos. O rosto calmo e sábio do cientista adquiriu uma expressão predatória e cruel, um sorriso o olha com uma careta. Esther fala com ele, esta é a primeira conversa deles desde o momento em que ele fez um juramento por ela não revelar seu nome verdadeiro. Esther pede que ele não torture Dimsdale: o sofrimento que Chillingworth o põe é pior que a morte. Além disso, ele é atormentado pelos olhos de seu inimigo jurado, nem mesmo sabendo quem ele é. Esther pergunta por que Chillingworth não está se vingando dela; ele responde que uma carta escarlate o vingou. Esther implora a Chillingworth que mude de idéia, ele ainda pode ser salvo, porque esse ódio o transformou de uma pessoa sábia e justa em um diabo. Está em seu poder perdoar, o perdão das pessoas que o ofenderam será sua salvação. Mas Chillingworth não pode perdoar, seu destino é ódio e vingança.
Esther decide revelar a Dimsdale que Chillingworth é seu marido. Ela está procurando uma reunião com o padre. Finalmente, ela o conhece na floresta. Dimsdale diz a ela como ele sofre com o fato de que todos o consideram puro e imaculado, enquanto ele se mancha com o pecado. Ele está cercado de mentiras, vazio, morte. Esther revela a ele que está escondido sob o nome de Chillingworth. Dimsdale está enfurecido: por culpa de Esther, ele "desnudou sua débil alma criminosa diante do olhar de quem a zombou secretamente". Mas ele perdoa Esther. Ambos acreditam que o pecado de Chillingworth é ainda pior que o pecado deles: ele invadiu o santuário do coração humano. Eles entendem - Chillingworth, sabendo que Esther vai revelar seu segredo a Dimsdale, inventa novas intrigas. Esther oferece Dimsdale para correr e começar uma nova vida. Ela concorda com o capitão do navio que navega para Bristol que ele levará dois adultos e uma criança.
O navio deve navegar em três dias e, na véspera de Dimsdale, está prestes a ler um sermão no dia das eleições. Mas ele sente sua mente nublada. Chillingworth oferece a ele sua ajuda, mas Dimsdale se recusa. As pessoas se reúnem na praça do mercado para ouvir a mensagem de Dimsdale. Esther encontra um capitão de um navio de Bristol na multidão, e ele informa que Chillingworth também navegará com eles. Ela vê do outro lado da Chillingworth Square quem sorri ameaçadoramente para ela. Dimsdale faz um sermão brilhante. A procissão festiva começa, Dimsdale decide se arrepender para o povo. Chillingworth, percebendo que isso aliviará o tormento do sofredor, e sentindo que a vítima está se afastando dele, corre para ele, implorando para que não envergonhe sua santa dignidade. Dimsdale pede a Esther para ajudá-lo a subir na plataforma. Ele fica no pelourinho e se arrepende de seu pecado diante do povo. Em conclusão, ele arranca o lenço sacerdotal, expondo seu peito. Seu olhar desaparece, ele morre, suas últimas palavras - louvor ao Todo-Poderoso. Diferentes rumores se espalham pela cidade: alguns dizem que havia uma carta escarlate no peito do padre - uma semelhança exata com a usada por Esther Prien. Outros, pelo contrário, afirmam que o peito do padre estava limpo, mas, sentindo a aproximação da morte, ele desejou abandonar o espírito nos braços de uma mulher caída para mostrar ao mundo o quão duvidosa é a justiça da mais imaculada das pessoas.
Após a morte de Dimsdale, Chillingworth, que havia perdido o sentido da vida, tornou-se decrépito e sua força espiritual e física o deixou imediatamente. Nem um ano se passou antes de ele morrer. Ele legou toda a sua grande fortuna à pequena Pearl. Após a morte do velho médico, Esther e sua filha desapareceram, e a história de Ester se tornou uma lenda. Muitos anos depois, Esther retornou e novamente colocou voluntariamente o emblema da vergonha. Ela mora sozinha em sua antiga casa nos arredores de Boston. Pearl, aparentemente, felizmente casado, lembrou-se da mãe, escreveu para ela, enviou presentes e ficaria feliz se Esther morasse com ela. Mas Ester queria viver onde seu pecado havia acontecido - ela acreditava que a expiação também deveria ser feita lá. Quando ela morreu, ela foi enterrada ao lado do pastor Dimsdale, mas ficou um espaço entre as duas sepulturas, como se mesmo após a morte as cinzas dessas duas não tivessem o direito de se misturar.
