Silas Marner est le tisserand du village de la campagne anglaise de Raveloe au début du XIXe siècle. Comme beaucoup de tisserands de son époque, il est un outsider, objet de suspicion en raison de ses compétences particulières et du fait qu’il est venu d’ailleurs à Raveloe. Les villageois considèrent Silas comme particulièrement étrange à cause des curieuses crises de catalepsie qu’il subit de temps en temps. Silas s’est retrouvé à Raveloe parce que les membres de sa secte religieuse de Lantern Yard, un quartier insulaire d’une plus grande ville, l’ont faussement accusé de vol et l’ont excommunié.
Très secoué après cette accusation, Silas ne trouve rien de familier à Raveloe pour réveiller sa foi et tombe dans une routine engourdie de travail solitaire. Sa seule tentative de voisinage se retourne contre lui : lorsqu’un remède à base de plantes qu’il suggère pour soigner la maladie d’un voisin fonctionne, il est accusé d’être une sorte de sorcier. N’ayant que peu de raisons de vivre, Silas s’enflamme pour l’argent qu’il gagne en travaillant et le thésaurise, vivant le moins possible. Chaque nuit, il sort son or de sa cachette, sous le plancher, pour le compter. Il continue ainsi pendant quinze ans.
Squire Cass est l’homme le plus riche de Raveloe, et ses deux fils aînés sont Godfrey et Dunstan, ou Dunsey. Dunsey est avide et cruel, et aime tourmenter Godfrey, le fils aîné. Godfrey a un bon caractère mais une volonté faible et, bien qu’il soit secrètement marié à Molly Farren, une opiomane, il est amoureux de Nancy Lammeter. Dunsey a convaincu Godfrey de se marier et le fait chanter à plusieurs reprises en le menaçant de révéler le mariage à leur père. Godfrey donne à Dunsey 100 livres de l’argent du loyer qui lui a été versé par l’un des locataires de leur père.Godfrey se retrouve alors dans une situation délicate lorsque Dunsey insiste pour que Godfrey paie la somme lui-même. Dunsey menace une nouvelle fois de révéler le mariage de Godfrey mais, après quelques discussions, propose de vendre le cheval de prix de Godfrey, Wildfire, pour rembourser le prêt.
Le lendemain, Dunsey rencontre des amis qui sont à la chasse et négocie la vente du cheval. Dunsey décide de participer à la chasse avant de finaliser la vente et, ce faisant, il a un accident de cheval qui tue le cheval. Connaissant les rumeurs sur le magot de Silas, Dunsey prévoit d’intimider le tisserand en lui donnant de l’argent. En rentrant chez lui, il passe près de la chaumière de Silas et, trouvant la chaumière vide, Dunsey vole l’argent à la place.
Silas revient d’une course et trouve son argent disparu.Accablé par la perte, il court à la taverne locale pour obtenir de l’aide et annonce le vol à un public sympathique d’habitués de la taverne. Le vol devient le sujet de conversation du village, et une théorie se développe selon laquelle le voleur pourrait être un colporteur qui est passé par le village quelque temps auparavant. Godfrey, pendant ce temps, est distrait par les pensées de Dunsey, qui n’est pas rentré chez lui. Après avoir appris que Wildfire a été retrouvé mort, Godfrey décide de parler de l’argent à son père, mais pas de son mariage. Le Squire entre dans une colère noire à cette nouvelle, mais ne fait rien de radical pour punir Godfrey.
Silas est totalement inconsolable de la perte de son or et continue à tisser de façon insensible. Certains habitants de la ville s’arrêtent pour lui présenter leurs condoléances et lui donner des conseils. Parmi ces visiteurs, Dolly Winthrop se distingue. Comme beaucoup d’autres, elle encourage Silast à aller à l’église – ce qu’il n’a pas fait depuis qu’il a été banni de Lantern Yard – mais elle est aussi plus douce et plus sincèrement sympathique.
Nancy Lammeter arrive au célèbre bal du Nouvel An du Squire Cassrésolue à rejeter les avances de Godfrey en raison de son caractère peu recommandable.Cependant, Godfrey est plus direct et insistant qu’il ne l’a été depuis longtemps, et Nancy se trouve exaltée par la soiréeen dépit de sa résolution. Pendant ce temps, Molly, l’épouse secrète de Godfrey, se rend chez les Casse pour leur révéler le mariage secret, avec leur fille, une petite fille, dans les bras. Fatiguée par sa longue marche, Molly prend une bouffée d’opium et s’évanouit au bord de la route.Apercevant la chaumière de Silas et attirée par la lumière du feu, la petite fille de Molly se promène par la porte ouverte et s’endort sur la terrasse de Silas.
Silas a alors une de ses crises et ne remarque pas la petite fille entrer dans sa chaumière. Lorsqu’il revient à lui, il la voit déjà endormie sur son âtre, et est aussi stupéfait de son apparition que de la disparition de son argent. Quelque temps plus tard, Silas suit les traces des pas de la fillette à l’extérieur et trouve le corps de Molly étendu dans la neige. Silas se rend chez le Squire pour trouver le médecin, et fait sensation au bal lorsqu’il arrive avec la petite fille dans les bras. Godfrey, reconnaissant sa fille, accompagne le docteur jusqu’à la maison de Silas. Lorsque le médecin déclare que Molly est morte, Godfrey comprend que son secret est bien gardé. Il ne réclame pas sa fille, et Silas l’adopte.
Silas s’attache de plus en plus à l’enfant et la nomme Eppie, comme sa mère et sa sœur. Avec l’aide de Dolly Winthrop, Silas élève l’enfant avec amour. Eppie commence à servir de pont entre Silas et le reste des villageois, qui lui offrent de l’aide et des conseils et qui ont fini par le considérer comme une personne exemplaire en raison de ce qu’il a fait. Eppie fait également sortir Silas de l’état de torpeur dans lequel il est tombé après la perte de son or. Dans son bonheur retrouvé, Silas commence à explorer les souvenirs de son passé qu’il a longtemps refoulés.
Le roman fait un bond en avant de seize ans. Godfrey a épousé Nancy et le châtelain Cass est mort. Godfrey a hérité de la maison de son père, mais lui et Nancy n’ont pas d’enfants. Leur fille unique est morte à la naissance et Nancy a refusé de l’adopter. Eppie est devenue une jolie jeune femme pleine d’entrain, et Silas un père satisfait. La fosse en pierre située derrière la maison de Silas est drainée pour arroser les champs voisins, et le squelette de Dunsey est retrouvé au fond, avec l’or de Silas.La découverte effraie Godfrey, qui devient convaincu que ses propres secrets sont destinés à être découverts eux aussi. Il avoue la vérité à Nancy sur son mariage avec Molly et la paternité d’Eppie.Nancy n’est pas en colère mais regrette, disant qu’ils auraient pu adopter Eppie légitimement si Godfrey lui avait dit plus tôt.
Le soir même, Godfrey et Nancy décident de se rendre au chalet de Silas pour avouer la vérité sur la lignée d’Eppie et la réclamer comme leur fille. Cependant, après avoir entendu l’histoire de Godfrey et Nancy, Eppie leur dit qu’elle préfère rester avec Silas plutôt que de vivre avec son père biologique. Godfrey et Nancy partent, se résignant à aider Eppie de loin. Le lendemain, Silas décide de se rendre à Lantern Yard pour voir s’il a été innocenté du vol dont il a été accusé des années auparavant. Mais la ville a changé au point d’être méconnaissable, et l’ancienne chapelle de Silas a été démolie pour faire place à une nouvelle usine. Silas se rend compte que ses questions n’auront jamais de réponse, mais il est satisfait du sentiment de foi qu’il a retrouvé grâce à sa vie avec Eppie. Cet été-là, Eppie se marie avec Aaron Winthrop, le fils de Dolly. Aaron vient vivre dans le cottage de Silas, qui a été agrandi et rénové aux frais de Godfrey.