Från fornvästnordiskans ”klasi” = klase. Ursprungligen ”Skerja klasi”, dvs en klase/klunga av skär. Samhället består också mycket riktigt av en klase förenade holmar: Yttre och Inre Skopholmen sam själva Klädesholmen, tidigast känd som Klessholmen, och beskriven redan 1594 i biskop Jens Nilssöns anteckningar som ”en gammal fiskebye”.
Under sillperioden 1748 - 1808 fick samhället ett rejält uppsving, då åtskilliga sillsalterier och trankokerier uppfördes. Men sedan sillen än en gång försvunnit fick befolkningen allt svårare att klara sig och åtskilliga övergav ön – 1830 återstod bara ca tre hundra personer som, enligt en samtida besökare, ”levde som råttor”.
Under senare delen av 1800-talet fick samhället emellertid ett nytt uppsving, båtarna drog nu till Ålesund i Norge för att fiska och samtidigt etablerades en rad nya konservfabriker. Verksamheten var då liksom idag uppbyggd kring familjen – i sjöbodarna och magasinen stod ”chefernas” hustrur, döttrar och systrar och rensade, skar upp och kryddade efter egna recept.
Burkarna lastades så ombord på den egna jakten och de olika bolagen hade enligt överenskommelse var sin del av kusten, allt från norra Bohuslän upp till Haparanda, och även in i Vänern och Vättern. För fyrtio år sedan låg här hela 26 fabriker, idag reducerade till tre, som emellertid inte desto mindre framställer nära hälften av all i Sverige inlagd matjesill.
Klädesholmens museum, ”Sillebua”, är inrymt i ett gammalt magasin, ursprungligen lagerlokal för torkad långa och därefter PK-konservers fabriksbyggnad. Museet öppnade sommaren 1995 och ambitionen är att ge en bild av öns fiskerinäring, med tonvikt på fisk- och sillberedningen åren 1860-1960.
Skulptören Claes Hake och bronsgjutaren Bosse Samuelsson utövar sedan mitten av 1970-talet sin skapande verksamhet i de gamla 1800-talsbyggnader, som en gång inhyste Hakefjordens konservfabrik. Längs ut mot väst på en avsats vid havet reser sig Claes Hakes skulptur ”Tro, hopp och kärlek”, utförd i råhuggen granit och diabas. Dit kom den 1986.