《用心棒》故事描述浪人（被主人驱逐或主家被消灭的武士）三十郎浪迹天涯来到了一个样子荒芜的奇怪小镇，当地有两个恶霸家族，一帮控制了妓院和丝绸，另一帮则控制了酒业，为争夺地盘而械斗不息，血战和死亡已经成为家常便饭，把小镇折腾得萧条凄惨。一方面为了赚钱糊口，另一方面为了要铲除恶霸使小镇回复正途，富正义感的三十郎策划并多次挑起了这两伙黑帮恶霸之间的冲突，使之互相火拼。虽曾险遭不测，三十郎歼霸灭恶的计划最终成功。

炎热夏天，身心疲惫的青年刑警村上（三船敏郎 饰）结束了射击练习后，登上拥挤难闻的公车回家，途中突然发现配枪被人盗走。他奋力追赶，却最终跟丢了目标。村上垂头丧气找到佐藤课长（志村乔 饰），请求解除他的职务，善良的课长则指点他拜托扒手课的资深刑警市川（河村黎吉 饰）寻求帮助。经市川提醒，村上想起公车上身边站着的一个女人，正是女惯犯阿银（岸辉子 饰）。耐不住村上的死缠烂打，阿银透露了手枪贩子的信息。在此之后，村上深入这座城市最黑暗的角落，寻找关于手枪的蛛丝马迹。与此同时，有人用他的手枪犯案，形势日渐紧迫。