驾驶4小时未休息20分钟会被扣除3分或者9分。对于连续驾驶中型以上载客汽车、危险物品运输车辆超过4小时未停车休息或者停车休息时间少于20分钟的情况，将被记9分。而对于连续驾驶载货汽车超过4小时未停车休息或者停车休息时间少于20分钟的情况，则会被记3分。这是根据《道路交通安全违法行为记分管理办法》的规定。

连续驾驶中型以上载客汽车、危险物品运输车辆超过4小时未停车休息或者停车休息时间少于20分钟，是违法行为。根据该管理办法第九条规定，驾驶人有此行为将被记9分。

除了这个违法行为外，还有其他违法行为也将被记9分，如驾驶7座以上载客汽车载人超过核定人数百分之五十以上未达到百分之百、驾驶校车、中型以上载客载货汽车、危险物品运输车辆在高速公路、城市快速路以外的道路上行驶超过规定时速百分之五十以上等。而第十一条规定了其他违法行为将被记3分，如驾驶校车、公路客运汽车、旅游客运汽车、7座以上载客汽车以外的其他载客汽车载人超过核定人数百分之二十以上未达到百分之五十、驾驶校车、中型以上载客载货汽车、危险物品运输车辆以外的机动车在高速公路、城市快速路以外的道路上行驶超过规定时速百分之二十以上未达到百分之五十等。

这些规定旨在确保驾驶人的安全，保障道路交通秩序。因此，我们应该遵守相关规定，合理安排驾驶时间，确保驾驶过程中有足够的休息时间，以保障自身和他人的安全。