村委会并非随时有权收回村民的自留地，日常情况下村委会无权随意收回、调整、侵占村民合法使用的自留地，村民的自留地使用权受法律长期保护。
自留地是村集体分配给农户长期无偿使用的土地权益，以农户家庭为单位享有，只要农户具备本村集体经济组织成员资格，依规使用土地，不存在法定收回情形，村委会不得单方收回土地，私自收回的行为属于违规侵权行为。
根据《中华人民共和国土地管理法》第九条规定，城市市区的土地属于国家所有。农村和城市郊区的土地，除由法律规定属于国家所有的以外，属于农民集体所有，宅基地和自留地、自留山，属于农民集体所有。
只有出现法定特殊情形时，村委会才可以按照法定程序收回自留地，不存在随意收回的权限。
(一)农户整户全部迁出本村集体，全家转为城镇非农户口，彻底丧失集体成员资格。
(二)农户整户消亡，无集体内部继承人继续使用土地。
(三)自留地长期抛荒闲置，未开展合法农业生产，造成土地资源浪费。
(四)因公共基础设施建设等法定公共利益需要征收土地。
根据《中华人民共和国农村土地承包法》第二十七条规定，承包期内，发包方不得收回承包地。国家保护进城农户的土地承包经营权。不得以退出土地承包经营权作为农户进城落户的条件。村委会收回自留地必须履行公示、备案、告知等法定流程，未履行程序的收回行为无效，村民可以依法拒绝并通过合法途径维权，要求返还土地使用权。
我国法律对农村自留地有着清晰明确的权属划分规则，严格区分所有权和使用权，两项权利归属主体完全不同，这也是自留地权属纠纷的核心判定依据。
自留地的所有权统一归属于村农民集体，归全体集体成员共同所有，任何个人和村级组织都不享有土地所有权，不得私自处置土地权属。
根据《中华人民共和国土地管理法》第十一条规定，农民集体所有的土地依法属于村农民集体所有的，由村集体经济组织或者村民委员会经营、管理。
农户仅享有自留地的合法使用权和农业收益权，该权益以家庭户为单位享有，户内成员共同共有，只要家庭户存续、成员具备集体资格，就可以长期无偿使用土地。自留地权属不得私自买卖、转让、抵押，土地权属变更仅能由村集体依法统一处置，个人无权变更土地权属性质。
根据《中华人民共和国民法典》第二百六十一条规定，农民集体所有的不动产和动产，属于本集体成员集体所有。法律明确集体土地的权益归属，杜绝个人私自处分集体土地的行为。农户对自留地的使用必须严格遵守耕地保护规定，仅限农业生产用途，不得随意改变土地性质，违规使用土地的，村集体有权依规监管处置，维护集体土地管理秩序。
三、农村自留地是什么意思啊农村自留地是我国农村土地制度下特有的土地类型，是村集体经济组织按照本村人口规模和土地配比标准，无偿分配给本村农户家庭长期使用的集体土地，核心作用是保障农户日常农业生产和生活所需，区别于承包地宅基地等其他农村土地类型。
自留地的分配标准统一，人均分配面积严格受限，仅用于农户自主开展农业种植养殖等基础农业经营。
根据《中华人民共和国土地管理法》第二条规定，中华人民共和国实行土地的社会主义公有制，即全民所有制和劳动群众集体所有制。全民所有，即国家所有土地的所有权由国务院代表国家行使。任何单位和个人不得侵占、买卖或者以其他形式非法转让土地。土地使用权可以依法转让。
自留地属于集体所有制土地的重要组成部分，具备专属的使用属性和分配规则，和承包地最大的区别在于，自留地无需缴纳承包费用，分配后长期固定由农户使用，无固定承包期限。
和宅基地的区别在于，自留地仅限农业生产使用，不得用于建房等非农建设，宅基地专属用于村民修建住宅居住。
自留地的设立初衷是保障农村村民基本生活物资供给，稳定农村基本生活保障体系，其使用规则、权属划分、收回条件均由国家法律统一规制，村级组织仅享有日常管理权限，无随意处置和收回的权利。
综上所述，村委会不可随意收回自留地，仅法定情形可依规处置。自留地权属归村集体，农户享有长期使用权，且仅限农业用途，村民可依据法律规定明确自身权益，规避土地纠纷。