partial_update 支持高频大量更新字段内容吗

[cxyz1]

有个场景需要近实时更新字段，比如offline_time，频率为5w/30s，其余包括embedding在内的字段短时间不变，可以支持吗

[yhmo]

持续地，高频地partial_update时，需要足量的资源支持(内存，cpu)。milvus以segment作为数据管理的基本单位，每个segment里一般保存着数万或者数十万条数据。当随机的更新操作发生时，某些segment的更新量达到一定的阈值(默认20%)时，就会触发compaction动作把这个segment中剩余的数据剥离，形成新的segment，然后对新的segment重新建索引，或者新的segment和其他segment合并。持续地高频地update操作会持续地触发compaction动作，不断地产生新的segment，不断地给新的segment建立索引。这些操作需要有足量的内存和cpu资源来运行。
对于这种场景，standalone是不合适的(容易触发OOM或者受资源所限)，得上cluster。在cluster里，多个datanode能更快地处理compaction任务以及index任务，多个querynode能更好地分摊内存压力(当compaction执行较慢时，临时数据会积累在querynode中应对查询请求)，必要时也可增加节点应对。所以，答案是可以支持，但需要在cluster下。

[xiaofan-luan]

我们正在构造一个新的原地更新的design，#51228