最近在我做一个Java后台数据处理方面的项目,这个程序要处理的数据非常大,大约是每秒100000条(高峰期)的样子,而且这个数据量将在不久的将来扩充到3到10倍。项目组里有人提出用集群的方法来提高处理的速度,他的想法是这样的:
每个服务器的功能是一样,但处理的数据是不同的,因为所有要处理的数据都有一个相同的ID字段。即有一个服务器用来分配数据,这样每个服务器都按照分配规则各自处理各自的数据。但要实现起来,我考虑了有以下一些问题:
1. 比如我们有5台服务器,开始确认有一台用于做分配器的工作(同时也做正常处理数据的工作),这台分配器上就要负责对其他4台服务器状态的维护,当发现有其他的服 ...
大家好!
首先,我来说明这个问题,我在Spring里配置了Quartz的JobDetail,Trigger和Scheduler,这个JobDetail的Trigger是让这个Job每隔1分钟运行一次。但这个项目要求,在这个Job执行过程中,有一个条件参数(从数据库中取得),我这里就简单记为Status,如果这个Status为true的话,那么这个Job就需要在执行完成之后立即执行,而不是再等1分钟才运行,如果这个Status为false的话,就还按原来在XML配置里的执行。
我刚开始的时候,是想通过这个Job的Listener来实现这个功能,当Job在执行完成之后,把Sta ...
我在程序里实现了一个线程池,这个线程池构造时创建WorkThread(extends Thread),WorkThread负责从线程池里取Task,然后执行这个Task。
然后,我的监听器执行
ServerSocket sc;
sc = new ServerSocket(5600);
while (true) {
//MDPBeanFactory.isReceiveFinished是获取一个开关变量,当receive接收完成时这个值返回true
if(MDPBeanFactory.isReceiveFinished()){
//pool是一个线程池管 ...
- 浏览: 2792 次
- 性别:


- 详细资料
搜索本博客
最近加入圈子
最新评论
-
求教Java后台数据处理程序 ...
模拟集线器? 或者说 分配器 不负责维护各节点状态,只提供唯一的任务数据,使用 ...
-- by baibai326 -
求教Java后台数据处理程序 ...
collin000 写道你项目应该是webserver集群吧, 以减小webse ...
-- by heartsong -
求教Java后台数据处理程序 ...
可以理解源数据是这样生成的: 很多数据采集点上布署了agent,这些agent ...
-- by heartsong -
求教Java后台数据处理程序 ...
你项目应该是webserver集群吧, 以减小webserver压力, 据我所知 ...
-- by collin000 -
求教Java后台数据处理程序 ...
谢谢LS。 主要是每个server处理(每次取50000条吧)过程是比较慢的, ...
-- by heartsong






评论排行榜