最近在我做一个Java后台数据处理方面的项目,这个程序要处理的数据非常大,大约是每秒100000条(高峰期)的样子,而且这个数据量将在不久的将来扩充到3到10倍。项目组里有人提出用集群的方法来提高处理的速度,他的想法是这样的: 每个服务器的功能是一样,但处理的数据是不同的,因为所有要处理的数据都有一个相同的ID字段。即有一个服务器用来分配数据,这样每个服务器都按照分配规则各自处理各自的数据。但要实现起来,我考虑了有以下一些问题: 1. 比如我们有5台服务器,开始确认有一台用于做分配器的工作(同时也做正常处理数据的工作),这台分配器上就要负责对其他4台服务器状态的维护,当发现有其他的服 ...
大家好! 首先,我来说明这个问题,我在Spring里配置了Quartz的JobDetail,Trigger和Scheduler,这个JobDetail的Trigger是让这个Job每隔1分钟运行一次。但这个项目要求,在这个Job执行过程中,有一个条件参数(从数据库中取得),我这里就简单记为Status,如果这个Status为true的话,那么这个Job就需要在执行完成之后立即执行,而不是再等1分钟才运行,如果这个Status为false的话,就还按原来在XML配置里的执行。 我刚开始的时候,是想通过这个Job的Listener来实现这个功能,当Job在执行完成之后,把Sta ...
2007-08-10

求教Socket.accept的阻塞问题

关键字: Socket.accept
我在程序里实现了一个线程池,这个线程池构造时创建WorkThread(extends Thread),WorkThread负责从线程池里取Task,然后执行这个Task。 然后,我的监听器执行 ServerSocket sc; sc = new ServerSocket(5600); while (true) { //MDPBeanFactory.isReceiveFinished是获取一个开关变量,当receive接收完成时这个值返回true if(MDPBeanFactory.isReceiveFinished()){ //pool是一个线程池管 ...
heartsong
搜索本博客
博客分类
最近加入圈子
最新评论