`
runfeel
  • 浏览: 904444 次
文章分类
社区版块
存档分类
最新评论

关于python的多线程问题

 
阅读更多
在网上看到了好多关于python的thread的问题,关于多线程的爬虫,我发现网上一些论坛的代码实际上是单线程的,而我也是刚刚开始搞多线程,这是我的理解,请各位高手多多指教,前面是论坛代码,后面是我自己写的代码,新手,还请指点一下,一起进步~

论坛代码(自己研究了一下,大体是这样):

#encoding:UTF-8
importthreading
importurllib,urllib2
importQueue
importbs4
frombs4importBeautifulSoup
importtime

hosts=['http://www.baidu.com','http://www.weibo.com','http://www.renren.com']
queue=Queue.Queue(0);
out_queue=Queue.Queue(0)

classContentThread(threading.Thread):
def__init__(self,queue,out_queue):
threading.Thread.__init__(self)
self.queue=queue
self.out_queue=out_queue
defrun(self):
whileTrue:
host=self.queue.get()
url=urllib.urlopen(host)
chunk=url.read()
self.out_queue.put(chunk)
self.queue.task_done()

classmatch(threading.Thread):
def__init__(self,out_queue):
threading.Thread.__init__(self)
self.out_queue=out_queue
defrun(self):
whileTrue:
chunk=self.out_queue.get()
soup=BeautifulSoup(chunk)
printsoup.findAll(['title'])
printself.name
self.out_queue.task_done()
start=time.time()
defmain():
t=ContentThread(queue,out_queue)
t.setDaemon(True)
t.start()
foriinhosts:
queue.put(i)
dt=match(out_queue)
dt.setDaemon(True)
dt.start()
queue.join()
out_queue.join()

if__name__=='__main__':
main()
print'爬虫耗时:%s秒'%(time.time()-start)


这个代码在task_done()之后加上time.sleep(10)会有明显的堵塞情况。输出threadname也是显示相同的线程名字。
这是是我写的多线程爬虫:

#encoding:UTF-8
importthreading
importurllib,urllib2
importQueue
importbs4
frombs4importBeautifulSoup
importtime

queue=Queue.Queue(0)
hosts=['http://www.baidu.com','http://www.weibo.com','http://www.renren.com']
classMyThread(threading.Thread):
def__init__(self):
threading.Thread.__init__(self)
self.queue=queue
#self.out_queue=out_queue
defrun(self):
globalqueue
host=self.queue.get()
printself.name
url=urllib.urlopen(host)
chunk=url.read()
soup=BeautifulSoup(chunk)
printsoup.findAll(['title'])
print'爬虫耗时:%s秒'%(time.time()-start)
#printhost
#printqueue.qsize()

start=time.time()
defhost():
foriinhosts:
t=MyThread()
t.start()
msg=str(i)
globalqueue
queue.put(str(i))
printmsg
#print"ElapsedTime:%s"%(time.time()-start)
if__name__=='__main__':
host()


这个在输出时间之后再sleep不会出现堵塞情况,输出threadname也是显示不同的线程名字
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics