当前注册人数107024人 邮箱: 密码: 注册新用户 忘记密码
首页 C/C++/MFC C# ASP.NET VB.NET MATLAB   站内搜索 BBS讨论社区 下载代码说明/积分规则
为什么要注册?

1. 可以直接免费从本站下载代码,防止邮件发送不到您的邮箱,或登录不了国外网站

2. 可以设定关键字,当有您关心的代码收录时,邮件通知您

3. 对这里的代码进行评分和评论

4. 可以和大家一起分享你的源代码,得到更多的建议

A multi-threaded simple crawler with C# sockets

使用C#中Socket实现的一个多线程的网络爬虫程序

2008年05月20日
C#, Windows, .NET, Visual Studio, Dev
这是一个C#实现的Web网页/网络爬虫程序(也叫网络蜘蛛或网络蚂蚁),它可以自动的对一个网站上的网页进行遍历,并自动下载。大多用于搜索引擎的前期数据获取,当然,也可以用来分析获取Email了(不要用于邮件群发哦~)。
 
相关知识

该文章中使用了C#的Socket完成网页的下载,所以,避免了WebRequest.GetResponse()锁定的问题。而且,实现了多线程同时下载。

你如果愿意,可以分析这里截获的HTTP报头。

源代码原文下载:
A Simple Crawler Using C# Sockets A multi-threaded simple crawler with C# sockets to solve the WebRequest.GetResponse() locking problem.

源码图片

从本站下载附件及源代码(1个附件,已经成功下载889次)

最值得关注的外文源代码

A multi-threaded simple crawler with C# sockets
Free Source Code for Web Page Crawler
Free Source Code for Windows Web Crawler Supporting Proxy
Free Source Code of Small Web Crawler/Agents using VB
评论(评论是增加积分的一个有效途径)
字数在300字内
请如实评论
本源代码共评论154次,此处显示最近20次评论! 查看所有评论

mars  2010年03月10日
看看!
hello123  2010年02月26日
看看怎么样
hello123  2010年02月26日
啊啊啊啊啊啊啊啊
lds380  2010年01月24日
下载不了了,怎么办?
skytion  2010年01月09日
学习学习
baobao  2009年12月23日
很不错哦
baobao  2009年12月23日
学习学习
哈哈  2009年12月02日
就是不太明白C#
Save4Me  2009年10月16日
原来以前下载过的,不过还是谢谢
derwin  2009年09月26日
可以参考参考
xjtao3233  2009年08月01日
学习
andy  2009年07月28日
谁把这个程序发一个给我啊 邮箱:gaopan815@126.com
mbcls  2009年07月20日
运行了一晚上,好像内存消耗达到了500M...
lidahui10  2009年07月06日
谢谢共享了
xiangboren  2009年07月04日
学习一下
steven1208  2009年06月11日
学习中
kevinju  2009年06月07日
頂~
盖茨  2009年06月05日
可以参考参
手段  2009年06月02日
不错
gfsoft  2009年05月26日
可以参考参考
字数在300字内
请如实评论
CopyRight (C) codesoso.com 2007-2009 All Rights Reserved   免责声明
京ICP备08011023号