当前注册人数162855人 邮箱: 密码: 注册新用户 忘记密码
首页 C/C++/MFC C# ASP.NET VB.NET MATLAB   站内搜索 BBS讨论社区 下载代码说明/积分规则
为什么要注册?

1. 可以直接免费从本站下载代码,防止邮件发送不到您的邮箱,或登录不了国外网站

2. 可以设定关键字,当有您关心的代码收录时,邮件通知您

3. 对这里的代码进行评分和评论

4. 可以和大家一起分享你的源代码,得到更多的建议

A multi-threaded simple crawler with C# sockets

使用C#中Socket实现的一个多线程的网络爬虫程序

2008年05月20日
C#, Windows, .NET, Visual Studio, Dev
这是一个C#实现的Web网页/网络爬虫程序(也叫网络蜘蛛或网络蚂蚁),它可以自动的对一个网站上的网页进行遍历,并自动下载。大多用于搜索引擎的前期数据获取,当然,也可以用来分析获取Email了(不要用于邮件群发哦~)。
相关知识

该文章中使用了C#的Socket完成网页的下载,所以,避免了WebRequest.GetResponse()锁定的问题。而且,实现了多线程同时下载。

你如果愿意,可以分析这里截获的HTTP报头。

源代码原文下载:
A Simple Crawler Using C# Sockets A multi-threaded simple crawler with C# sockets to solve the WebRequest.GetResponse() locking problem.

源码图片

从本站下载附件及源代码(1个附件,已经成功下载1222次)

最值得关注的外文源代码

A multi-threaded simple crawler with C# sockets
Free Source Code for Web Page Crawler
Free Source Code for Windows Web Crawler Supporting Proxy
Free Source Code of Small Web Crawler/Agents using VB
评论(评论是增加积分的一个有效途径)
字数在300字内
请如实评论
本源代码共评论188次,此处显示最近20次评论! 查看所有评论

Hao Shikui  2010年08月02日
非常感谢
66480991  2010年07月14日
怎么下载
丫头笑笑  2010年05月17日
看下做下参考,写论文用,谢了
丫头笑笑  2010年05月17日
看下做下参考,写论文用,谢了
ls200201020  2010年05月17日
bucuo~
xuetianshifly  2010年03月20日
不错,谢谢!
mars  2010年03月10日
看看!
hello123  2010年02月26日
看看怎么样
hello123  2010年02月26日
啊啊啊啊啊啊啊啊
lds380  2010年01月24日
下载不了了,怎么办?
skytion  2010年01月09日
学习学习
baobao  2009年12月23日
很不错哦
baobao  2009年12月23日
学习学习
哈哈  2009年12月02日
就是不太明白C#
Save4Me  2009年10月16日
原来以前下载过的,不过还是谢谢
derwin  2009年09月26日
可以参考参考
xjtao3233  2009年08月01日
学习
andy  2009年07月28日
谁把这个程序发一个给我啊 邮箱:gaopan815@126.com
mbcls  2009年07月20日
运行了一晚上,好像内存消耗达到了500M...
lidahui10  2009年07月06日
谢谢共享了
字数在300字内
请如实评论
CopyRight (C) codesoso.com 2007-2009 All Rights Reserved   免责声明