当前注册人数423000人 邮箱: 密码: 注册新用户 忘记密码
首页 C/C++/MFC C# ASP.NET VB.NET MATLAB Android   站内搜索 下载代码说明/积分规则
为什么要注册?

1. 可以直接免费从本站下载代码,防止邮件发送不到您的邮箱,或登录不了国外网站

2. 可以设定关键字,当有您关心的代码收录时,邮件通知您

3. 对这里的代码进行评分和评论

4. 可以和大家一起分享你的源代码,得到更多的建议

A multi-threaded simple crawler with C# sockets

使用C#中Socket实现的一个多线程的网络爬虫程序

2008年05月20日
C#, Windows, .NET, Visual Studio, Dev
这是一个C#实现的Web网页/网络爬虫程序(也叫网络蜘蛛或网络蚂蚁),它可以自动的对一个网站上的网页进行遍历,并自动下载。大多用于搜索引擎的前期数据获取,当然,也可以用来分析获取Email了(不要用于邮件群发哦~)。
相关知识

该文章中使用了C#的Socket完成网页的下载,所以,避免了WebRequest.GetResponse()锁定的问题。而且,实现了多线程同时下载。

你如果愿意,可以分析这里截获的HTTP报头。

源代码原文下载:
A Simple Crawler Using C# Sockets A multi-threaded simple crawler with C# sockets to solve the WebRequest.GetResponse() locking problem.

源码图片

点击链接查看大图
从本站下载附件及源代码(1个附件,已经成功下载2586次)

最值得关注的外文源代码

WCF / WPF Chat Application
Free Source Code for Web Page Crawler
Free Source Code for Windows Web Crawler Supporting Proxy
Free Source Code of Small Web Crawler/Agents using VB
评论(评论是增加积分的一个有效途径)
字数在300字内
请如实评论
本源代码共评论295次,此处显示最近20次评论! 查看所有评论

fanze  2017年03月21日
下来学习
sawyer  2016年11月16日
。。坐等2天
metoo  2016年07月09日
..刚接触
arisn  2014年12月28日
多谢分享 虽然学的VB。net 但是也可以参考下思路
sf_hmily  2014年04月03日
非常好
net10010  2014年03月26日
谢谢分享!
ord2011  2014年02月13日
有这个需求,学习学习,谢谢分享!
花间飘雪  2014年01月11日
谢谢分享
xiaoyu3523663  2013年10月21日
不错,可以学习一下
ord2011  2013年09月05日
不错,可以学习一下
小兵蛋子  2013年08月16日
项目中正好有这个需求,下来看看
longzaitian  2013年08月13日
谢谢分享
xuansy123  2013年05月03日
非常需要
518116  2013年04月26日
非常需要
10006038080  2013年04月11日
你再给我一分吧
10006038080  2013年04月11日
不让下载
a8b8c2008  2013年03月22日
正好学习使用
阿大虞  2013年03月12日
学习看看
langpojun  2013年01月09日
dfbffdsb
lazychon  2013年01月09日
不错。
字数在300字内
请如实评论
200万国内源码搜索
CopyRight (C) codesoso.com 2007-2009 All Rights Reserved zhihuishi   免责声明