[python爬虫练习] 爬取鱼C论坛朋友圈，看看谁的朋友最多
爬虫还是很有趣的，可以利用爬虫做很多事情，今天我们就来看看鱼C论坛上谁的朋友最多。（本程序仅仅为了做测试和练习爬虫，并不想增加服务器负担，所以我设置了爬取上限50位，当然爬取更多也是一样可行的。如果要爬取大量数据的话，可以增加多线程爬取，以提高效率。当然在爬取过程中，可以把用户信息一并抓下来，不过我只是测试并没有抓取。）
贴一下爬到的数据：
'沉ジ寞': ['牡丹花下死做鬼', '小甲鱼', '拈花小仙', '沉思者', '福禄娃娃', 'Angel丶L', '怡静', 'makefile', '～风介～'], '小布丁': [], '怡静': ['小甲鱼', '牡丹花下死做鬼', 'Crazy迷恋.', '竹林小溪', '福禄娃娃', 'ygrong_2008', '狂潮丶', '红头发', 'qiusuo', '永驻零一', '友来友网', '沉ジ寞', '情缘', '小布丁', '渔夫钓小鱼', '拈花小仙', 'comeheres'], '无名侠': ['康小泡', '小甲鱼', '拈花小仙', '牡丹花下死做鬼', '黑龍', '～风介～', '怡静', 'Minhal', '漩涡鸣人', '沉ジ寞', '福禄娃娃', '430524tian', 'chishubiao', '小名明SIU', '正在写代码', '101℃太阳', 'Angel丶L'], '竹林小溪': ['牡丹花下死做鬼', '怡静', '小甲鱼', '黑龍', '康小泡', 'Angel丶L', '拈花小仙', 'Crazy迷恋.', '红头发', '福禄娃娃', '～风介～', '颓废的青春', 'zer0', '沉思者', 'chishubiao', '渔夫钓小鱼', '压寨宝宝'], 'Angel丶L': ['牡丹花下死做鬼', '拈花小仙', '小甲鱼', '～风介～', '康小泡', '沉ジ寞', 'freeparty', '竹林小溪', '大黑鱼', '怡静', '小靚同学Leon', '小人', '百日维新', 'fayisan', 'Pathfinder', 'comeheres', '永远前进的人'], '永驻零一': ['怡静', '战狼破晓', '我在你身邊', 'wwwxinyu1990', '℡.xiao敏'], 'Crazy迷恋.': ['怡静', '牡丹花下死做鬼', '福禄娃娃', '竹林小溪', '沉思者', '狂潮丶', '我在你身邊', '红头发', '编程难', 'S_18', 'aces', 'zer0', 'メ㊣逆ご帅☆', '渔夫钓小鱼', '许小恩', 'jinzhe', 'wkwkwk'], 'メ㊣逆ご帅☆': [], 'freeparty': ['小甲鱼', 'Angel丶L', '怡静', '拈花小仙', '牡丹花下死做鬼', 'wei_Y', '百日维新', '挥舞乾坤', '仰望天上的光', '雪是梅之香', 'machimilk', '贝壳', '小靚同学Leon', 'chishubiao', '～风介～', '康小泡', 'Minhal'], '仰望天上的光': ['小甲鱼', '拈花小仙', 'wuxiaojun', '牡丹花下死做鬼', 'longdeqidao', '小甲鱼的徒弟', '福禄娃娃', '沉思者', '湮汐', '欣欣celin', '大黑鱼', '追忆lh', 'yuexinBW', 'aces', 'tsembrace', '怡静', 'gwcome'], '我在你身邊': ['怡静', '牡丹花下死做鬼', 'Crazy迷恋.', '高凯', '静封五百万年', '大苹果', '渔夫钓小鱼', '脾气不坏', '竹林小溪'], 'Minhal': [], '友来友网': ['怡静', '小布丁', '福禄娃娃', '沉思者', '生活！', '起什么名字', '湮汐', 'Cfree', '拈花小仙', '正在写代码', 'aces', 'zer0', '为梦而生', 'Skyline', '野蛮酋长', 'FangDaRen', '永远前进的人'], 'sidfate': ['拈花小仙', '～风介～', '小甲鱼', 'aces', '喜欢散步', 'Qyears', '康小泡', 'Angel丶L', '宋桓公', 'yu457001', 'elvo'], '情缘': ['怡静', '喵﹍咕', 'laiwenyou', '仰望天上的光', 'メ㊣逆ご帅☆'], '红头发': ['牡丹花下死做鬼', '怡静', '竹林小溪', '福禄娃娃', 'comeheres', 'Crazy迷恋.', 'yinyuepingguo', '霸气外露', '拈花小仙', 'Angel丶L', '正在写代码', '小布丁', 'Seandor', '仰望天上的光', 'Minhal', '康小泡', '～风介～'], 'machimilk': ['拈花小仙', 'zlh', '黑龍', '欣欣celin', '灭·世', 'freeparty', 'Angel丶L', '康小泡', '～风介～', 'sunCoder', '〃忝書γě渎ぐ', 'lixiaoshuai', '694861283'], '秋舞斜阳': [], '福禄娃娃': ['牡丹花下死做鬼', '沉ジ寞', '小甲鱼', '正在写代码', '狂潮丶', 'Crazy迷恋.', '0c那似暮霭', '乱闯', '拈花小仙', '风萧水寒', '红头发', '竹林小溪', 'comeheres', '怡静', '冻死的鱼鱼', '仰望天上的光', 'my_angel', 'zhaopengfei', 'Ez疯'], '百日维新': ['小甲鱼', '拈花小仙', '怡静', '康小泡', '雪是梅之香', 'hacker.jin', '大黑鱼', 'freeparty', '小人', '破灬王', 'Angel丶L', '花生', 'Minhal', '喵﹍咕', '小甲鱼的二师兄', '牡丹花下死做鬼', 'wei_Y'], '小生我怕怕': [], 'wei_Y': ['～风介～', '破渔网兜兜', '不二如是', '小甲鱼', '戴宇轩', '康小泡', '挥舞乾坤', '无符号整形', 'lightninng', '拈花小仙', '瞬秒爆加速', '小甲鱼的二师兄', '小人', 'bevin', 'freeparty', '小树', 'SixPy'], '不二如是': ['～风介～', 'wei_Y', '小甲鱼', '无符号整形', '小树', 'silypho', 'qwe1231069', '拈花小仙', 'zzzz76', 'alltolove', '小人', '康小泡', 'Minhal', 'joker11111', '零度非安全', '水巷00001111', '会魔法的魔法'], '格式天下': ['拈花小仙', '莫名其妙', '福禄娃娃', '狂潮丶', '永远前进的人', '～风介～', '守夜人', 'lukelqz', '︶ㄣ痕迹の天涯', '季末、梨花雨落', '源代码', 'shenyaowen', '怡静', '565123', '海马濑人', '丿夏夜灬彬刂', '心空草'], '无符号整形': ['～风介～', '拈花小仙', '小甲鱼', '不二如是', 'SixPy', '康小泡', 'Minhal', 'wei_Y', '冬雪雪冬', '迷雾少年', 'zlh', 'shuofxz', 'hldh214', '阁龙1427', '人zai旅途', '〃忝書γě渎ぐ', '小树'], '拈花小仙': ['machimilk', '仰望天上的光', '牡丹花下死做鬼', 'メ㊣逆ご帅☆', '小甲鱼', '格式天下', '565123', 'comeheres', '小布丁', '黑夜', '会、飞的鱼', 'sidfate', 'my_angel', '浮砂', '～风介～', 'Angel丶L', '沉ジ寞', '怡静', '青玄'], 'ygrong_2008': [], '杞人': ['牡丹花下死做鬼', '无所无谓', '海柯', '堕落づ天使', '空间微粒', 'ever.g', 'bui159', '怡静', '划过天空的猪', 'BuffereReader', 'cmaomao', 'huangliyao', '拈花小仙', '福禄娃娃', 'h2323734288', '五号智能', '正在写代码'], '565123': ['拈花小仙', '怡静', '仰望天上的光', '小布丁', '高凯', '福禄娃娃', '青春@无限', '浅唱忧伤', 'liaharward', '格式天下', 'wuxiaojun', '喵﹍咕', 'lukelqz', '无知', '丿夏夜灬彬刂', '小新110'], '黑夜': [], '会、飞的鱼': ['拈花小仙', '牡丹花下死做鬼', '怡静', '福禄娃娃', 'MD君', 'freeparty', 'C瓶', 'Minhal', '沉思者', '李全杰', '枫叶情', 'Angel丶L', '玩酷子弟lv', 'cuibaowenown2', '黑夜', '仰望天上的光'], '～风介～': [], '青玄': ['拈花小仙', '小甲鱼', '牡丹花下死做鬼', '沉ジ寞', 'freeparty', '隨鈊乄鎍慾', '欣欣celin', 'springwindyike', 'Angel丶L', '福禄娃娃', '大黑鱼', '零度非安全', '康小泡', '小靚同学Leon', '沉思者', 'elvo'], '牡丹花下死做鬼': ['怡静', '小甲鱼', '拈花小仙', '竹林小溪', 'Angel丶L', '沉ジ寞', 'Crazy迷恋.', '福禄娃娃', '小布丁', '红头发', '黑龍', '无名侠', '仰望天上的光', '我在你身邊', '康小泡', '杞人', '青春@无限'], '渔夫钓小鱼': ['怡静', '牡丹花下死做鬼', 'Ｄ.调dē哗丽', '我在你身邊', '竹林小溪', '拈花小仙', '福禄娃娃', 'aces', 'chishubiao', '南风烟雨五庄观', '脾气不坏', 'Crazy迷恋.', '如阳光般刺眼'], 'qiusuo': ['怡静', 'gj8438'], '狂潮丶': [], '康小泡': ['～风介～', '小甲鱼', 'chishubiao', '拈花小仙', '无符号整形', '小甲鱼的二师兄', '牡丹花下死做鬼', 'freeparty', 'wei_Y', '蚯蚓翔龙', '黑龍', 'Angel丶L', '无名侠', '百日维新', '向往青莲', '不二如是', 'pengyuwa'], '℡.xiao敏': [], '青春@无限': ['小甲鱼', '牡丹花下死做鬼', '怡静', '福禄娃娃', '小布丁', '拈花小仙', 'Potato丶', '沉思的牛', '狂潮丶', '925799667', 'Angel丶L', 'ylo523', '永远前进的人', '565123', '喵﹍咕', '高凯', '凉点水'], '喵﹍咕': ['小甲鱼', 'longdeqidao', '徐颖科', '康小泡', '拈花小仙', '百日维新', 'Htbs、', '沉思者', '衣冠者禽兽也', '丶Crush°', '不二如是', 'freeparty', '大黑鱼', 'Angel丶L', '福禄娃娃', '红头发', 'Dardy'], '小人': [], '大黑鱼': ['拈花小仙', '小甲鱼', 'Angel丶L', '百日维新', '沉思的牛', '怡静', '～风介～', '左半边的翅膀丶', '牡丹花下死做鬼', '福禄娃娃', '康小泡', '仰望天上的光', '小甲鱼的二师兄', '黑夜', '喵﹍咕', 'vicdd', '向往青莲'], '浮砂': ['拈花小仙', '福禄娃娃'], '小靚同学Leon': ['小甲鱼', 'Angel丶L', '拈花小仙', '怡静', 'freeparty', 'Nmboy', '青玄'], 'comeheres': ['小甲鱼', '怡静', '凉点水', '过默', 'by024', '红头发', 'Angel丶L', 'Seandor', '福禄娃娃', '维儿网络营销', '许小恩', 'Biner', '南方的人', '希望', 'bestainan', '悠悠清风', 'shenyaowen'], 'my_angel': ['拈花小仙', 'GHOST-DN', '怡静', '福禄娃娃', 'cainiao367', 'csa', '起什么名字', '新手学习中', 'Nmboy', 'springwindyike', '蜘蛛X', 'viincy', '田门吹雪', 'shenyaowen', 'WylLy', '沉思者', 'swsm'], '黑龍': ['小甲鱼', '无名侠', '牡丹花下死做鬼', '康小泡', '竹林小溪', 'zlh', '拈花小仙', 'Angel丶L', 'machimilk', '怡静', '～风介～', 'Minhal', '阴影中的曙光', 'freeparty', 'ebloke', '迷雾少年', 'chishubiao'], '小甲鱼': ['怡静', '牡丹花下死做鬼', '拈花小仙', '～风介～', 'Angel丶L', '沉ジ寞', '秋舞斜阳', '不二如是', '喵﹍咕', '康小泡', '黑夜', 'Minhal', '无符号整形', '黑龍', '℡.xiao敏', 'wei_Y', '小生我怕怕']
源代码：
**** Hidden Message ***** 本帖最后由 jerryxjr1220 于 2016-12-22 13:37 编辑
爬取的原理就是利用朋友圈找朋友，不断获取朋友圈中所有朋友的朋友，不断外连。
为了避免重复爬取，设置了过滤，详见源代码。 学习一下 学习一下 学习 111111111 看看 {:10_282:} {:5_106:} 看看 1 看看 看看 {:10_315:} 学习 谢谢星谢谢 厉害~ 看看· 7 只能66666
页:
[1]
2