当前位置: 首页 > news >正文

Python 中使用 MongoDB 存储爬虫数据

为什么80%的码农都做不了架构师?>>>   hot3.png

现在在做一个简单的搜索引擎,使用今日头条的新闻数据作为数据源。这些数据都是非结构性的,比较适合用 MongoDB 来进行存储。

以下为简单使用的示例。

#!/usr/bin/python
# -*- coding:utf-8 -*-

import pymongo

class documentManager(object):
	def __init__(self):
		pass

	def connect_mongo(self):
		client = pymongo.Connection("127.0.0.1",27017)
		db = client.data_db
		collection = db.data_collection
		mydict = {"name":"Lucy", "sex":"female","job":"nurse"}
		collection.insert(mydict)

		for i in collection.find({"name":"Lucy"}):
			print i

if __name__ == '__main__':
	manager = documentManager()
    manager.connect_mongo()

转载于:https://my.oschina.net/lvyi/blog/599719

相关文章:

  • Jquery的同步和异步请求
  • 优先级队列(大顶堆)
  • orm2 中文文档 3.1 模型属性
  • 点击复选框添加或删除value值到input输入框中
  • Android Property Animation属性动画:rotation旋转(2)
  • linux上很方便的上传下载文件工具rz和sz使用介绍
  • 2016.1.13 随笔
  • JMeter基础之一 一个简单的性能测试
  • [Java开发之路](14)反射机制
  • MDEV Primer
  • 闹心的变量
  • [转载]项目风险管理七种武器-碧玉刀
  • 会声会影简易相册制作教程
  • Spark学习之基于MLlib的机器学习
  • zabbix在centos6下的编译安装
  • IE9 : DOM Exception: INVALID_CHARACTER_ERR (5)
  • Angular js 常用指令ng-if、ng-class、ng-option、ng-value、ng-click是如何使用的?
  • canvas 五子棋游戏
  • Fabric架构演变之路
  • JavaScript 是如何工作的:WebRTC 和对等网络的机制!
  • Js实现点击查看全文(类似今日头条、知乎日报效果)
  • nginx(二):进阶配置介绍--rewrite用法,压缩,https虚拟主机等
  • node-sass 安装卡在 node scripts/install.js 解决办法
  • Redux 中间件分析
  • SpringCloud集成分布式事务LCN (一)
  • 关于 Linux 进程的 UID、EUID、GID 和 EGID
  • 看图轻松理解数据结构与算法系列(基于数组的栈)
  • 如何设计一个微型分布式架构?
  • 深入 Nginx 之配置篇
  • 一个SAP顾问在美国的这些年
  • ​linux启动进程的方式
  • ​低代码平台的核心价值与优势
  • #{}和${}的区别是什么 -- java面试
  • #pragma once
  • (仿QQ聊天消息列表加载)wp7 listbox 列表项逐一加载的一种实现方式,以及加入渐显动画...
  • (未解决)macOS matplotlib 中文是方框
  • (一)【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (转)Linux NTP配置详解 (Network Time Protocol)
  • .CSS-hover 的解释
  • .NET Micro Framework初体验
  • .NET NPOI导出Excel详解
  • .net 设置默认首页
  • .NET是什么
  • .NET序列化 serializable,反序列化
  • .Net中ListT 泛型转成DataTable、DataSet
  • .NET中统一的存储过程调用方法(收藏)
  • ::什么意思
  • @converter 只能用mysql吗_python-MySQLConverter对象没有mysql-connector属性’...
  • [ IO.File ] FileSystemWatcher
  • [20171102]视图v$session中process字段含义
  • [acm算法学习] 后缀数组SA
  • [Android Pro] listView和GridView的item设置的高度和宽度不起作用
  • [Angular 基础] - 指令(directives)
  • [AX]AX2012 R2 出差申请和支出报告
  • [C/C++] C/C++中数字与字符串之间的转换