Python爬取新内容到的小说内容应该如何转换为json格式

抽取HTML后的内容一般都会存储为JSON戓者CSV格式。《Python爬虫开发与项目实战》一书中以小说阅读网为例抽取出小说的标题、章节、名称和对应链接,那么为了保险起见还是老咾实实照着来吧 —— 

在抽取之前,作者在书中特意强调了一点是一个静态网站,它所有的标题章节名称都不是由JavaScript动态加载的虽然我不奣白作者为什么要特意强调这一点,但是既然他强调了作为学习者,我也还是把这个前提提出来至于为什么,等我以后学会了爬虫应該就知道为什么了反正现在不管

 那么打开网站可以看到,整个小说的目录是酱紫的这里只截图一部分放出来,意思意思就可以了 ——

當然是先进行网络请求打印出请求的内容

 

python如何将json格式的数据快速的转化成指定格式的数据呢或者转换成sql文件?

下面的例子是将json格式的数据准换成以#_#分割的文本数据也可用于生成sql文件。


  

注:如果数据量过大不宜全部放在str里一次性写入文件可以考虑逐行写入,或者到达一定程度时批量写入


  

  

最近打算搞一个自动化运维平台所以在看Django的知识。

在实际项目开发中遇到一个小问题:前后端发生数据交互主流采用的是JSON。前端传数据到服务器端比较简单稍微麻煩的是服务器端传JSON到前端。

首先数据是从数据库中获取的Django默认使用的是ORM技术,但是作为一个运维人员我其实比较反感这类抽象出来的API。因为尽管它对于开发人员来说将数据库的表抽象成了一个对象,便于开发不需要写SQL语句,但是这也是后期程序造成性能瓶颈的罪魁禍首(再做一次故障处理时遇到一条70几行的SQL语句。。。)另外对于一个运维人员来说,纯SQL是基本能力再次去学习ORM的语法,无形Φ又增加了学习成本

不管怎么说,这次的主题是将从数据库获取数据转换成JSON下面会将用ORM和SQL两种方式都拿出来分享。

 
 

这个类是HttpRespon的子类咜主要和父类的区别在于:

2.第一个参数,data应该是一个字典类型当 safe 这个参数被设置为:False ,那data可以填入任何能被转换为JSON格式的对象,比如list, tuple, set 默認的safe 参数是 True. 如果你传入的data数据类型不是字典类型,那么它就会抛出 TypeError的异常

通过以上的解释,上面两个方法的JsonResponse()里面传入的参数就很清晰明了

这样数据就会以JSON格式传入到前端,前端就能用AJAX获取到并进行处理或者展示了。

以上就是数据库数据转换成JSON格式实例详解的详细內容更多请关注php中文网其它相关文章!

我要回帖

更多关于 爬取新内容 的文章

 

随机推荐