首先可以参考这两篇文档:
http://code.google.com/p/libpyhdfs/source/browse/trunk/INSTALL
http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/04/2036665.html
然后补充两个细节:
1. 我在执行:
apt-get install libhdfs0-dev
的时候提示找不到包,改成:
apt-get install libhdf4-dev
之后安装成功。
2. 文档一中提到:
引用
You can copy your libhdfs.so into `lib' directory.
其中的libhdfs.so位于hadoop的目录下,在我这边是位于hadoop-1.0.3-bin/c++/Linux-i386-32/lib/下,编译pyhdfs时需要用到。
pyhdfs编译安装成功后,在python代码中
import pyhdfs
可能仍然会报错:
引用
ImportError: libhdfs.so.0: cannot open shared object file: No such file or directory
此时需要编辑/etc/ld.so.conf ,将上文提到的hadoop-1.0.3-bin/c++/Linux-i386-32/lib/目录地址添加进去,然后执行
sudo /sbin/ldconfig -v
使配置生效即可。
分享到:
相关推荐
《HDFS——Hadoop分布式文件系统深度实践》
主要介绍了Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
python解析hdfs文件内容生成本地文件、及相关插件包安装实现方式
《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...
在使用python做大数据和机器学习处理过程中,首先需要读取hdfs数据,对于常用格式数据一般比较容易读取,parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以):...
主要介绍了python访问hdfs的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
如何在python中用HDFS文件系统实现高效存储,A File System for Supercomputing and Lay-Programming。
Python HDFS客户端 由于全球需求从Python的谈话HDFS。 用法 该库为提供了Python客户端。 通过传入两个NameNode来支持NameNode HA。 响应作为漂亮的Python类返回,并且任何失败的操作都将引发与Java异常匹配的...
主要介绍了python使用hdfs3模块对hdfs进行操作详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
当我们使用python的hdfs包进行上传和下载文件的时候,总会出现如下问题 requests.packages.urllib3.exceptions.NewConnectionError:<requests>: Failed to establish a new connection: [Errno -2] Name or service...
python库,解压后可用。 资源全名:hdfs3-0.1.4-py2.py3-none-any.whl
from hdfs import Client import pandas as pd HDFSHOST = "http://xxx:50070" FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径 COLUMNNAMES = [xx'] def readHDFS(): ''' 读取hdfs文件 Returns: df:...
访问hdfs所用到的jar包,全都有。hadoop-hdfs.jar 代码环境配置
python 操作 Hadoop hdfs 读read 写write 下载download
《HDFS—Hadoop分布式文件系统深度实践》 。带书签,非扫描高清文字完整版。
1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 ...5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 7. NameNode 的接口分析 8. DataNode 的接口分析 9. HDFS 的写数据过程分析 10. HDFS 的读数据过程分析