Pythonのお勉強 Part50

**デフォルトの名無しさん** · 2014/10/17(金) 00:41:32.40

Pythonオフィシャルサイト
http://www.python.org/
日本Pythonユーザ会 (※英語わかる人は上記のオフィシャルの方を見ることをお薦めします)
http://www.python.jp/
まとめWiki
http://python.rdy.jp/
関連スレ
http://find.2ch.net/?BBS=ALL&;TYPE=TITLE&STR=python
Pythonのお勉強 Part49
http://peace.2ch.net/test/read.cgi/tech/1387528488/

日本語の扱いで戸惑ったらこちらをどうぞ（バッドノウハウ集で笑える）
ttp://speirs.blog17.fc2.com/blog-entry-4.html
ttp://atomic.jpn.ph/prog/etc/encode.html
ttp://d.hatena.ne.jp/kakurasan/20100330/p1

ttp://pc11.2ch.net/test/read.cgi/tech/1217836194/339
339 ：デフォルトの名無しさん：2008/08/23(土) 08:36:00
PythonのUnicodeEncodeErrorを知る
ttp://lab.hde.co.jp/2008/08/pythonunicodeencodeerror.html

よくまとまってた。あとで読む

**デフォルトの名無しさん** · 2015/07/14(火) 21:14:55.11

>>794
見たことない
ゼロフラグ立てる判定ロジックと、ゼロ割り例外発生の判定ロジックを別に持つ意味ってないように思うし
オーバーフローとかは当然あるだろうけど

**デフォルトの名無しさん** · 2015/07/14(火) 22:00:18.60

>>797
そんな。。どうすればいいでしょう？
ちなみにこうやってます

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
formatter = logging.Formatter(fmt="%(asctime)s %(levelname)s %(thread)d %(filename)s %(lineno)d]%(message)s",datefmt="%Y-%m-%d %H:%M:%S")
fh = logging.FileHandler(datetime.now().strftime('%Y%m%d') + '.log')
fh.setLevel(logging.INFO)
fh.setFormatter(formatter)
logger.addHandler(fh)
logger.debug("ファイル出力ログです")

**799** · 2015/07/14(火) 22:56:40.18

自己解決しました。ありがとうございました。

**799** · 2015/07/14(火) 23:11:27.41

ちなみにPythonのバグだったみたいです

http://bugs.python.org/issue17981

**デフォルトの名無しさん** · 2015/07/17(金) 12:01:04.92

Beautifulsoupでtableをリスト形式に取得する方法について

<table><tbody>
<tr><th>aaa</th><td>123</td></tr>
<tr><th>bbb</th><td>456</td></tr>
<tr><th>ccc</th><td>789</td></tr>
</tbody></table>

thとtdがそれぞれ１つずつの場合は
それぞれを抽出後zipで結合しているのですが
td２つや３つに増えた場合どうすればいいでしょうか

**デフォルトの名無しさん** · 2015/07/17(金) 12:39:35.14

>>> import BeautifulSoup as bs
>>> a = '''
<html>
<head><title>title</title></head>
<body>
<table><tbody>
<tr><th>aaa</th><td>123</td><td>ABC</td></tr>
<tr><th>bbb</th><td>456</td><td>DEF</td></tr>
<tr><th>ccc</th><td>789</td><td>GHI</td></tr>
</tbody></table>
</body>
'''
>>> b = bs.BeautifulSoup(a)
>>> tr = b.findAll(name='tr')
>>> [_.findAll(name='th') for _ in tr]
[[<th>aaa</th>], [<th>bbb</th>], [<th>ccc</th>]]
>>> [_.findAll(name='td') for _ in tr]
[[<td>123</td>, <td>ABC</td>], [<td>456</td>, <td>DEF</td>], [<td>789</td>, <td>GHI</td>]]
>>>

**デフォルトの名無しさん** · 2015/07/17(金) 13:10:50.91

>>> map(lambda _: _.findAll(name='th') + _.findAll(name='td'), tr)
[[<th>aaa</th>, <td>123</td>, <td>ABC</td>], [<th>bbb</th>, <td>456</td>, <td>DE
F</td>], [<th>ccc</th>, <td>789</td>, <td>GHI</td>]]

**デフォルトの名無しさん** · 2015/07/17(金) 14:01:01.11

>>803-804
どうもありがとうございます。
内容が少し理解できないので勉強します。

**デフォルトの名無しさん** · 2015/07/17(金) 14:42:06.73

_アンダーバーって何か特殊な意味があるのでしょうか？
http://www.pythonweb.jp/tutorial/var/index2.html

**デフォルトの名無しさん** · 2015/07/17(金) 16:13:50.48

>>803-804
とても勉強になりました。
参考にさせてもらい自分で作りなおしてみました。
THとTDで抽出するしか考えしかなかったので

一旦TRで抽出してそのあとTHとTDにそれぞれ分解すればいいので

data = [[x.get_text() for x in y.find_all(['th', 'td'])] for y in tr]

でできました。ありがとうございました。

**デフォルトの名無しさん** · 2015/07/17(金) 17:57:24.28

(´・ω・｀)ｼｮﾎﾞｰﾝ

>>> d = {"a": 10, "b": 20}
>>> d["a"]
10
>>> d["a"],
(10,)

(´・ω・｀)ｼﾗﾝｶﾞﾅ

**デフォルトの名無しさん** · 2015/07/18(土) 02:06:04.76

('-','↓','-')

**デフォルトの名無しさん** · 2015/07/23(木) 16:08:30.75

tweepyの完全なドキュメントってどこにあるの？
どこも中途半端な気がするんだけど
これってソースコード読むしかないの？

**デフォルトの名無しさん** · 2015/07/23(木) 18:04:34.23

がんがれ

**デフォルトの名無しさん** · 2015/07/23(木) 21:48:42.36

Pythonって比較的楽に書けるぶんドキュメントもそれなりなの多いのかな

**デフォルトの名無しさん** · 2015/07/23(木) 23:33:31.20

http://docs.tweepy.org/en/v3.2.0/
これでは足りないの？

**デフォルトの名無しさん** · 2015/07/24(金) 02:59:11.43

>>813
statusオブジェクトのメンバ変数とかがどこ探しても載ってないんだよ
status.textとかstatus.user.nameとか

**デフォルトの名無しさん** · 2015/07/24(金) 03:08:44.61

標準ライブラリのドキュメントさえ解説が充実しているとは言えないからなあ
野良ライブラリなんぞ推して知るべしだろ
ライブラリに頼らず自分で一から書くのが一番だよ

**デフォルトの名無しさん** · 2015/07/24(金) 05:07:27.26

>>814
status.__dict__

**デフォルトの名無しさん** · 2015/07/24(金) 07:20:09.53

3系でwxPythonが使えなかったからtkinter使ってみたけど使いやすいなこれ

**デフォルトの名無しさん** · 2015/07/24(金) 10:20:27.38

>>814
その辺はTwitterのAPIのドキュメント見た方が早いと思う
https://dev.twitter.com/overview/api/tweets
https://dev.twitter.com/overview/api/users

**デフォルトの名無しさん** · 2015/07/24(金) 19:10:31.92

オライリーの入門自然言語処理をやっているんだが、
nltkモジュールをIDLEで扱っていると処理がクッソ重い
何度かIDLEが落ちたし作業にならない・・・

IDLEって本家のやつより軽いのある？

**デフォルトの名無しさん** · 2015/07/24(金) 20:39:03.90

>>818
トンクス！

**デフォルトの名無しさん** · 2015/07/25(土) 22:33:04.86

VisutalStudioからvirtualenv構築できて、pipもつかえるのな

**デフォルトの名無しさん** · 2015/07/25(土) 23:08:27.01

EmacsのPython 開発環境でお勧めってどんな感じでしょうか

**デフォルトの名無しさん** · 2015/07/25(土) 23:23:25.06

jedi と anaconda を勧めてもらっただろ。

**デフォルトの名無しさん** · 2015/07/26(日) 04:48:33.76

タイプ量をへらしたり工夫されてるスクリプト言語ビジュアル開発環境で開発するメリットって？
慣れてるエディタでいいじゃん

**デフォルトの名無しさん** · 2015/07/26(日) 07:26:04.34

さらにタイプ量が減るんだからIDE使わない理由がむしろ見つからない

**デフォルトの名無しさん** · 2015/07/26(日) 11:00:34.21

emacs/vim使えない低能力者が、何かしたり顔で語ってんよ

**デフォルトの名無しさん** · 2015/07/26(日) 14:40:06.52

うわー原始人だ

**デフォルトの名無しさん** · 2015/07/26(日) 14:47:08.69

別に好きな方使えばいいんじゃね？

入力補完の恩恵受けられる環境って概して起動が遅かったりするからじゃ？
Pythonとかの編集をずっとやってるわけじゃないしなあ

**デフォルトの名無しさん** · 2015/07/26(日) 14:59:10.40

>>827
原始人に体力で敵うと思ってんのか
現代っ子のアオビョータンが

**デフォルトの名無しさん** · 2015/07/26(日) 15:05:42.64

慣れているエディタも便利なプラグインとか入れればIDEとあまり変わらなくなるんだけど
それだと重さもIDEと変わらなくなっちゃうんだよねｗ

エディタはなるべくシンプルな状態がいい

**デフォルトの名無しさん** · 2015/07/26(日) 15:46:46.56

emacs で補完を効かせてるし ipython と連動させているけどとくに重くはない。

**デフォルトの名無しさん** · 2015/07/26(日) 17:54:20.95

こんにちわ、Ｐｙｔｈｏｎの超初心者です…
PYCファイルからPYファイルへのデコード（逆コンパイル）の方法をおしえてください
いくつかsetup.pyをダウンロードしてはcmdでやってみたんですがどうしても逆コンパイルでつまづいでしまいます…
お願いします助けてください

**デフォルトの名無しさん** · 2015/07/26(日) 19:39:03.51

Emacsの環境にも重いのと軽いのあるね
単純にrepl使うだけが一番な気がするが

**デフォルトの名無しさん** · 2015/07/26(日) 19:41:37.18

俺はvimmerだぜ
がっつり書きたい時はVSやらNetBeansやら使うが

**デフォルトの名無しさん** · 2015/07/26(日) 19:48:55.69

ガッツリ書きたい時はプリンターでソースコード印刷

**デフォルトの名無しさん** · 2015/07/26(日) 20:14:51.75

vimにjedi

**デフォルトの名無しさん** · 2015/07/27(月) 08:53:50.98

Pythonだと100%vimだけど、他の言語も含めるなら
Vim>VisualStudio>IntelliJ=Xcode
くらいの使用頻度。
VSのC++補完能力だけは特筆に値する、と思う。

**デフォルトの名無しさん** · 2015/07/27(月) 09:45:28.95

pycharmのほうが最強
vimやemacsでjediとかおもちゃレベル

**デフォルトの名無しさん** · 2015/07/27(月) 11:05:29.81

一人で数千数万行書こうとするとIDE無しだと間違いなく効率落ちるしバグ作り込む
特にデバッグ環境はもう比較にならないでしょ

**デフォルトの名無しさん** · 2015/07/27(月) 12:39:51.19

デバッガなんていつ起動すんだよ
テスト網羅してない証拠だろ
ずさんな開発体制だと宣言して楽しいのか？

**デフォルトの名無しさん** · 2015/07/27(月) 14:51:46.80

くすくす

**デフォルトの名無しさん** · 2015/07/27(月) 18:30:11.53

宗教論争は別スレでやってくれないか

**デフォルトの名無しさん** · 2015/07/27(月) 20:57:52.54

pythonではそんなに長いコード書いた事ないなあ
使い捨てのユーティリティーぐらいだから

**デフォルトの名無しさん** · 2015/07/28(火) 00:09:13.09

使い捨てのコードなんてせいぜい数百万行だもんな、メモ帳で十分だよ。

**デフォルトの名無しさん** · 2015/07/28(火) 00:50:07.14

ん？テスト通らないからデバッグするんだろ

**デフォルトの名無しさん** · 2015/07/28(火) 21:20:19.35

テストは仕様でありデバッグだよな

**デフォルトの名無しさん** · 2015/07/28(火) 21:53:01.72

バグとデバッグの関係知ってるかい？

>>846
君はテストで見つかったバグを
放置してるのかい？

**デフォルトの名無しさん** · 2015/07/28(火) 21:59:57.87

なんでそんな話になるの？

**デフォルトの名無しさん** · 2015/07/28(火) 22:01:41.96

>>848
それで見つかったバグをどうするの？

放置？それともデバッグ？

**デフォルトの名無しさん** · 2015/07/28(火) 22:03:15.26

当然直すに決まってるじゃん

バグを洗い出すのがテストだろ？

**デフォルトの名無しさん** · 2015/07/28(火) 22:09:12.24

で？
テストで発見したバグを直すのにデバッガ使ってはいけない理由って何？

**デフォルトの名無しさん** · 2015/07/28(火) 23:13:29.62

これ自演対立煽りに失敗しちゃったんですかね

**デフォルトの名無しさん** · 2015/07/29(水) 02:07:26.49

Doc testはバグがどこにあるか分かるように書くものだよね

**デフォルトの名無しさん** · 2015/07/29(水) 05:46:49.24

>>851
経験から言うとデバッガで治すと
別の場所でバグが増えることがある

**デフォルトの名無しさん** · 2015/07/29(水) 08:32:11.48

は？

**デフォルトの名無しさん** · 2015/07/29(水) 09:31:02.51

稀有な経験をしてますね……

**デフォルトの名無しさん** · 2015/07/29(水) 11:56:03.64

デバッガでバグ増えたことはないな
エディタで全置換される方が怖い

**デフォルトの名無しさん** · 2015/07/29(水) 17:43:54.93

デバッグビルドでかなり生成コードが変化する環境ならまだしも
Pythonでデバッガの影響でバグが出たり出なかったりってのは
インタプリタの実装のバグを疑うかな～

**デフォルトの名無しさん** · 2015/07/29(水) 21:32:21.52

Pythonでデバッグビルドってなんやねんｗ

**デフォルトの名無しさん** · 2015/07/30(木) 08:15:08.11

>>859
python の処理系の話だろ

**デフォルトの名無しさん** · 2015/07/30(木) 08:51:20.80

いや、他の言語の話(Cとか)をしたつもりだった

**デフォルトの名無しさん** · 2015/07/30(木) 19:33:11.79

pythonで3オプション引数的な呼び方で下記ができると思いますが

def func(a,b) : return a+b
arg={"a":1,"b":2}
func(**arg)

argに組み込み型dictではなくカスタムdict？（たとえばdictを継承した
ようなクラスのインスタン）指定する方法有ります？
class Mydict(dict)・・・みたいにやったけどエラーになった
**argみたいにできるのは組み込み型のdictだけ？
最終的にはＣ言語でモジュール書いて__getitem__？とかを
独自定義したオブジェクトで**argとかしたい

**デフォルトの名無しさん** · 2015/07/30(木) 22:08:48.92

千葉で習志野対どっかの応援対決やったらしいね

**デフォルトの名無しさん** · 2015/07/30(木) 22:23:13.26

>>862
>class Mydict(dict)・・・みたいにやったけどエラーになった
どんなエラー

>>> arg = MyDict({"a": 1, "b": 2})
>>> print(func(**arg))
3

**デフォルトの名無しさん** · 2015/07/30(木) 23:02:11.09

TypeError: func() takes exactly 2 arguments (0 given)

上のエラーです
MyDictに相当するクラスには __iter__/__getitem__/__len__とか
定義してます。（右も左もな感じなんで他人のコードのコピペ
ですが）
arg=MyDict()
arg["a"]=1
arg["b"]=2
func(**arg)
な感じで。（当然MyDict()のところを{}にするとうまくいく）

**デフォルトの名無しさん** · 2015/07/30(木) 23:21:09.27

>>865
>当然MyDict()のところを{}にするとうまくいく
どうして？

>>> arg=MyDict()
>>> arg["a"]=1
>>> arg["b"]=2
>>> func(**arg)
3

**デフォルトの名無しさん** · 2015/07/30(木) 23:39:53.49

__iter__の中身がおかしいんじゃないの

**デフォルトの名無しさん** · 2015/07/31(金) 00:05:34.82

>>854
> 別の場所でバグが増えることがある

具体的な事例をお願いします。

比較実験なので、IDE以外の条件を
全部同じにして、どういう時にバグが出るのでしょうか？

**デフォルトの名無しさん** · 2015/08/06(木) 21:50:41.36

pythonから使える日本語全文検索エンジンって
hyperestraier
以外にないのでしょうか

**デフォルトの名無しさん** · 2015/08/06(木) 23:55:07.51

むしろ全文検索エンジンって言語からは独立してるものじゃね
solrでもelasticsearchでもpythonインターフェースはあるだろ

**デフォルトの名無しさん** · 2015/08/07(金) 01:42:39.57

itertools.permutations
itertools.combinations

巨大な配列に対して実行した時に、生成した組み合わせの配列を
全部メモリーに持たないでiteratorのままにしとくことって出来ないのでしょうか
全部をメモリーに展開されるとメモリーが足りない
ついでに並列計算できるとさらにうれしいのだけど

**デフォルトの名無しさん** · 2015/08/07(金) 02:07:37.11

巨大な配列はすでにイテレータじゃないんだが？

**デフォルトの名無しさん** · 2015/08/07(金) 02:08:43.96

いや、イテレータか。
巨大な配列はメモリに全部載ってるイテレータなのだが。

**デフォルトの名無しさん** · 2015/08/07(金) 09:11:59.99

>>871
python3では出来ます。
>>> cmb = itertools.combinations([1, 2, 3], 2)
>>> cmb.__next__()
(1, 2)
>>> cmb.__next__()
(1, 3)
>>> cmb.__next__()
(2, 3)
>>> cmb.__next__()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration

for x in list(cmb):
　print(x)
とかしていませんか？

**デフォルトの名無しさん** · 2015/08/07(金) 13:09:07.02

ちゃんと質問文読もうよ
組み合わせって書いてるでしょ

**デフォルトの名無しさん** · 2015/08/07(金) 14:22:06.07

リスト同士の引き算って出来ないのでsetに変換してから引き算しますよね
でもsetだとインデックスが崩れるのでインデックスを保ちたい時はsetに変換するわけにもいきません
こういう場合ってどうやって引き算したらいいですか？

**デフォルトの名無しさん** · 2015/08/07(金) 14:39:35.38

下の計算はそれぞれどんな結果になってほしいの？
>>> [1, 2, 3] - [3, 2, 1]
>>> [1, 2, 0, 1, 2] - [1, 2]
>>> [1] - [1, 2]

**デフォルトの名無しさん** · 2015/08/07(金) 14:57:29.38

>>875
>>871の
> 組み合わせの配列を全部メモリーに持たないで
> iteratorのままにしとくことって出来ないのでしょうか
に出来るよ。

>>> cmb = itertools.combinations([1, 2, 3], 2)
>>> cmb.__next__()
(1, 2)
...

と答えましたけど？

**デフォルトの名無しさん** · 2015/08/07(金) 14:59:34.48

__next__() 知りませんでした？

>>> cmb = itertools.combinations([1, 2, 3], 2)
>>> for x in cmb:
... print("x =", x)
...
x = (1, 2)
x = (1, 3)
x = (2, 3)

**デフォルトの名無しさん** · 2015/08/07(金) 15:06:26.19

next()で呼び出せる、yield (産出する)のことかい？

ruby yield vs python yield

**デフォルトの名無しさん** · 2015/08/07(金) 22:12:04.67

>>876
リストAからリストBの値を一個ずつ削除していくコードを組めばいいんじゃないか？

**デフォルトの名無しさん** · 2015/08/07(金) 22:29:57.81

>>876
>>> L0 = [2, 2, 1, 0]
>>> L1 = [2, 3, 4]
>>> st0 = set(L0)
>>> st1 = set(L1)
>>> st2 = st0 - st1
>>> st2
{0, 1}
>>> L2 = []
>>> for x0 in L0:
... if x0 in st2:
... L2.append(x0)
...
>>> L2
[1, 0]

**デフォルトの名無しさん** · 2015/08/07(金) 22:32:01.98

>>881
削除だと、要素が重複する時にどうするか？
で頭を抱えます。
>>> L4 = [4, 4]
>>> L4.remove(4)
>>> L4
[4]

なので、私は、>>882を勧めます。

**デフォルトの名無しさん** · 2015/08/07(金) 22:38:21.30

>>878
いや>>873に言ったんだ
紛らわしくてゴメン

**デフォルトの名無しさん** · 2015/08/09(日) 19:26:03.16

Python のプログラムをお手軽にwebから呼べるアプリケーションにしたい
自分でサーバ立てたりApache設定したりしたくない
Google app engine に間借りするのが一番楽なんでしょうか
どこかに設定済みレンタルサーバみたいのないものか

**デフォルトの名無しさん** · 2015/08/09(日) 19:36:57.68

普通にDjangoやflaskやBottleなどのフレームワークを使えば
ウェブサーバー使わなくていいじゃん。

**デフォルトの名無しさん** · 2015/08/10(月) 02:39:35.76

Doubleの浮動小数を配列に(メモリに？)最大何個まで入るか調べるには動かしてみるしかないのでしょうか
パソコンのメモリの大きさから計算できないでしょうか

**デフォルトの名無しさん** · 2015/08/10(月) 10:34:27.46

はいよ。

>>> f = 1.0
>>> f.__sizeof__()
24
>>> f10000 = 10.0 ** 10000
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
OverflowError: (34, 'Numerical result out of range')
>>> from decimal import Decimal as D
>>> df10000 = D("10.0") ** 10000
>>> df10000.__sizeof__()
104
>>> L = [None] * (2 ** 24)
>>> L.__sizeof__()
134217768

**デフォルトの名無しさん** · 2015/08/10(月) 11:06:00.54

リストの最大サイズを聞いてるんじゃないのか?

**デフォルトの名無しさん** · 2015/08/10(月) 11:30:47.99

>>889
malloc() が失敗する時、浮動小数の小数点以下の最大桁数と、
listの要素の数は反比例の関係にあるでしょう？
また、質問者はlistもmemoryを使う前提に気づいていないようでした。

浮動小数一つの要素のmemory sizeを知る方法、
decimal module 使ったobjectの要素のmemory sizeを知る方法、
list の要素数によってPCの使用するmemory sizeが大きく変動する事を
示すために、>>888を書きました。

**デフォルトの名無しさん** · 2015/08/10(月) 14:39:29.91

>>887
$ cat /proc/meminfo | grep Mem
MemTotal: 3867772 kB
MemFree: 2707672 kB
の環境で、

http://pastebin.ca/3096710
を実行すると、bit=26を実行できました。
bit=27は×。

よって、
list_elements =
134217727
list_elements_size_of =
1207959624
が限界付近っぽいので、

max_mem_size=1207959624
として
http://pastebin.ca/3096751
を実行して、
float_objects の最大数は、
37748737
と決定しました。

お試しあれ。

**デフォルトの名無しさん** · 2015/08/10(月) 22:19:22.15

>>885
Heroku

**デフォルトの名無しさん** · 2015/08/11(火) 06:08:20.62

32bitなら、メモリ空間は4GBで、
その内、カーネルに1GBを使うから、アプリは3GB使える

一方、64bitなら、無限に近い。
仮に物理メモリが8GBだとしても、ページング機能があるので、
USBメモリやHDDを、メモリのように使える

つまり、設定次第

**デフォルトの名無しさん** · 2015/08/11(火) 10:44:33.16

勝手にUSBやHDDにswapされてても良いんだけど
パフォーマンスは落ちるよなー
確実に物理メモリだけで使える範囲を知りたいところである

**デフォルトの名無しさん** · 2015/08/11(火) 11:21:09.67

>>885
google app engineはCで書かれたバイナリに依存するライブラリを使えない
なのでAmazaon AWSが良いらしい
https://gist.github.com/Gab-km/5660808

**デフォルトの名無しさん** · 2015/08/11(火) 11:49:48.12

>>894
無駄な考えにこだわってる人って滑稽ですね
壁に体当たり続けてる壊れたチョロQみたいですわ
首の上に頭が載ってないんでしょうね

**デフォルトの名無しさん** · 2015/08/12(水) 02:51:19.51

http://qiita.com/icoxfog417/items/1343395a7c42da9426b7
heroku便利そうなんだけど無料の範囲内だと
NumpyもScipyも使えないってことでOK?